實驗樣本數研究

1 檢定力的概念
1) 在ANOVA表中檢視P-value確定該因子的顯著性，若有顯著性則可確定水準間改變的效應是重大而值得重視、不可忽略而有意義的(註：必要時需要進行多重比較)。
2) 實驗因子有無顯著性的決定，除了因子的各水準本身具有的效果外(各水準的母平均值)，還受到實驗誤差(MSE)的影響
3) 當然有時候確實母平均值確實具有顯著差異，但因實驗誤差，有時實驗結果響應平均可能變得差異不夠大，而使檢定結果不顯著，因此實施實驗就存有風險，明明將因子由水準1變到水準2，應該有明顯差異，但實際上ANOVA檢定為不顯著，此種能夠檢定出有顯著性的機率稱為檢定力，檢定力的計算通常需藉用專業軟體去計算。
4) 從ANOVA表得知，當實驗誤差越小域能夠使統計檢定有顯著性，另外樣本數大小也會影響到MSE
5) 因此變異數分析存在檢定力與樣本數(Power and sample size)的問題。
6) 實驗設計進行前，應先以檢定力推估實驗樣本數，才是有效率的實驗設計

2 檢定力計算例
例如在一個一因子實驗設計與變異數分析中
1) 本實驗為2水準的實驗設計
2) 若已知以往經驗本項實驗誤差是1.5(MSE=1.5)
3) 在95%信賴度，也就是ANOVA判定顯著性的依據P-value的標準值為1-0.95=5%，也就是風險率為5%。
4) 實驗者期望各水準的實際平均值(母平均)差異大於4以上，ANOVA表就該顯示有統計顯著性。

以下採用Minitab來進行本例的檢定力研究，操作如下
1) 啟動 Minitab 軟體
2) 呼叫 Power and sample size，點選 Stat > Power and sample size > One-way ANOVA 出現對話方塊
3) 對話方塊填入水準數(2)、想研究樣本數(2 3 4 5 共4種)、各水準平均值的差異數(4)，以及實驗標準差(1.5)
    (1) Number of levels：2
    (2) Sample sizes：2 3 4 5
    (3) Value of maximum difference between means：4
    (4) Power value：(空白，只填上2項即可)
    (5) Standard deviation：1.5
    如下圖

   

4) 點 [Option]按鈕指定顯著性水準為 95%
5) 點 [Graph]按鈕指定顯示檢定力曲線(Power curve)
6) 確定後MInitab開始計算並輸出結果
    (1) 計算結果

    (2) 檢定力曲線圖

7) 計算結果的運用：
從檢定力曲線圖顯示，實驗重複數r應該選 r=4，因為 r=3的檢定力只有0.33過低，而 r=4 有0.69機會，若實驗成本不高，那麼選擇 r=5檢定力有0.96 幾乎可以清楚辨別有無顯著性

關於Minitab計算Power是有問題的，因為Minitab只用二組平均差(組間最大差異值)去計算Power，忽視還有別組的平均仍影響到 Noncentrality parameter的計算，因此Minitab所計算的檢定力是屬於最低檢定力。