G*Power 사용, 어떻게 하는 거지?

연구를 설계할 때, 우리는 '통계적 검정력'이라는 것을 확보해야 한다. 통계적 검정력은 우리가 관심 있는 효과가 실제로 존재할 때, 실제로 발견할 수 있는 능력을 의미한다. 예를 들어, 두 집단 간의 차이(우리가 관심 있는 효과)가 실제로 존재할 때 이 차이를 실제로 발견할 수 있는 능력이다. 일반적으로 연구에서는 0.80 혹은 0.90과 같은 검정력을 목표로 하는데, 이는 80% 또는 90%의 확률로 중요한 효과를 발견할 수 있다는 이야기이다. 검정력이 충분히 높다면, 우리는 실제로 효과가 존재할 때 이를 발견하지 못할 위험을 줄일 수 있다. 

 

 

---

G*Power는 왜 사용할까?

G*Power는 통계적 검정력을 충분히 확보하는 상황에서 필요한 표본 크기를 계산하기 위한 무료 소프트웨어이다. 연구 설계 과정에서 최소 몇 명의 표본을 모아야 할지 고민이라면, 이 소프트웨어의 도움을 받는 것이 좋다. G*Power를 통해 다양한 효과 크기와 검정력을 가진 상황을 입력하여 적절한 표본 크기를 추정할 수 있기 때문이다.

 

G*Power를 사용하면 연구 결과가 통계적으로 유의미할 확률을 최대화할 수 있으며, 연구의 신뢰도가 높아질 수 있다.

 

 

---

그렇다면, G*Power 사용법은 어떻게 될까?

1. 우선 G*Power 공식 웹사이트에서 소프트웨어를 다운로드 및 설치한다. 참고로 이 소프트웨어는 무료이기 때문에 안심하고 설치해도 된다.

   

   출처: G*Power 공식 홈페이지

2. G*Power를 실행한 후, 자신의 연구에서 사용할 통계 방법인 Test family와 Statistical test를 선택한다. Test family는 검정의 범주로써 F tests, T tests 등이 있다. Statistical test는 통계적 검정 유형으로, Test family에서 T tests를 고르면 correlation, means와 같은 선택지가 나오는 반면 F tests를 고르면 ANOVA 혹은 MANOVA 같은 선택지가 나온다.
3. Type of power analysis를 선택하는데, 실험 전에 필요한 표본 크기를 결정하는 목적이라면 A priori(사전 계산)을 선택한다. 경우에 따라서 실험이 끝난 후 실제로 얻은 데이터를 바탕으로 실험의 검정력이 충분했는지 확인하고자 Post hoc(사후 계산)을 선택하거나, 연구 설계 단계에서 제한된 자원이나 제약 사항 등으로 완벽한 사전 계산이 불가능할 때 Compromise(절충 계산)을 선택하기도 한다.

   

4. 그 다음으로는 Input Parameters를 입력한다.
5. Effect size는 연구에서 발견하고자 하는 효과의 크기이다. 보통은 선행 연구나 파일럿 스터디에서 얻은 데이터를 바탕으로 추정하여 입력한다.
6. alpha error prob는 오류 확률로써 일반적으로 0.05를 입력한다.
7. power는 검정력으로 보통 0.80을 입력하고, 검정력을 높이고 싶은 경우에 0.90을 선택한다. 예측 변수의 수 혹은 집단 수 등 연구에 필요한 정보를 입력한다. 위 사진에서는 F test, ANOVA 검정을 선택해서 집단의 수(Number of groups)를 입력하도록 했다.
8. 오른쪽 하단의 Calculate 버튼을 누르면, Output 창이 자동으로 계산된다.

 

 

계산한 결과에 따르면, 중간 크기의 효과(0.25)를 감지하기 위해 4개의 집단(Number of groups: 4)에서 총 180명(Total sample size)의 참가자를 모집해야 한다. 이 표본 크기는 Input Parameters에서 alpha error prob를 5%로 설정하고, 80%의 검정력을 달성하기 위한 것이다. 이때 실제 검정력(Actual power)은 약0.804로 계산되는데, 이는 실제로 진행되는 실험에서 효과 크기를 감지할 확률이 80.4%임을 나타낸다.

 

4개의 집단을 대상으로 ANOVA 실험을 진행한다면 최소 4개 집단을 합쳐 180명의 참가자를 모집해야 한다. 이는 최소 기준이며, 실제로 실험을 진행한다면 도중에 이탈하거나 불성실하게 참여하는 사람들이 있기 때문에 180명보다 많은 수의 참가자를 모집하는 것이 현명하다.

 

추가. 그래프 해석과 실험할 때 발생하는 대표적인 오류 2가지

 

 

내가 진행할 실험에 필요한 표본 수는 앞서 이야기한 Output Parameters만 보아도 괜찮지만, 더 나아가 G*Power에서 제시하는 그래프를 읽는 방법도 설명하면, x축은 F 통계량(집단 간 차이가 있는지 검정)을 나타내고 y축은 특정 F값에서의 분포 확률을 나타낸다.

 

빨간색 곡선은 F 분포를 나타내며, 특정 F값이 나타날 확률을 보여준다.

반면, 파란색 점선은 연구에서 설정한 알파(유의 수준)에 해당하는 F분포의 임계값(critical F)를 제시한다.

초록색 선은 보시다시피 이 임계값(우리가 원하는 기준에 해당하는 실제 값)을 나타낸다. 이 선을 기준으로 오른쪽에 있는 F값들은 통계적으로 유의미한 결과를 나타내며 집단 간 실제로 차이가 있다는 것을 이야기한다.

 

빨간색으로 색칠된 영역은 type I 오류*가 발생할 확률을 나타내며, F분포 곡선 아래 임계값 오른쪽 영역이다.

파란색으로 색칠된 영역은 type II 오류**가 발생할 확률이며, 통계적 검정력(1-beta)와 관련있다.

*type I 오류: 귀무가설(H0)이 실제로는 참이라서 채택해야 하지만, 표본 오차로 인해 채택하지 않는 오류이다. 쉽게 말하면 무죄인 사람을 유죄인 사람으로 판단하는 것이다. 일반적으로 가설 검정할 때 type I 오류를 1% 혹은 5% 이내로 설정하는데 이를 유의 수준(significance level)이라고 부른다.

**type II 오류: 귀무가설이 실제로 거짓이라서 채택하지 말아야 하지만, 표본 오차로 인해 채택하게 되는 오류이다. type I 오류와 반대로 유죄인 사람을 무죄라고 잘못 판단하는 것이다. 효과가 있을 때 이를 제대로 확인할 수 있는 확률을 검정력이라고 하는데, 검정력은 1-beta(type II 오류)으로 표현한다.

 

type I 오류와 type II 오류는 통계적 가설 검정에서 발생하는 주요 오류이다. type I 오류의 위험이 줄면, type II 오류의 위험이 증가하므로 연구의 목적과 중요성에 따라서 두 오류의 위험을 다르게 설정한다. 일반적으로 type I 오류를 줄이는 것은 알파 값을 낮추는 것으로 0.05로 두거나 더 엄격하게 0.01로 한다. 이는 연구 결과가 실제보다 더 의미 있는 것처럼 보이는 것을 방지해준다. type II 오류를 줄이는 것은 더 많은 표본을 수집하여 검정력(1-beta)를 올리는 것으로, 중요한 발견(의미 있는 효과)를 놓치게 만드는 것을 막을 수 있다.

 

대학교 4학년 시절에 지정된 논문을 읽고 다른 학우들과 토론하는 수업에서 G*Power를 알게 되었다. 당시에는 연구를 직접 진행하는 입장이 아니었기에 해당 소프트웨어의 존재만 알고 넘어갔는데, 직접 연구를 진행하기 위해 G*Power를 설치하고 사용해보면서 나의 연구에 힘을 실어줄 근거를 하나 마련했다는 생각에 기뻤다. 그리고 비싼 SPSS 프로그램을 떠올려보면, 이러한 소프트웨어가 무료라는 점도 감사한 일이었다.

 

연구 진행 전에 G*Power를 사용하는 것은 자신이 설계한 연구의 검정력을 확보할 때, 타당한 근거를 마련해주는 행동이다. 또한, 최소 표집 인원을 알 수 있어서 type II 오류를 줄이는 데 특히 효과적임을 알면 좋겠다!

 

추가2. Input parameters에 Numerator df 칸이 있는 경우

간혹 G*Power를 사용하다보면 Input parameters에 numerator df(분자 자유도) 칸이 생성되기도 한다. 일반적으로 분자 자유도는 분석 프로그램에 따라 자동으로 계산되고 적용된다. 그러나 G*Power 같은 검정력 분석 소프트웨어에서는 사용자가 분자 자유도를 수동으로 입력하는 경우가 종종 있다. 이 경우에 사용자는 3-way ANOVA의 주효과, 이원 상호작용, 삼원 상호작용에 대한 분자 자유도를 각각 계산해야 한다.

 

만약 일원 분산분석을 실시한다면 분자 자유도는 number of groups의 수에서 1을 빼는데, 3개의 집단이 있는 경우의 분자 자유도는 (3-1)=2가 된다. 그러나 이원 분산분석이나 삼원 분산분석을 실시한다면 조금 다른 방식으로 계산을 진행해야 한다.

 

이원 분산분석의 경우에는 각 변수의 분자 자유도를 곱해야 한다.

AXB 상호작용의 분산 자유도 = (A 분자 자유도) X (B 분자 자유도)

 

그리고 삼원 분산분석의 경우에는 세 변수의 분자 자유도를 모두 곱해야 한다.