목차
논문 통계분석을 진행하다 보면 SPSS에서 ANOVA(분산분석) 결과를 확인하는 순간이 있습니다.
결과표를 열어보니 유의확률(p값)이 0.05보다 작게 나왔습니다.
드디어 집단 간 차이가 있다는 결과가 나왔네!
그런데 막상 논문에 결과를 작성하려고 하니 한 가지 문제가 생깁니다.
그래서 어떤 집단과 어떤 집단이 다른 걸까?
ANOVA는 여러 집단의 평균에 차이가 있는지 확인하는 분석이지만, 기본적인 ANOVA 결과만으로는 구체적으로 어느 집단 사이에서 차이가 발생했는지 알기 어렵습니다.
이때 필요한 것이 바로 사후검정(Post-hoc Test)입니다.
1. ANOVA가 유의하다는 것은 무슨 의미일까?
ANOVA는 일반적으로 세 집단 이상의 평균을 비교할 때 많이 사용하는 분석입니다.
예를 들어 대학원생의 논문 스트레스가 학위 과정에 따라 다른지 알아본다고 가정해보겠습니다.
비교하려는 집단은 다음과 같습니다.
- 석사과정
- 박사과정
- 석·박사통합과정
ANOVA를 진행했더니 유의확률이 p = .012로 나타났습니다.
유의수준을 .05로 설정했다면 집단 간 평균이 모두 같다는 귀무가설을 기각할 수 있습니다.
즉, 적어도 한 집단의 평균이 다른 집단과 차이가 있다는 통계적 근거가 확인된 것입니다.
하지만 여기서 주의해야 합니다.
이 결과가 세 집단 모두 서로 다르다는 의미는 아닙니다.
2. 평균을 비교하면 어느 집단이 다른지 알 수 있지 않을까?
ANOVA 결과와 함께 집단별 평균을 확인하면 어느 정도 차이가 있는 것처럼 보일 수 있습니다.
예를 들어 다음과 같은 결과가 나왔다고 가정해보겠습니다.
| 학위 과정 | 평균 스트레스 점수 |
|---|---|
| 석사과정 | 3.2 |
| 박사과정 | 3.8 |
| 석·박사통합과정 | 3.5 |
평균만 보면 박사과정의 스트레스 점수가 가장 높고 석사과정이 가장 낮습니다.
그렇다면 박사과정과 석사과정 사이에 통계적으로 유의한 차이가 있다고 바로 말할 수 있을까요?
평균값만으로는 판단할 수 없습니다.
집단별 표본 수와 점수의 변동성 등을 함께 고려해야 하기 때문입니다.
평균이 다르게 나타났다고 해서 그 차이가 모두 통계적으로 유의한 것은 아닙니다.
3. 사후검정은 정확히 무엇을 확인할까?
사후검정은 ANOVA에서 집단 간 차이를 확인한 뒤, 구체적으로 어떤 집단 사이에 차이가 있는지 살펴보는 분석입니다.
앞선 예시라면 다음 관계를 비교할 수 있습니다.
① 석사과정과 박사과정
② 석사과정과 석·박사통합과정
③ 박사과정과 석·박사통합과정
예를 들어 사후검정 결과가 다음과 같이 나왔다고 가정해보겠습니다.
| 비교 집단 | 조정된 p값 | 결과 |
|---|---|---|
| 석사 vs 박사 | .008 | 유의함 |
| 석사 vs 통합 | .120 | 유의하지 않음 |
| 박사 vs 통합 | .090 | 유의하지 않음 |
※ 이해를 돕기 위한 가상의 결과이며, 앞서 제시한 평균과 별도로 구성한 예시입니다.
이 경우 세 집단 전체를 비교한 ANOVA 결과는 유의했지만, 사후검정에서는 석사과정과 박사과정 사이에서만 통계적으로 유의한 차이가 확인된 것입니다.
따라서 논문에는 단순히 학위 과정에 따라 스트레스에 차이가 있었다고 작성하는 것에서 나아가, 어느 집단 사이에서 차이가 나타났는지 구체적으로 설명할 수 있습니다.
4. Tukey, Bonferroni, Games-Howell은 어떻게 다를까?
SPSS에서 사후검정을 선택하려고 보면 생각보다 많은 방법이 나타납니다.
대표적으로 Tukey, Bonferroni, Games-Howell 등이 있습니다.
Tukey 검정
모든 집단 간 쌍별 평균 차이를 비교할 때 자주 활용합니다. 일반적으로 등분산 가정을 충족하는 상황에서 고려할 수 있습니다.
Bonferroni 보정
여러 비교를 수행할 때 발생하는 다중비교 문제를 조정하는 방법입니다. 비교 횟수와 연구목적에 따라 활용할 수 있습니다.
Games-Howell 검정
집단 간 분산이 동일하지 않은 경우에 활용할 수 있는 방법으로, 집단별 표본 수가 서로 다른 상황에서도 고려할 수 있습니다.
여기서 중요한 것은 가장 유명한 검정을 선택하는 것이 아니라 데이터 특성과 분석 가정에 적절한 방법을 선택하는 것입니다.
5. Levene 검정은 왜 확인해야 할까?
ANOVA를 진행할 때 함께 확인하는 것 중 하나가 등분산성 검정입니다.
등분산성이란 비교하려는 집단들의 모집단 분산이 같다는 가정입니다.
SPSS에서는 Levene 검정을 통해 이를 확인하는 경우가 많습니다.
일반적으로 유의수준을 .05로 설정했다면 다음과 같이 해석할 수 있습니다.
- p ≥ .05: 등분산 가정을 기각할 근거가 충분하지 않음
- p < .05: 등분산 가정에 문제가 있을 가능성을 시사함
다만 Levene 검정에서 유의하지 않았다고 등분산성이 완전히 증명되는 것은 아닙니다.
등분산 가정이 적절하지 않다면 Welch ANOVA를 고려할 수 있으며, 사후비교에서도 Games-Howell 등 적절한 방법을 선택할 수 있습니다.
ANOVA 결과가 유의한지만 확인하고 바로 사후검정을 선택하기보다, 분석 가정부터 함께 살펴보는 것이 좋습니다.
6. ANOVA가 유의하지 않으면 사후검정을 하면 안 될까?
이 부분도 자주 헷갈리는 내용입니다.
일반적인 분석에서는 ANOVA 결과가 유의한 경우 사후검정을 통해 구체적인 집단 차이를 확인하는 흐름을 많이 사용합니다.
하지만 ANOVA가 유의하지 않으면 어떤 집단 비교도 절대 할 수 없다는 뜻은 아닙니다.
연구자가 선행연구나 이론적 근거를 바탕으로 특정 집단 간 차이를 사전에 검증하기로 계획했다면, 계획비교(Planned Contrast)를 진행할 수도 있습니다.
다만 결과를 확인한 뒤 유의한 비교를 찾기 위해 여러 분석을 반복하는 것은 주의해야 합니다.
여러 번 검정을 진행할수록 우연히 유의한 결과가 나타날 가능성이 커질 수 있기 때문입니다.
따라서 연구가설에 따라 사전에 계획한 비교인지, 분석 이후 탐색적으로 진행한 비교인지 구분하는 것이 중요합니다.
7. 논문에는 ANOVA와 사후검정 결과를 어떻게 작성할까?
논문에서는 단순히 p값만 적기보다 분석 결과의 흐름을 보여주는 것이 좋습니다.
예를 들어 앞서 설명한 대학원생의 스트레스 연구라면 다음과 같이 작성할 수 있습니다.
논문 결과 작성 예시
학위 과정에 따른 논문 스트레스의 차이를 검증하기 위해 일원분산분석을 실시하였다. 분석 결과, 학위 과정에 따른 논문 스트레스의 차이는 통계적으로 유의하게 나타났다(F(2, 147) = 5.21, p = .007). 사후검정 결과, 박사과정의 스트레스 수준이 석사과정보다 유의하게 높았으며, 그 외 집단 간 차이는 통계적으로 유의하지 않았다.※ 가상의 분석 결과를 활용한 문장 예시입니다. 실제 논문에서는 분석표에 제시된 F값, 자유도, p값, 사후검정 결과를 정확하게 반영해야 합니다.
여기에 집단별 평균과 표준편차, 필요에 따라 효과크기까지 함께 제시하면 결과를 더욱 구체적으로 설명할 수 있습니다.
특히 통계적으로 유의하다는 사실과 실제 차이의 크기가 얼마나 되는지는 구분해서 해석하는 것이 좋습니다.
SPSS에서 사후검정까지 확인하는 습관이 중요합니다
논문 통계분석을 처음 진행하면 유의확률에만 집중하기 쉽습니다.
하지만 ANOVA에서는 유의확률을 확인한 뒤에도 집단별 평균, 등분산성, 사후검정 결과까지 함께 살펴봐야 합니다.
SPSS 분석을 외부에 맡기는 경우에도 단순히 ANOVA 결과표만 받기보다 연구가설에 맞는 집단 비교와 사후검정이 필요한지 확인하는 것이 좋습니다.
더브레인처럼 논문 SPSS 통계분석을 다루는 곳에 문의할 때도 비교하려는 집단과 연구가설을 미리 정리해두면 분석 범위를 전달하기가 수월합니다.
📌 정리
ANOVA 결과가 통계적으로 유의하게 나왔다고 해서 분석이 모두 끝난 것은 아닙니다.
✔ ANOVA는 집단 간 평균 차이가 존재하는지 검정합니다.
✔ 유의한 ANOVA 결과만으로 어느 집단끼리 다른지 알 수는 없습니다.
✔ 구체적인 집단 차이는 사후검정이나 계획비교를 통해 확인할 수 있습니다.
✔ Tukey, Bonferroni, Games-Howell 등은 분석 가정과 비교 목적에 맞게 선택해야 합니다.
✔ 논문에는 유의확률뿐 아니라 집단별 평균과 차이의 방향, 필요시 효과크기까지 함께 제시하는 것이 좋습니다.
결국 ANOVA에서 중요한 것은 집단 간 차이가 있는가?라는 질문에서 끝나지 않는 것입니다.
어떤 집단 사이에서, 어느 방향으로, 얼마나 차이가 나타났는가?
이 질문까지 살펴봐야 논문에서 통계분석 결과를 보다 정확하고 설득력 있게 설명할 수 있습니다.