목차
논문 설문조사를 끝내고 데이터를 확인하다 보면 유독 눈에 띄는 값이 하나씩 발견될 때가 있습니다.
대부분 비슷한 범위에 모여 있는데 특정 응답자만 아주 높거나 낮은 값을 보이는 경우입니다.
이런 값을 흔히 이상치(Outlier)라고 부릅니다.
처음 발견하면 아무래도 신경이 쓰입니다.
이 값 때문에 통계 결과가 이상하게 나오는 건 아닐까? 그냥 삭제하는 게 낫지 않을까?
하지만 이상치는 발견했다고 해서 무조건 제거해야 하는 데이터가 아닙니다. 오류로 발생한 값인지, 실제로 존재할 수 있는 관측값인지부터 구분하는 과정이 필요합니다.
1. 이상치는 왜 발생할까?
이상치가 나타나는 이유는 생각보다 다양합니다.
설문 응답자가 문항을 잘못 이해했을 수도 있고, 데이터를 입력하거나 코딩하는 과정에서 오류가 발생했을 수도 있습니다.
예를 들어 1~5점 척도 문항인데 데이터에 55가 입력되어 있다면 단순한 입력 오류를 의심해볼 수 있습니다.
반면 월평균 지출액을 조사했는데 대부분 20만~100만 원 사이이고 한 명만 500만 원이라고 응답했다면 이야기가 달라집니다.
500만 원이라는 값이 흔하지는 않지만 실제로 가능한 응답일 수도 있기 때문입니다.
즉, 다른 데이터와 크게 다르다는 이유만으로 곧바로 잘못된 데이터라고 판단할 수는 없습니다.
2. 이상치 하나가 통계분석에 영향을 줄 수도 있습니다
그렇다고 이상치를 그냥 무시해도 된다는 의미는 아닙니다.
극단적인 값은 평균과 표준편차 같은 기술통계량에 영향을 줄 수 있고, 분석 방법에 따라 회귀계수나 상관관계 등에도 영향을 미칠 수 있습니다.
예를 들어 대부분의 값이 비슷한 범위에 있는데 하나의 극단적인 값이 멀리 떨어져 있다면 평균이 그 방향으로 움직일 수 있습니다.
그래서 논문 통계분석에서는 이상치가 있는지 확인하고, 해당 값이 분석 결과에 어떤 영향을 줄 수 있는지 살펴보는 과정이 필요합니다.
3. 이상치는 어떻게 확인할까?
이상치를 확인하는 방법은 데이터와 분석 목적에 따라 달라질 수 있습니다.
가장 기본적으로는 데이터의 최솟값과 최댓값을 확인해 입력 가능한 범위를 벗어난 값이 없는지 살펴볼 수 있습니다.
필요에 따라 상자그림(Boxplot), 표준화 점수(Z-score) 등을 활용해 다른 관측값과 크게 떨어진 사례가 있는지도 확인할 수 있습니다.
회귀분석에서는 단순히 변수 하나의 값만 보는 것보다 잔차나 영향력이 큰 사례를 추가로 확인하기도 합니다.
따라서 이상치 검수는 특정 숫자 하나를 기준으로 모든 데이터를 기계적으로 삭제하는 작업이라고 생각하지 않는 편이 좋습니다.
4. 이상치를 발견했다고 바로 삭제하면 안 되는 이유
논문 통계분석을 하다 보면 특정 응답을 제외했을 때 결과가 더 깔끔해지는 경우가 있을 수 있습니다.
예를 들어 이상치를 제거했더니 p값이 작아지거나 기존에 유의하지 않았던 관계가 유의하게 나타날 수도 있습니다.
하지만 원하는 통계 결과를 얻기 위해 데이터를 삭제하는 것은 피해야 합니다.
이상치를 제외하려면 왜 해당 사례를 분석에서 제외했는지 설명할 수 있는 합리적인 근거가 필요합니다.
특히 실제 모집단에 존재할 수 있는 값이라면 단순히 다른 응답자와 차이가 크다는 이유만으로 제외하는 것이 오히려 연구 결과를 왜곡할 수도 있습니다.
5. 이상치와 불성실 응답은 같은 것이 아닙니다
이 부분도 은근히 헷갈리기 쉽습니다.
이상치가 있다고 해서 그 응답자가 불성실하게 설문에 참여했다는 의미는 아닙니다.
예를 들어 소득이나 소비금액처럼 개인별 차이가 큰 변수에서는 실제로 다른 응답자보다 훨씬 높은 값을 가진 사람이 존재할 수 있습니다.
반대로 모든 문항에 같은 번호만 반복해서 선택한 불성실 응답은 개별 값만 보면 이상치로 나타나지 않을 수도 있습니다.
따라서 데이터 검수에서는
이상치 = 극단적으로 다른 값
불성실 응답 = 응답의 신뢰성을 의심할 만한 패턴
정도로 구분해서 생각하면 이해하기 쉽습니다.
이상치를 삭제하기 전에 이것부터 확인해보세요
이상치를 발견했다면 바로 Delete 키부터 누르기보다 몇 가지를 먼저 확인하는 편이 좋습니다.
해당 값이 실제로 가능한 범위인지, 입력이나 코딩 오류는 없는지, 원본 설문에서도 동일한 응답인지, 특정 응답자의 다른 문항에는 문제가 없는지 등을 확인해볼 수 있습니다.
그리고 실제 분석에서 제외하기로 결정했다면 제외 전후 표본 수와 제외 기준을 기록해두는 것도 중요합니다.
나중에 논문의 연구방법이나 데이터 정제 과정을 설명해야 할 때 근거가 되기 때문입니다.
📊 설문조사는 수집이 끝나도 데이터 검수가 남아 있습니다
논문 설문조사를 처음 진행하면 목표 인원을 채우는 순간 가장 큰 일이 끝난 것처럼 느껴집니다.
하지만 수집된 데이터를 그대로 SPSS에 넣기보다 결측값, 불성실 응답, 이상치, 코딩 오류 등을 확인한 뒤 분석에 사용할 데이터를 확정하는 과정이 필요합니다.
그래서 설문조사 대행을 알아볼 때도 단순히 몇 명을 모집할 수 있는지만 보기보다 수집 이후 데이터를 어떻게 검수하는지까지 확인해보는 것이 좋습니다.
더브레인도 설문조사 진행 시 응답 패턴과 응답시간 등을 바탕으로 불성실 응답을 검수하고, 이후 필요한 경우 SPSS 통계분석까지 이어서 진행할 수 있다고 하니 설문 수집부터 분석까지 한 번에 진행해야 하는 경우 참고해볼 만합니다.
📌 정리
SPSS 데이터에서 이상치를 발견했다고 해서 무조건 삭제해야 하는 것은 아닙니다.
✔ 실제로 가능한 값인지
✔ 입력·코딩 오류는 없는지
✔ 다른 데이터와 얼마나 차이가 나는지
✔ 분석 결과에 영향을 주는 사례인지
✔ 제외할 만한 명확한 근거가 있는지
이런 부분을 먼저 확인하는 것이 중요합니다.
특히 이상치를 제거했더니 원하는 결과가 나왔다는 이유는 삭제 근거가 될 수 없습니다.
논문 데이터 정리의 목적은 결과를 예쁘게 만드는 것이 아니라, 수집된 데이터를 연구 목적에 맞게 정확하게 분석할 수 있는 상태로 만드는 것입니다.
이상치는 지워야 할 데이터라기보다 한 번 더 확인해야 할 데이터라고 생각하면 훨씬 이해하기 쉽습니다.