목차
논문 설문조사를 마치고 응답자 특성을 정리하다 보면 예상하지 못했던 문제가 보일 때가 있습니다.
목표했던 300명은 모두 채웠는데 성별을 확인해보니 여성 응답자가 80%이거나, 연령대를 확인했더니 20대에 대부분 몰려 있는 경우입니다.
일단 필요한 인원은 확보했으니 괜찮은 걸까요?
꼭 그렇다고 보기는 어렵습니다.
논문 설문조사에서는 몇 명을 모집했는지뿐 아니라 어떤 사람들로 표본이 구성되어 있는지도 중요합니다.
1. 표본 편중은 왜 생길까?
설문 응답자가 특정 집단에 몰리는 이유는 다양합니다.
온라인 커뮤니티 한 곳에서만 설문을 배포했거나, 연구자 주변의 지인을 중심으로 응답자를 모집했다면 특정 연령이나 직업에 표본이 집중될 수 있습니다.
예를 들어 대학원생 커뮤니티에서 일반 성인을 대상으로 설문을 모집한다면 다른 연령대보다 20~30대 응답자가 상대적으로 많이 들어올 가능성이 있습니다.
온라인 설문조사는 빠르게 많은 사람에게 접근할 수 있다는 장점이 있지만, 어디에서 누구를 모집했는지에 따라 표본 구성이 달라질 수 있다는 점도 함께 생각해야 합니다.
2. 성별이 7:3이면 문제가 있는 걸까?
응답자 특성을 확인했는데 성별이나 연령 비율이 균등하지 않으면 바로 걱정하는 경우가 있습니다.
하지만 표본이 반드시 5:5로 구성되어야 하는 것은 아닙니다.
연구대상 자체의 특성이 한쪽으로 치우쳐 있을 수도 있기 때문입니다.
예를 들어 실제 모집단에서 여성의 비율이 높은 직업군을 연구한다면 여성 응답자가 더 많은 것이 자연스러울 수 있습니다.
반대로 모집단에서는 성별 비율이 비슷한데 특정 성별 응답자가 대부분을 차지했다면 표본의 대표성을 검토해볼 필요가 있습니다.
결국 중요한 것은 비율이 균등한가가 아니라 연구하려는 모집단의 특성을 적절하게 반영하고 있는가입니다.
3. 전체 300명보다 집단별 인원이 중요할 때도 있습니다
전체 표본 수만 보면 충분해 보여도 분석 목적에 따라 문제가 생길 수 있습니다.
예를 들어 남성과 여성의 차이를 비교하려는 연구에서 전체 응답자가 300명이라고 가정해보겠습니다.
그런데 남성은 20명이고 여성은 280명이라면 단순히 전체 표본 수만 보고 충분하다고 판단하기 어렵습니다.
연령대별 비교에서도 마찬가지입니다.
20대 200명
30대 60명
40대 30명
50대 이상 10명
처럼 구성되어 있다면 전체는 300명이지만 집단 간 비교를 진행할 때는 각 집단의 사례 수와 불균형을 함께 고려해야 합니다.
집단 비교가 중요한 연구라면 설문조사를 시작하기 전부터 집단별 모집 인원을 생각해두는 것이 좋습니다.
4. 표본이 몰린 것을 설문이 끝난 뒤 발견했다면?
가장 난감한 상황입니다. 😅
이미 목표 인원까지 설문조사를 마쳤는데 데이터를 열어보니 특정 집단에 응답자가 지나치게 몰려 있는 경우입니다.
이때 단순히 인원이 많은 집단의 데이터를 임의로 삭제해서 비율을 맞추는 것은 신중해야 합니다.
먼저 연구대상과 모집단의 실제 특성을 확인하고, 현재 표본 구성이 연구목적에 문제가 되는 수준인지 살펴봐야 합니다.
필요하다면 부족한 집단을 대상으로 추가 표본을 확보하는 방법도 고려할 수 있습니다.
다만 어떤 방식으로 조정할지는 연구 설계와 분석 목적에 따라 달라질 수 있으므로 단순히 숫자를 예쁘게 맞추는 것을 목표로 해서는 안 됩니다.
5. 쿼터를 미리 정해두는 방법도 있습니다
특정 성별이나 연령대가 골고루 포함되어야 하는 조사라면 처음부터 할당(Quota)을 설정해 모집하는 방법도 있습니다.
예를 들어 총 300명을 조사하면서
- 20대 75명
- 30대 75명
- 40대 75명
- 50대 75명
처럼 목표 인원을 미리 정해두는 방식입니다.
성별과 연령을 동시에 고려해야 한다면 조건을 조금 더 세분화할 수도 있습니다.
다만 모든 연구에서 균등 할당이 필요한 것은 아닙니다.
연구대상과 모집단의 실제 분포, 분석 목적을 고려해 어떤 기준으로 표본을 구성할 것인지 먼저 결정하는 것이 중요합니다.
표본 수를 정할 때 ‘300명’에서 끝내지 마세요
논문 설문조사를 계획할 때는 보통 가장 먼저 전체 목표 인원을 정합니다.
하지만 실제로는 300명을 누구로 채울 것인지가 더 중요한 연구도 있습니다.
성별, 연령, 지역, 직업, 경력, 특정 서비스 이용 경험 등 연구에 중요한 조건이 있다면 설문조사를 시작하기 전에 모집 기준을 정리해두는 것이 좋습니다.
특히 직접 모집하기 어려워 설문조사 업체를 이용한다면 단순히 300명 모집이 가능한지만 확인하기보다 필요한 조건으로 응답자를 모집할 수 있는지를 먼저 확인하는 편이 좋습니다.
더브레인처럼 성별·연령이나 지역 등 조건에 맞춰 설문 응답자를 모집할 수 있는 서비스를 알아보는 것도 특정 표본 구성이 필요한 연구에서는 도움이 될 수 있습니다.
📌 정리
논문 설문조사에서 표본이 한쪽으로 몰렸다고 해서 무조건 잘못된 것은 아닙니다.
중요한 것은 왜 그런 분포가 나타났고, 내 연구목적에 적절한 표본인가입니다.
✔ 실제 연구대상의 특성과 비슷한 분포인지
✔ 특정 모집 채널 때문에 편중된 것은 아닌지
✔ 집단 비교에 필요한 사례 수가 확보됐는지
✔ 성별·연령·지역 등 중요한 조건이 빠지지 않았는지
✔ 필요한 경우 조사 전에 할당 기준을 정했는지
이런 부분을 함께 확인하는 것이 좋습니다.
결국 설문조사에서 중요한 질문은 몇 명을 모았는가?에서 끝나지 않습니다.
누구에게 응답을 받았는가?
이 질문까지 확인해야 확보한 표본이 실제 논문 통계분석에 적절한지 판단할 수 있습니다.