논문 설문조사 대상자를 잘못 모집하면? 표본 선정부터 데이터 분석까지 주의사항

논문 설문조사를 준비할 때 가장 먼저 고민하는 것 중 하나가 응답자 모집입니다.

연구모형과 설문지를 완성하고 나면 이제 필요한 인원만 확보하면 된다고 생각하기 쉽습니다.

그런데 막상 설문조사를 진행하다 보면 예상하지 못한 문제가 발생하기도 합니다.

응답자 300명을 모았는데, 정작 분석에 사용할 수 있는 데이터가 부족하다면?

설문에 참여한 사람 중 일부가 연구대상 조건에 맞지 않는다면?

특히 논문 설문조사에서는 단순히 응답자 수를 채우는 것보다 연구목적에 적합한 사람들에게 응답을 받는 것이 중요합니다.

오늘은 설문조사 대상자를 잘못 모집했을 때 발생할 수 있는 문제와 이를 예방하는 방법을 정리해보겠습니다.

1. 설문조사 대상자는 왜 중요할까?

논문에서 설문조사 대상자는 단순히 질문에 답하는 사람이 아닙니다.

연구자가 확인하고 싶은 현상이나 관계를 검증하기 위한 자료를 제공하는 사람입니다.

예를 들어 직장인의 직무만족도와 이직의도 간 관계를 연구한다고 가정해보겠습니다.

이 연구에서 조사대상을 현재 재직 중인 직장인으로 설정했다면 실제로 직장생활을 하고 있는 사람들의 응답을 확보해야 합니다.

그런데 응답자 중 취업준비생이나 퇴직자가 다수 포함되어 있다면 어떻게 될까요?

이들은 현재 재직 중인 직장인과 경험이나 상황이 다를 수 있기 때문에 연구자가 설정한 모집단을 적절하게 반영하지 못할 가능성이 있습니다.

따라서 설문조사를 시작하기 전에는 누구를 조사할 것인지 명확하게 정의하는 과정이 필요합니다.

2. 응답자 수가 많아도 좋은 데이터가 아닐 수 있습니다

논문 설문조사를 준비하면서 가장 많이 신경 쓰는 숫자는 표본 수입니다.

150명, 200명, 300명 등 목표 인원을 정하고 이를 확보하는 데 집중하는 경우가 많습니다.

하지만 응답자 수가 많다고 해서 반드시 좋은 연구자료가 되는 것은 아닙니다.

예를 들어 특정 서비스를 최근 6개월 이내에 이용한 사람을 대상으로 만족도 조사를 진행한다고 가정해보겠습니다.

총 300명의 응답을 확보했지만 실제 이용 경험이 있는 사람이 180명뿐이라면 나머지 120명은 연구대상 조건에 맞지 않을 수 있습니다.

이 경우 전체 응답자 수는 300명이지만 실제 분석에 사용할 수 있는 표본은 180명 이하가 될 수 있습니다.

물론 연구목적에 따라 이용 경험이 없는 사람을 비교집단으로 활용하는 경우도 있습니다.

하지만 애초에 이용 경험자를 대상으로 설계한 연구라면 대상 조건을 충족하지 않는 응답을 그대로 포함하는 것은 적절하지 않습니다.

결국 중요한 것은 얼마나 많이 모집했는가보다 필요한 사람을 정확하게 모집했는가입니다.

3. 연구대상 조건이 모호하면 어떤 문제가 생길까?

설문조사 대상자를 모집할 때는 조건을 구체적으로 설정하는 것이 좋습니다.

예를 들어 다음과 같은 모집 기준을 생각해보겠습니다.

직장인 대상 설문조사

이렇게만 안내하면 응답자마다 직장인의 범위를 다르게 이해할 수 있습니다.

정규직만 해당하는지, 계약직이나 아르바이트 근로자도 포함되는지, 현재 휴직 중인 사람은 참여할 수 있는지 등이 명확하지 않기 때문입니다.

반면 다음과 같이 기준을 구체화할 수 있습니다.

현재 국내 기업에 재직 중이며, 근속기간이 6개월 이상인 만 19세 이상 근로자

이렇게 설정하면 연구자가 원하는 응답자 범위를 보다 명확하게 전달할 수 있습니다.

다만 조건을 지나치게 세분화하면 응답자 모집이 어려워질 수도 있습니다.

따라서 연구목적에 필요한 조건을 중심으로 모집 기준을 설정하는 것이 중요합니다.

4. 스크리닝 문항을 활용하면 도움이 됩니다

설문조사 대상자가 연구 조건에 적합한지 확인하기 위해 활용하는 것이 스크리닝(Screening) 문항입니다.

스크리닝 문항은 본격적인 설문에 앞서 응답자의 참여 자격을 확인하는 질문입니다.

예를 들어 최근 1년 이내 온라인 쇼핑 경험자를 대상으로 연구한다면 다음과 같은 문항을 사용할 수 있습니다.

Q. 귀하는 최근 1년 이내 온라인 쇼핑몰에서 상품을 구매한 경험이 있습니까?

① 예
② 아니요

이때 ‘아니요’를 선택한 응답자는 연구대상에 해당하지 않으므로 본 설문에 참여하지 않도록 분기할 수 있습니다.

또 연구대상에 따라 연령, 거주지역, 직업, 이용 경험 등을 확인하는 스크리닝 문항을 구성할 수도 있습니다.

다만 스크리닝 문항이 있다고 해서 모든 응답자의 자격을 완벽하게 확인할 수 있는 것은 아닙니다.

응답자의 자기보고에 의존하는 경우도 있기 때문에 모집 경로와 응답 데이터 검수까지 함께 고려하는 것이 좋습니다.

5. 모집 채널에 따라 표본이 달라질 수 있습니다

같은 설문지를 배포하더라도 어디에서 응답자를 모집하는지에 따라 표본 구성이 달라질 수 있습니다.

예를 들어 일반 성인을 대상으로 설문조사를 진행하면서 대학생 커뮤니티에만 설문을 배포했다고 가정해보겠습니다.

이 경우 20대 응답자가 상대적으로 많이 확보될 가능성이 있습니다.

반대로 직장인 커뮤니티를 중심으로 모집한다면 특정 직업군이나 연령대가 집중될 수 있습니다.

이러한 현상은 표본 편중(Sampling Bias) 문제와 연결될 수 있습니다.

특히 연구결과를 특정 모집단 전체에 일반화하려는 경우에는 표본이 해당 모집단을 얼마나 적절하게 반영하는지 검토해야 합니다.

온라인 설문조사에서는 응답자를 빠르게 모집하는 것도 중요하지만 어떤 경로를 통해 누구에게 설문이 전달되는지 함께 확인하는 것이 좋습니다.

6. 잘못 모집한 응답자는 모두 삭제해야 할까?

설문조사를 마친 뒤 연구대상에 맞지 않는 응답자가 발견되면 어떻게 해야 할까요?

가장 먼저 확인해야 할 것은 해당 응답자가 연구에서 설정한 포함 기준과 제외 기준에 실제로 해당하는지입니다.

예를 들어 최근 1년 이내 특정 서비스를 이용한 사람만 연구대상으로 정했다면 이용 경험이 없는 응답자는 분석 대상에서 제외하는 것이 적절할 수 있습니다.

하지만 단순히 특정 연령대의 응답자가 많거나, 예상과 다른 결과를 보였다는 이유만으로 데이터를 삭제해서는 안 됩니다.

연구대상 조건에 맞지 않는 응답과 연구자가 예상하지 못한 응답은 서로 다릅니다.

또 분석 과정에서 특정 응답자를 제외했다면 그 기준과 제외 인원을 기록하는 것이 좋습니다.

예를 들어 다음과 같이 정리할 수 있습니다.

※ 이해를 돕기 위한 가상의 사례입니다. 제외 기준은 연구 설계에 따라 달라질 수 있습니다.

이처럼 전체 수집 인원과 최종 분석 인원을 구분하면 데이터 처리 과정을 보다 명확하게 설명할 수 있습니다.

7. 설문조사를 시작하기 전에 확인해야 할 사항

연구대상자를 잘못 모집하는 문제를 줄이려면 조사 시작 전에 몇 가지 사항을 확인하는 것이 좋습니다.

① 연구대상을 명확하게 정의했는가?

연령, 직업, 지역, 경험 여부 등 필요한 조건이 구체적으로 정리되어 있는지 확인합니다.

② 포함 기준과 제외 기준이 정해져 있는가?

어떤 응답자를 분석에 포함하고 제외할 것인지 미리 검토합니다.

③ 스크리닝 문항이 적절하게 구성되어 있는가?

연구대상에 해당하지 않는 사람이 본 설문에 참여하지 않도록 설정되어 있는지 확인합니다.

④ 모집 채널이 연구대상에 적합한가?

특정 집단에만 응답자가 몰릴 가능성이 있는지 살펴봅니다.

⑤ 필요한 표본 수를 확보할 수 있는가?

연구대상 조건과 분석 방법을 고려해 실제 모집 가능한 인원을 검토합니다.

특히 연구대상 조건이 까다로운 경우에는 설문지를 완성한 뒤 모집 가능 여부를 확인하기보다 연구계획 단계에서부터 표본 확보 가능성을 함께 검토하는 것이 좋습니다.

논문 설문조사는 모집 단계부터 데이터 품질이 결정됩니다

논문 설문조사를 준비하다 보면 설문 문항이나 통계분석 방법에 많은 시간을 투자하게 됩니다.

하지만 아무리 잘 구성된 설문지라도 연구대상에 맞지 않는 사람들에게 응답을 받는다면 결과를 해석하는 데 한계가 생길 수 있습니다.

특히 특정 직업군이나 연령대, 지역, 서비스 이용 경험자 등을 대상으로 하는 연구라면 모집 조건을 명확하게 설정하는 것이 중요합니다.

직접 응답자를 모집하기 어려워 설문조사 업체를 이용하는 경우에도 단순히 목표 인원을 채울 수 있는지만 확인하기보다 연구대상 조건에 맞는 모집이 가능한지 먼저 확인하는 것이 좋습니다.

더브레인처럼 온라인 설문조사와 조건별 응답자 모집을 다루는 곳에 문의할 때도 연구대상과 모집 조건, 목표 표본 수를 구체적으로 전달하면 진행 가능 여부와 필요한 사항을 확인하기가 수월합니다.

📌 정리

논문 설문조사에서 응답자 모집은 단순히 목표 인원을 확보하는 과정이 아닙니다.

연구목적에 적합한 데이터를 확보하기 위한 중요한 단계입니다.

• 연구대상 정의: 누구를 조사할 것인지 명확하게 정해야 합니다.
• 스크리닝 문항: 연구대상 조건에 맞는 응답자인지 확인하는 데 도움이 됩니다.
• 모집 채널: 설문을 어디에 배포하는지에 따라 표본 구성이 달라질 수 있습니다.
• 데이터 검수: 연구대상 조건에 맞지 않는 응답과 불성실 응답을 구분해 확인해야 합니다.
• 최종 분석 표본: 전체 수집 인원과 실제 분석에 사용한 인원은 다를 수 있습니다.

특히 설문조사를 시작하기 전에는 몇 명을 모집할 것인가?라는 질문만큼 중요한 것이 있습니다.

바로 누구에게 설문조사를 진행할 것인가?입니다.

논문에서 필요한 것은 단순히 많은 응답자가 아니라, 연구목적에 적합한 응답자로부터 확보한 신뢰할 수 있는 데이터라는 점을 기억하면 좋겠습니다.