논문 설문조사 응답 200명을 모았는데 실제 분석에는 180명만 쓰는 이유

논문 설문조사를 마치고 응답 데이터를 확인했는데 처음 목표로 했던 인원과 실제 분석에 사용하는 인원이 다르다면 당황스러울 수 있습니다.

분명히 200명의 응답을 확보했는데 SPSS 분석 결과에는 사례 수가 180명으로 표시되기도 합니다.

20명은 어디로 사라진 걸까?

설문조사에 참여한 사람은 모두 분석에 사용할 수 있는 것 아닌가 싶지만, 실제 논문에서는 수집한 응답과 최종 분석에 사용하는 데이터를 구분하는 경우가 많습니다.

설문 응답을 확보하는 것과 연구에 적합한 데이터를 선별하는 것은 서로 다른 과정이기 때문입니다.

오늘은 설문 응답 200명 중 180명만 분석에 사용하는 이유와 최종 분석 표본이 결정되는 과정을 정리해보겠습니다.

1. 수집한 응답과 최종 분석 표본은 다를 수 있습니다

설문조사를 진행하면 가장 먼저 확인하는 숫자는 전체 응답자 수입니다.

하지만 전체 응답이 모두 연구에 적합한 것은 아닙니다.

예를 들어 직장인을 대상으로 직무만족도 연구를 진행했다고 가정해보겠습니다.

설문조사를 통해 총 200명의 응답을 확보했지만, 데이터를 확인하는 과정에서 일부 응답이 연구대상 조건에 맞지 않거나 분석에 활용하기 어려운 것으로 확인될 수 있습니다.

이 경우 전체 수집 인원과 최종 분석 인원은 달라집니다.

가상의 데이터 처리 과정을 살펴보겠습니다.

※ 이해를 돕기 위한 가상의 사례입니다. 실제 제외 기준과 인원은 연구마다 다릅니다.

이처럼 처음 확보한 응답이 200명이더라도 검수와 데이터 정리 과정을 거치면 실제 분석에 사용하는 인원은 줄어들 수 있습니다.

2. 불성실 응답은 왜 제외할까?

설문조사에서 가장 대표적으로 확인하는 항목 중 하나가 불성실 응답입니다.

응답자가 문항을 제대로 읽지 않고 무작위로 답했거나, 연구목적에 맞지 않는 방식으로 응답한 경우 분석 결과에 영향을 줄 수 있기 때문입니다.

대표적으로 다음과 같은 유형을 확인할 수 있습니다.

① 동일한 번호만 반복해서 선택한 경우

여러 문항에서 계속 같은 번호를 선택했다면 응답 패턴을 살펴볼 필요가 있습니다.

다만 실제로 모든 문항에 같은 의견을 가지고 있을 수도 있으므로 동일 응답만으로 무조건 제외해서는 안 됩니다.

② 지나치게 짧은 시간에 응답한 경우

설문 문항 수와 난이도에 비해 응답 시간이 매우 짧다면 문항을 충분히 읽지 않았을 가능성을 검토할 수 있습니다.

하지만 응답 시간이 짧다는 이유만으로 불성실 응답이라고 단정할 수는 없습니다.

③ 앞뒤 응답이 모순되는 경우

서로 관련된 질문에 명백히 모순되는 답변을 반복했다면 응답의 일관성을 확인할 필요가 있습니다.

④ 주관식 문항에 무의미한 답변을 작성한 경우

주관식 응답에 의미 없는 문자나 질문과 관계없는 내용을 반복적으로 입력했다면 검토 대상이 될 수 있습니다.

중요한 것은 특정 기준 하나만으로 응답을 제외하는 것이 아니라 연구목적과 사전에 정한 데이터 검수 기준에 따라 판단하는 것입니다.

3. 연구대상 조건에 맞지 않는 응답도 제외될 수 있습니다

설문조사를 시작할 때는 연구대상을 명확하게 설정해야 합니다.

예를 들어 최근 6개월 이내 특정 서비스를 이용한 경험이 있는 사람을 대상으로 만족도 조사를 진행한다고 가정해보겠습니다.

그런데 응답자 중 해당 서비스를 이용한 경험이 없는 사람이 포함되어 있다면 어떻게 해야 할까요?

이 경우 연구자가 설정한 대상 조건에 부합하지 않으므로 분석에서 제외하는 것이 적절할 수 있습니다.

다른 예시도 있습니다.

• 만 19세 이상 성인을 대상으로 했지만 미성년자가 참여한 경우
• 특정 지역 거주자를 대상으로 했지만 다른 지역 거주자가 참여한 경우
• 현재 재직자를 대상으로 했지만 퇴직자가 포함된 경우
• 특정 제품 구매자를 대상으로 했지만 구매 경험이 없는 사람이 참여한 경우

이처럼 응답자 수가 충분하더라도 연구대상 조건을 충족하지 않는 데이터는 별도로 확인해야 합니다.

다만 처음부터 비교집단으로 포함하도록 설계한 경우라면 판단이 달라질 수 있습니다.

따라서 모집 단계에서 연구대상 조건을 명확하게 설정하는 것이 중요합니다.

4. 결측값 때문에 분석 인원이 줄어들기도 합니다

전체 응답이 200명인데 특정 분석에서 180명만 사용되는 또 다른 이유는 결측값입니다.

결측값은 응답자가 특정 문항에 답하지 않았거나 데이터 처리 과정에서 값이 누락된 경우를 의미합니다.

예를 들어 설문 응답자 200명 중 20명이 핵심 변수에 응답하지 않았다면 해당 변수를 활용하는 분석에서 표본 수가 줄어들 수 있습니다.

특히 SPSS에서는 결측값 처리 방식에 따라 분석에 포함되는 사례 수가 달라집니다.

목록별 삭제(Listwise Deletion)를 적용하면 분석에 포함된 변수 중 하나라도 결측값이 있는 사례를 해당 분석에서 제외합니다.

반면 분석에 사용하는 변수별로 유효한 응답을 활용하는 방식에서는 변수마다 분석 표본 수가 달라질 수 있습니다.

따라서 SPSS 결과표에서 분석마다 N값이 다르게 나타난다면 결측값 처리 방식부터 확인해보는 것이 좋습니다.

여기서 주의할 점은 결측값이 있다는 이유만으로 응답 전체를 무조건 삭제할 필요는 없다는 것입니다.

결측값의 발생 원인과 비율, 패턴, 분석 방법 등을 고려해 적절한 처리 방식을 결정해야 합니다.

5. 분석마다 표본 수가 달라질 수도 있을까?

그렇습니다.

최종 분석 표본이 180명으로 정리되었더라도 모든 통계분석에서 반드시 180명이 사용되는 것은 아닙니다.

분석에 포함되는 변수가 다르기 때문입니다.

예를 들어 다음과 같은 상황을 생각해보겠습니다.

※ 이해를 돕기 위한 가상의 사례입니다.

일반적 특성 분석에서는 모든 응답을 활용할 수 있지만, 특정 변수에 결측값이 있다면 해당 변수를 사용하는 분석에서는 인원이 줄어들 수 있습니다.

따라서 논문을 작성할 때는 전체 수집 인원뿐 아니라 각 분석에서 실제로 사용된 표본 수가 얼마인지 확인해야 합니다.

분석 결과표에 표시된 N값을 무조건 동일하게 맞추려고 데이터를 임의로 수정해서는 안 됩니다.

6. 처음부터 200명을 목표로 했다면 더 많이 모집해야 할까?

이 부분은 설문조사를 준비하는 연구자들이 많이 고민하는 내용입니다.

예를 들어 논문 분석에 유효한 응답 200명이 필요하다고 가정해보겠습니다.

그런데 실제 조사에서는 연구대상 조건에 맞지 않는 응답이나 불성실 응답, 결측값 등이 발생할 수 있습니다.

따라서 처음부터 필요한 표본 수만큼만 모집하면 최종 분석에 사용할 수 있는 인원이 부족해질 가능성이 있습니다.

이런 이유로 실제 조사에서는 목표 분석 표본보다 여유 있게 모집하는 방법을 고려할 수 있습니다.

다만 얼마나 더 모집해야 하는지는 연구대상, 조사 방식, 예상 제외율 등에 따라 달라집니다.

예를 들어 유효 응답 200명을 확보하려는 상황에서 예상 제외율을 10%로 잡는다면 다음과 같이 계산할 수 있습니다.

[
\text{필요 모집 인원}=\frac{200}{1-0.10}\approx223
]

즉, 약 223명을 모집해야 최종적으로 200명 정도의 유효 응답을 확보할 것으로 예상할 수 있습니다.

물론 이는 예상 제외율을 가정한 계산일 뿐이며 실제 제외율을 보장하는 수치는 아닙니다.

중요한 것은 목표 표본 수를 정할 때 최종 분석에 필요한 인원과 실제 모집 과정에서 발생할 수 있는 제외 가능성을 함께 고려하는 것입니다.

7. 최종 분석 표본을 정할 때 주의해야 할 점

응답자를 제외하는 과정에서 가장 조심해야 할 부분은 분석 결과에 맞춰 데이터를 선택하는 것입니다.

예를 들어 가설이 유의하게 나오지 않았다는 이유로 특정 응답자를 삭제하거나, 예상한 결과가 나올 때까지 데이터를 반복해서 제외하는 것은 적절하지 않습니다.

응답 제외 기준은 연구목적과 데이터 특성을 바탕으로 정해야 합니다.

최종 분석 표본을 결정할 때는 다음 사항을 확인해보세요.

① 연구대상 조건을 충족하는가?

처음 설정한 모집 기준에 맞는 응답자인지 확인합니다.

② 불성실 응답 기준에 해당하는가?

응답 패턴과 응답 시간, 문항 간 일관성 등을 종합적으로 검토합니다.

③ 결측값이 존재하는가?

결측값의 발생 원인과 분석에 미치는 영향을 확인합니다.

④ 제외 기준이 일관되게 적용되었는가?

특정 응답자에게만 다른 기준을 적용하지 않았는지 확인합니다.

⑤ 제외 인원과 사유를 기록했는가?

전체 응답 수와 제외 인원, 최종 분석 표본을 구분해 정리합니다.

이러한 과정을 거치면 논문에서 데이터 수집과 분석 과정을 보다 명확하게 설명할 수 있습니다.

설문 응답 수보다 중요한 것은 최종 데이터의 품질입니다

논문 설문조사를 진행하다 보면 목표 인원을 채우는 것 자체가 큰 과제처럼 느껴집니다.

하지만 응답을 많이 확보했다고 해서 모든 데이터가 분석에 적합한 것은 아닙니다.

연구대상 조건을 충족하는지, 불성실 응답은 없는지, 결측값은 어떻게 처리할지 등을 확인해야 비로소 분석에 활용할 수 있는 데이터가 만들어집니다.

따라서 설문조사를 준비할 때는 목표 응답자 수뿐 아니라 최종 분석에 필요한 유효 표본 수까지 고려하는 것이 좋습니다.

설문조사 업체를 이용할 계획이라면 목표 모집 인원과 최종 유효 표본의 기준이 어떻게 다른지, 데이터 검수 과정에서 어떤 기준을 적용하는지도 미리 확인해보세요.

더브레인처럼 온라인 설문조사와 통계분석을 다루는 곳에 문의할 때도 연구대상 조건과 목표 표본 수, 필요한 분석 방법을 함께 전달하면 조사 규모를 검토하는 데 도움이 됩니다.

📌 정리

설문 응답 200명을 확보했는데 실제 분석에는 180명만 사용하는 것은 충분히 발생할 수 있는 상황입니다.

• 연구대상 조건 미충족: 연구에서 정한 모집 기준에 맞지 않는 응답
• 불성실 응답: 무작위 응답이나 명백히 부적절한 응답 등
• 결측값: 분석에 필요한 문항의 응답이 누락된 경우
• 분석별 표본 차이: 사용하는 변수와 결측값 처리 방식에 따라 달라지는 N값
• 최종 표본 관리: 제외 기준과 인원, 사유를 명확하게 기록하는 과정

논문 설문조사에서 중요한 것은 처음 모집한 응답자 수만이 아닙니다.

얼마나 많은 응답을 받았는지보다, 그중 실제 연구목적에 맞게 분석할 수 있는 데이터가 얼마나 확보되었는지가 중요합니다.

설문조사를 시작하기 전부터 최종 분석 표본을 고려한다면 데이터가 부족해지는 상황을 줄이고, 이후 통계분석과 논문 작성도 훨씬 수월하게 진행할 수 있습니다.