응답률이 높다고 좋은 데이터일까요?

1. 응답률은 ‘얼마나 참여했는지’를 보여줍니다

응답률은 기본적으로
설문 요청을 받은 사람 가운데 얼마나 많은 사람이 응답했는지를 보여주는 지표입니다.

예를 들어 500명에게 설문 참여를 요청했고
400명이 응답했다면 응답률은 상당히 높은 편이라고 볼 수 있습니다.

연구자 입장에서는 반가운 결과입니다.

응답률이 지나치게 낮으면
특정한 사람들만 설문에 참여한 것은 아닌지 살펴볼 필요가 있기 때문입니다.

다만 여기서 한 가지 구분해야 할 것이 있습니다.

‘응답했다’와 ‘제대로 응답했다’는 같은 의미가 아닙니다.

400명이 설문을 완료했더라도
그 400명의 응답을 모두 분석에 사용할 수 있는지는 별도로 확인해야 합니다.

2. 응답자가 많아도 제외해야 하는 데이터가 있을 수 있습니다

설문이 끝난 뒤 데이터를 열어보면
생각보다 다양한 응답 패턴이 발견됩니다.

예를 들어 다음과 같은 경우입니다.

✔ 대부분의 문항에 같은 번호만 반복해서 선택한 응답
✔ 지나치게 짧은 시간 안에 설문을 완료한 응답
✔ 중요한 문항이 비어 있는 응답
✔ 연구 대상 조건에 맞지 않는 응답
✔ 동일인이 반복해서 참여한 것으로 의심되는 응답

물론 이런 특징이 있다고 해서
무조건 잘못된 응답이라고 단정할 수는 없습니다.

설문의 길이와 문항 구성, 연구 대상, 조사 방식에 따라 판단 기준이 달라질 수 있기 때문입니다.

다만 응답률만 보고 바로 분석을 시작하면
이런 데이터를 확인하지 못한 채 결과에 포함할 가능성이 있습니다.

그래서 설문조사가 끝난 뒤에는
몇 명이 응답했는지만큼 어떤 응답이 들어왔는지를 살펴보는 과정이 필요합니다.

3. 목표 인원을 채웠다고 바로 분석할 수 있는 것도 아닙니다

논문 설문을 진행할 때는 보통
목표 응답자 수를 정해놓고 조사를 시작합니다.

그래서 목표가 300명이라면
응답자가 정확히 300명이 되는 순간 이런 생각이 들 수 있습니다.

“드디어 끝났다.”

그런데 데이터 검수 과정에서
10명, 20명의 응답을 제외해야 하는 상황이 생긴다면 이야기가 달라집니다.

최종적으로 분석에 사용할 수 있는 표본은
처음 확보한 응답자 수보다 줄어들 수 있기 때문입니다.

특히 연구 대상에 명확한 조건이 있다면 더욱 그렇습니다.

최근 6개월 이내 특정 서비스를 이용한 사람,
특정 직종에 종사하는 사람,
특정 지역에 거주하는 사람처럼 조건이 정해져 있다면
응답자가 그 기준에 실제로 부합하는지도 확인해야 합니다.

따라서 목표 인원을 채웠다는 사실만 보기보다는
검수 이후 실제 분석 가능한 표본이 몇 명인지 확인하는 것이 좋습니다.

4. 응답률이 낮다고 무조건 나쁜 조사도 아닙니다

반대의 경우도 생각해볼 수 있습니다.

응답률이 예상보다 낮으면
연구가 잘못된 것처럼 느껴질 수 있습니다.

하지만 응답률 하나만으로
조사의 품질 전체를 판단하기는 어렵습니다.

조사 대상자가 얼마나 접근하기 어려운 집단인지,
설문이 어떤 방식으로 배포됐는지,
조사 기간은 어느 정도였는지 등에 따라 응답률은 달라질 수 있습니다.

오히려 응답률 자체보다 살펴봐야 할 것은

“어떤 사람들이 응답했는가?”

“특정 집단의 응답만 지나치게 많은 것은 아닌가?”

“내가 연구하려던 대상이 제대로 포함되어 있는가?”

와 같은 부분입니다.

응답률은 조사 상태를 확인하는 하나의 숫자이지,
그 숫자 하나가 데이터의 품질을 모두 설명해주는 것은 아닙니다.

5. 설문이 끝났다면 응답률 다음으로 데이터를 확인해보세요

설문조사를 진행하는 동안에는
응답자 수가 계속 신경 쓰일 수밖에 없습니다.

200명.

250명.

그리고 드디어 목표했던 300명.

숫자가 채워지면 가장 큰 일이 끝난 것처럼 느껴집니다.

하지만 논문에서 실제로 사용하는 것은
‘300명이 응답했다’는 사실 자체가 아니라
그 응답을 통해 만들어진 데이터입니다.

따라서 설문이 끝났다면 바로 통계분석으로 넘어가기보다
결측값이나 중복 응답, 응답 패턴, 조사 대상 조건 등을 먼저 확인해보는 것이 좋습니다.

필요하다면 이 과정에서
추가 응답자를 모집해야 할 수도 있습니다.

조금 번거롭게 느껴지더라도
분석을 모두 끝낸 뒤 데이터 문제를 발견하는 것보다는 훨씬 낫습니다.

결국 응답률이 높다는 것은 좋은 출발점이 될 수 있습니다.

다만 좋은 응답률이 곧 좋은 데이터라는 의미는 아닙니다.

몇 명이 응답했는지를 확인했다면,
그다음에는 어떤 데이터가 모였는지를 확인해볼 차례입니다.

📌 정리

설문조사에서 응답률은 분명 확인해야 할 지표입니다.

하지만 응답률이 높다는 이유만으로
수집된 데이터의 품질까지 좋다고 판단하기는 어렵습니다.

✔ 목표 응답자 수가 충분히 확보되었는지
✔ 연구 대상 조건에 맞는 응답인지
✔ 결측이나 중복 응답은 없는지
✔ 지나치게 반복적인 응답 패턴은 없는지
✔ 검수 후에도 필요한 표본 수가 확보되는지

이 정도는 분석 전에 한 번 확인해보는 것이 좋습니다.

특히 ‘몇 명을 모았는가’보다 ‘실제로 몇 명의 데이터를 사용할 수 있는가’를 구분해서 보는 것이 중요합니다.

응답률이 충분히 높다면 좋은 출발은 한 셈입니다.
이제 그다음 단계에서는 수집된 응답이 연구 목적에 맞는 데이터인지 차근차근 확인해보세요.