목차
논문 설문조사를 시작하고 응답자가 조금씩 모이기 시작하면 예상하지 못했던 문제가 발견될 때가 있습니다.
설문 문항에 오타가 있거나, 응답자가 질문을 이해하기 어렵다는 의견을 보내오기도 합니다.
심지어 설문을 배포한 뒤에야 중요한 선택지가 빠져 있다는 사실을 발견하는 경우도 있습니다.
이럴 때 가장 먼저 드는 생각은 하나입니다.
이미 설문조사가 진행 중인데 문항을 수정해도 괜찮을까?
단순한 오타라면 큰 문제가 없을 것 같지만, 질문 내용이나 응답 선택지를 바꾸는 것은 생각보다 신중하게 접근해야 합니다.
특히 논문 설문조사에서는 수정 전후 응답을 동일한 데이터로 분석할 수 있는지가 중요합니다.
1. 설문조사 중간에 문항을 수정하면 왜 문제가 될까?
설문조사는 기본적으로 응답자들이 동일한 조건에서 질문을 이해하고 응답할 수 있도록 구성하는 것이 중요합니다.
그런데 조사 도중 질문 내용이 달라지면 먼저 참여한 응답자와 나중에 참여한 응답자가 서로 다른 질문에 답한 상황이 발생할 수 있습니다.
예를 들어 다음과 같은 문항이 있다고 가정해보겠습니다.
수정 전
현재 직장생활에 얼마나 만족하십니까?
수정 후
현재 직장의 급여와 복지 수준에 얼마나 만족하십니까?
두 문항은 비슷해 보이지만 측정하려는 내용이 다릅니다.
첫 번째는 전반적인 직장생활 만족도를 묻는 반면, 두 번째는 급여와 복지에 초점을 맞추고 있습니다.
따라서 두 문항의 응답을 단순히 합쳐 분석하면 측정 개념이 달라지는 문제가 생길 수 있습니다.
문항을 수정할 때는 표현이 얼마나 달라졌는지보다 응답자가 받아들이는 의미가 달라졌는지를 먼저 확인해야 합니다.
2. 단순한 오타 수정도 문제가 될까?
모든 문항 수정이 동일한 수준의 문제를 일으키는 것은 아닙니다.
예를 들어 다음과 같은 경우를 생각해볼 수 있습니다.
- 띄어쓰기나 맞춤법 오류 수정
- 문항 번호 정리
- 질문의 의미를 바꾸지 않는 명백한 오타 수정
- 응답에 영향을 주지 않는 화면 배치 조정
이처럼 질문의 의미와 응답 방식이 달라지지 않는 수정이라면 상대적으로 영향이 적을 수 있습니다.
하지만 단순한 표현 수정처럼 보여도 실제로는 질문의 의미가 달라질 수 있습니다.
예를 들어 ‘최근 1개월’을 ‘최근 3개월’로 바꾸는 것은 단순한 문구 수정이 아닙니다.
응답자가 떠올려야 하는 경험의 기간 자체가 달라지기 때문입니다.
따라서 수정이 작아 보이더라도 측정 내용이나 응답 기준에 영향을 주는지 확인하는 과정이 필요합니다.
3. 응답 선택지를 추가하거나 삭제해도 될까?
설문조사 도중 발견되는 문제 중 하나가 응답 선택지의 누락입니다.
예를 들어 직업을 묻는 문항에서 학생, 회사원, 자영업자만 제시하고 무직이나 기타 항목을 빠뜨렸다고 가정해보겠습니다.
이때 조사 중간에 선택지를 추가하면 어떤 문제가 발생할까요?
수정 전 응답자에게는 없었던 선택지가 수정 후 응답자에게는 제공됩니다.
즉, 응답자마다 선택할 수 있었던 답변의 범위가 달라지는 것입니다.
특히 추가한 선택지가 연구에서 중요한 분류 기준이라면 수정 전후 데이터를 단순히 동일하게 취급하기 어려울 수 있습니다.
응답 척도를 바꾸는 경우에는 더욱 주의해야 합니다.
예를 들어 기존 5점 척도를 조사 중간에 7점 척도로 변경한다면 응답값의 의미와 측정 방식이 달라집니다.
이러한 변경은 단순히 숫자를 변환한다고 해결되는 문제가 아닐 수 있습니다.
4. 설문 문항을 추가하면 기존 응답은 어떻게 될까?
조사 도중 교수님 피드백을 받거나 선행연구를 다시 확인하면서 새로운 문항이 필요하다고 판단하는 경우도 있습니다.
하지만 이미 응답을 완료한 사람들에게는 새롭게 추가한 문항의 응답이 존재하지 않습니다.
예를 들어 총 200명을 모집하는 조사에서 80명이 참여한 시점에 문항 3개를 추가했다고 가정해보겠습니다.
그렇다면 새롭게 추가한 문항에는 최대 120명의 응답만 확보되는 상황이 발생할 수 있습니다.
이 경우 전체 표본 수는 200명이더라도 추가 문항을 사용하는 분석에서는 실제 활용 가능한 표본 수가 달라질 수 있습니다.
특히 새 문항이 독립변수나 종속변수를 측정하는 핵심 문항이라면 연구모형 전체에 영향을 줄 가능성도 있습니다.
따라서 설문 문항을 추가하기 전에는 해당 문항이 반드시 필요한지, 기존 응답을 어떻게 처리할지, 추가 모집이 필요한지 등을 함께 검토해야 합니다.
5. 설문 로직을 수정할 때도 주의해야 합니다
온라인 설문조사에서는 질문 내용뿐 아니라 분기 로직과 응답 조건도 중요합니다.
예를 들어 특정 서비스를 이용한 경험이 있는 사람에게만 만족도 문항을 보여주도록 설정했다고 가정해보겠습니다.
그런데 로직이 잘못 설정되어 이용 경험이 없는 사람에게도 만족도 문항이 노출되었다면 어떻게 될까요?
반대로 응답해야 할 대상자가 해당 문항을 건너뛰도록 설정되었다면 필요한 데이터가 누락될 수도 있습니다.
이런 경우에는 단순히 화면 설정만 수정하는 것으로 끝나지 않습니다.
수정 전 어떤 응답자가 어떤 문항에 응답했는지 확인하는 과정이 필요합니다.
특히 스크리닝 문항이나 필수 응답 조건, 섹션 이동 로직은 데이터 수집 결과에 직접적인 영향을 줄 수 있으므로 조사 시작 전에 충분히 점검하는 것이 좋습니다.
6. 이미 설문을 수정했다면 어떻게 해야 할까?
설문조사 도중 문항을 수정했다면 가장 중요한 것은 수정 사실을 기록하고 데이터에 미친 영향을 확인하는 것입니다.
우선 다음 사항을 정리해보는 것이 좋습니다.
① 어떤 문항을 수정했는가?
단순한 오타인지, 질문의 의미나 선택지가 달라진 것인지 구분합니다.
② 언제 수정했는가?
수정 날짜와 시간을 기록하고, 가능하다면 수정 전후 응답자를 구분할 수 있도록 합니다.
③ 수정 전 응답은 몇 명인가?
기존 문항으로 응답한 인원과 수정 후 응답한 인원을 확인합니다.
④ 동일한 변수로 분석할 수 있는가?
수정 전후 문항이 같은 개념을 측정하는지 검토합니다.
⑤ 추가 조사나 별도 분석이 필요한가?
수정 내용이 중요하다면 기존 응답을 별도로 처리하거나 추가 표본을 확보하는 방법 등을 고려할 수 있습니다.
여기서 중요한 점은 문항을 수정했다고 해서 기존 응답을 무조건 삭제해야 하는 것은 아니라는 것입니다.
수정의 성격과 연구 설계에 따라 적절한 처리 방법이 달라질 수 있습니다.
또한 연구윤리 심의(IRB) 승인을 받은 조사라면 문항 변경이 승인 내용의 변경에 해당하는지 확인하고, 필요한 절차를 따라야 합니다.
7. 설문조사를 시작하기 전에 무엇을 확인해야 할까?
설문조사 중간에 발생하는 문제를 줄이려면 본조사를 시작하기 전에 설문지를 충분히 검토하는 것이 중요합니다.
특히 온라인 설문조사는 실제 응답자 입장에서 테스트해보는 과정이 도움이 됩니다.
문항 내용 확인
질문이 모호하지 않은지, 응답자가 이해하기 어려운 표현은 없는지 확인합니다.
응답 선택지 확인
선택지가 빠져 있거나 중복되는 부분은 없는지 살펴봅니다.
분기 로직 확인
특정 조건에 따라 문항이 올바르게 노출되거나 건너뛰어지는지 점검합니다.
필수 응답 확인
필수로 설정해야 하는 문항과 선택 응답이 가능한 문항을 구분합니다.
모바일 화면 확인
응답 척도나 긴 문항이 모바일에서도 정상적으로 표시되는지 확인합니다.
특히 논문 설문조사는 한 번 배포하면 수정이 어려운 경우가 많기 때문에 본조사 전에 소규모 사전조사를 통해 문제를 발견하는 방법도 고려할 수 있습니다.
설문조사에서는 빠른 배포보다 사전 점검이 중요합니다
논문 제출 일정이 촉박하면 설문지를 완성하자마자 배포하고 싶어질 수 있습니다.
하지만 설문조사를 시작한 뒤 중요한 오류가 발견되면 오히려 전체 일정이 더 길어질 수 있습니다.
문항 수정뿐 아니라 기존 데이터 검토, 추가 응답자 모집, 분석 가능 여부 확인 등 예상하지 못했던 작업이 발생할 수 있기 때문입니다.
따라서 온라인 설문조사를 진행할 때는 설문 문항과 응답 선택지, 분기 로직을 충분히 확인한 뒤 데이터 수집을 시작하는 것이 좋습니다.
설문조사 업체를 이용할 계획이라면 조사 시작 전 최종 설문지를 확인하고, 수정 요청이 발생했을 때 어떤 방식으로 처리되는지도 미리 알아두는 것이 도움이 됩니다.
더브레인처럼 온라인 설문조사와 응답자 모집을 진행하는 곳을 이용할 때도 설문지 제작 후 실제 조사에 들어가기 전 최종 확인 과정을 충분히 거치는 것이 중요합니다.
📌 정리
논문 설문조사 중간에 문항을 수정하는 것이 항상 불가능한 것은 아닙니다.
하지만 어떤 내용을 수정하는지에 따라 데이터에 미치는 영향이 크게 달라질 수 있습니다.
- 단순 오타 수정은 질문의 의미가 달라지지 않는지 확인해야 합니다.
- 질문 내용 변경은 수정 전후 응답의 비교 가능성을 검토해야 합니다.
- 응답 선택지 변경은 응답 조건과 데이터 분류에 영향을 줄 수 있습니다.
- 문항 추가는 해당 문항의 실제 분석 표본 수를 줄일 수 있습니다.
- 분기 로직 수정은 기존 응답의 누락이나 부적절한 응답 여부까지 확인해야 합니다.
- 수정 이력 관리는 이후 데이터 검수와 논문 작성 과정에서 중요합니다.
설문조사는 단순히 응답자를 많이 모집하는 과정이 아닙니다.
모든 응답자가 연구목적에 맞는 질문에 적절하게 응답할 수 있도록 관리하는 과정이기도 합니다.
따라서 설문조사를 시작하기 전에는 충분히 점검하고, 조사 도중 수정이 필요하다면 기존 데이터에 어떤 영향을 주는지부터 확인하는 것이 좋습니다.