목차
설문지를 만들다 보면 문장의 의미를 더 정확하게 전달하기 위해 부정 표현을 사용하는 경우가 있습니다.
“나는 현재 업무에 만족하지 않는다.”
“나는 해당 서비스가 불편하지 않다고 생각한다.”
작성하는 입장에서는 크게 어색하지 않을 수 있습니다.
그런데 응답자의 입장에서 다시 읽어보면 생각보다 헷갈리는 문장들이 있습니다.
특히 ‘전혀 그렇지 않다’부터 ‘매우 그렇다’까지 선택해야 하는 리커트 척도 문항에서는 부정 표현이 포함된 문장을 한 번 더 생각해야 합니다.
“만족하지 않는다는 말에 동의하지 않으면 만족한다는 뜻인가?”
“불편하지 않다는 말에 그렇지 않다고 답하면 불편하다는 건가?”
이처럼 문장의 의미를 여러 번 해석해야 한다면 응답자가 의도와 다른 보기를 선택할 가능성이 있습니다.
설문 문항은 연구자가 이해하기 쉬운 문장보다 응답자가 빠르고 정확하게 이해할 수 있는 문장이어야 합니다.
1. 부정문은 응답자가 문장의 의미를 한 번 더 생각하게 만듭니다
먼저 다음 두 문장을 비교해보겠습니다.
① 나는 현재 업무에 만족한다.
② 나는 현재 업무에 만족하지 않는다.
두 문장 모두 업무 만족도를 묻는 데 사용할 수 있습니다.
하지만 두 번째 문장은 부정 표현이 들어가 있기 때문에 응답자가 문장의 의미를 반대로 해석해야 합니다.
특히 설문에 여러 문항이 연속으로 제시된다면 이런 차이가 더 중요해질 수 있습니다.
앞선 문항에서는 ‘그렇다’를 선택하는 것이 높은 만족도를 의미했는데, 다음 문항에서는 ‘그렇다’를 선택하는 것이 낮은 만족도를 의미할 수 있기 때문입니다.
응답자가 이러한 차이를 충분히 인식하지 못하면 실제 생각과 다른 답변을 선택할 수 있습니다.
물론 부정문이라고 해서 모두 잘못된 문항은 아닙니다.
다만 긍정문으로도 같은 개념을 명확하게 측정할 수 있다면 불필요한 부정 표현을 줄이는 것이 좋습니다.
2. 이중부정 문항은 더 복잡하게 느껴질 수 있습니다
부정문보다 더 주의해야 할 것은 이중부정 문항입니다.
예를 들어 다음 문장을 살펴보겠습니다.
“나는 이 서비스가 불편하지 않다고 생각하지 않는다.”
이 문장에 ‘매우 그렇다’라고 응답한다면 어떤 의미일까요?
서비스가 불편하다고 생각한다는 의미에 가까울 수 있습니다.
하지만 응답자가 그 의미를 바로 이해하기는 쉽지 않습니다.
문장 안에 부정 표현이 반복되면 의미를 파악하기 위해 여러 번 읽어야 할 수 있기 때문입니다.
특히 ‘그렇지 않다’라는 응답 보기까지 결합하면 혼란이 커질 수 있습니다.
따라서 이중부정 문항은 가능하면 더 직접적인 문장으로 바꾸는 것이 좋습니다.
예를 들어
수정 전: 나는 이 서비스가 불편하지 않다고 생각하지 않는다.
수정 후: 나는 이 서비스를 이용할 때 불편함을 느낀다.
처럼 표현할 수 있습니다.
이렇게 하면 응답자가 문장의 의미를 여러 번 뒤집어 생각할 필요가 줄어듭니다.
3. 부정문이 많아지면 응답 오류가 발생할 수 있습니다
설문 문항이 복잡해질수록 응답자는 각 문장을 해석하는 데 더 많은 주의를 기울여야 합니다.
특히 비슷한 문항이 반복되는 설문에서는 일부 응답자가 문장을 충분히 읽지 않고 이전과 같은 방향으로 답변할 수도 있습니다.
예를 들어 다음과 같은 문항이 있다고 가정해보겠습니다.
Q1. 나는 현재 업무에 만족한다.
Q2. 나는 현재 업무에 보람을 느낀다.
Q3. 나는 현재 업무에 만족하지 않는다.
앞의 두 문항에 모두 5점을 선택한 응답자가 세 번째 문항도 습관적으로 5점을 선택했다면 어떨까요?
실제로는 업무에 만족하지만 세 번째 문장의 부정 표현을 놓쳤을 가능성이 있습니다.
물론 이러한 응답만으로 불성실 응답이라고 단정할 수는 없습니다.
하지만 문항의 표현 방식 때문에 응답이 달라졌을 가능성은 확인해볼 필요가 있습니다.
이처럼 문장의 긍정·부정 표현에 따라 나타나는 차이는 측정하려는 개념과 관계없는 응답 오류를 만들어낼 수 있습니다.
따라서 문항을 작성할 때는 응답자가 어떤 방향으로 답해야 하는지 쉽게 이해할 수 있도록 만드는 것이 중요합니다.
4. 역문항을 만들기 위해 무조건 부정문을 사용할 필요는 없습니다
설문지를 설계할 때 부정문을 사용하는 이유 중 하나는 역문항을 만들기 위해서입니다.
역문항은 다른 문항과 점수의 방향이 반대가 되도록 구성한 문항입니다.
예를 들어
“나는 업무에 만족한다.”
라는 문항에서 높은 점수는 높은 만족도를 의미합니다.
반면
“나는 업무에 불만이 많다.”
라는 문항에서는 높은 점수가 낮은 만족도를 의미할 수 있습니다.
두 문항을 같은 방향의 점수로 분석하려면 두 번째 문항에 역코딩이 필요할 수 있습니다.
다만 여기서 주의할 부분이 있습니다.
부정문과 역문항은 반드시 같은 의미가 아닙니다.
부정문은 문장의 표현 방식이고, 역문항은 측정 점수의 방향과 관련된 개념입니다.
또한 역문항을 사용한다고 해서 응답의 정확성이 반드시 높아지는 것도 아닙니다.
오히려 이해하기 어려운 역문항은 응답자의 혼란을 키우고 신뢰도나 요인구조에 영향을 줄 수도 있습니다.
따라서 역문항을 추가할 때는 단순히 긍정문 앞에 ‘~하지 않는다’를 붙이기보다 실제로 측정하려는 개념을 정확하게 반영하는지 확인해야 합니다.
5. 부정문을 긍정문으로 바꿀 때는 의미가 달라지지 않는지 확인해야 합니다
부정 표현을 줄이는 것은 좋지만, 모든 부정문을 무조건 긍정문으로 바꾸는 것도 주의해야 합니다.
예를 들어
“나는 업무에 불만이 없다.”
라는 문장을
“나는 업무에 만족한다.”
로 바꿨다고 해보겠습니다.
두 문장은 비슷하게 느껴지지만 완전히 같은 의미라고 보기는 어렵습니다.
업무에 특별한 불만이 없다고 해서 반드시 만족도가 높은 것은 아니기 때문입니다.
마찬가지로
“나는 이 서비스를 신뢰하지 않는다.”
와
“나는 이 서비스를 불신한다.”
도 응답자가 받아들이는 의미나 강도가 다를 수 있습니다.
따라서 문장을 수정할 때는 부정 표현을 없애는 것 자체보다 원래 측정하려던 개념이 유지되는지를 확인해야 합니다.
특히 기존 선행연구에서 검증된 척도를 사용하는 경우에는 문항을 임의로 수정하기보다 원척도의 의미와 수정에 따른 영향을 함께 검토하는 것이 좋습니다.
6. 설문 문장을 다듬을 때는 다음 기준을 확인해보세요
부정문이나 이중부정 문항을 검토할 때는 몇 가지 기준을 활용할 수 있습니다.
① 한 번 읽고 의미를 이해할 수 있는가?
문장을 여러 번 읽어야 의미가 파악된다면 표현을 단순하게 바꿀 필요가 있습니다.
② 부정 표현이 꼭 필요한가?
‘~하지 않는다’, ‘~않는 것은 아니다’처럼 부정 표현이 들어간 이유를 확인해보세요.
긍정적인 표현으로도 같은 개념을 측정할 수 있다면 수정하는 것이 좋습니다.
③ 한 문항에서 하나의 내용만 묻고 있는가?
예를 들어
“나는 이 서비스가 불편하지 않고 만족스럽지 않은 것도 아니다.”
처럼 여러 판단이 결합된 문장은 응답하기 어렵습니다.
이 경우에는 측정하려는 개념을 구분해 문항을 작성하는 것이 좋습니다.
④ 응답 보기와 결합했을 때 혼란스럽지 않은가?
문장 자체는 이해할 수 있더라도 ‘전혀 그렇지 않다’라는 보기와 결합하면 의미가 복잡해질 수 있습니다.
따라서 실제 설문 화면에서 응답 보기까지 함께 확인하는 것이 좋습니다.
⑤ 응답자가 연구자의 의도대로 해석하는가?
연구자가 문장을 이해하는 것과 실제 응답자가 이해하는 것은 다를 수 있습니다.
설문 배포 전 소규모 사전조사를 통해 응답자가 문항을 어떻게 이해했는지 확인해보는 것도 도움이 됩니다.
7. 이미 수집한 데이터라면 어떻게 해야 할까요?
설문조사를 모두 마친 뒤 부정문이나 이중부정 문항에 문제가 있다는 사실을 발견할 수도 있습니다.
이때는 해당 문항을 무조건 삭제하거나 응답값을 임의로 바꾸기보다 먼저 어떤 문제가 있는지 확인해야 합니다.
예를 들어 역문항이라면 올바르게 역코딩했는지 확인할 수 있습니다.
또한 문항 간 상관관계, 문항-총점 상관, 신뢰도 분석 결과 등을 살펴보면서 특정 문항이 다른 문항들과 다르게 작동하는지 검토할 수 있습니다.
탐색적 요인분석을 진행한다면 부정 표현이 포함된 문항들이 별도의 요인으로 묶이는지도 확인해볼 수 있습니다.
다만 부정문이 다른 요인으로 묶였다고 해서 무조건 문장 표현 때문이라고 단정할 수는 없습니다.
실제로 다른 개념을 측정하고 있을 가능성도 있기 때문입니다.
따라서 문항 삭제나 수정 여부는 통계 결과뿐 아니라 이론적 의미와 원래 척도의 구성까지 함께 고려해야 합니다.
무엇보다 응답이 이미 수집된 뒤에는 문장을 수정하더라도 기존 응답자의 해석을 되돌릴 수 없다는 점을 기억해야 합니다.
📌 정리
부정문과 이중부정 문항은 응답자가 문장을 해석하는 데 부담을 느끼게 하고, 의도하지 않은 응답 오류를 발생시킬 수 있습니다.
✔ 부정문은 응답자가 문장의 의미를 반대로 해석해야 할 수 있습니다.
✔ 이중부정은 문장과 응답 보기가 결합하면서 혼란을 키울 수 있습니다.
✔ 부정문과 역문항은 같은 개념이 아닙니다.
✔ 역문항을 만들기 위해 불필요한 부정 표현을 추가하지 않는 것이 좋습니다.
✔ 긍정문으로 수정할 때는 원래 측정하려던 의미가 유지되는지 확인해야 합니다.
✔ 설문 배포 전 사전조사를 통해 응답자의 실제 이해도를 확인하는 것이 좋습니다.
✔ 이미 수집한 데이터는 역코딩과 문항 분석 결과를 확인하되, 통계 수치만으로 문항을 삭제하지 않도록 주의해야 합니다.
특히 설문 문장을 다듬을 때는 ‘학술적으로 보이는 문장인가’보다 ‘응답자가 오해 없이 답할 수 있는 문장인가’를 먼저 생각하는 것이 좋습니다.
문항 하나의 표현이 달라지는 것만으로도 응답자가 받아들이는 의미가 달라질 수 있습니다.
따라서 설문지를 완성했다면 분석 방법을 검토하는 것뿐 아니라, 응답자의 입장에서 각 문장을 다시 읽어보는 시간도 가져보세요.