SPSS 다중공선성 VIF가 높게 나왔다면? 원인부터 해결 방법까지 정리

논문 통계분석을 진행하다 보면 회귀분석 결과에서 예상하지 못한 숫자를 발견할 때가 있습니다.

바로 VIF(분산팽창지수)입니다.

SPSS에서 회귀분석을 실행했는데 VIF가 5를 넘거나, 어떤 변수는 10에 가까운 값이 나타나기도 합니다.

처음에는 이런 생각이 들 수 있습니다.

VIF가 높으면 분석을 다시 해야 하나?

변수를 삭제하면 해결되는 걸까?

다중공선성이 있으면 논문 가설검증 결과를 사용할 수 없는 걸까?

VIF는 회귀분석에서 확인해야 할 중요한 지표 중 하나지만,
수치가 높다는 이유만으로 데이터를 삭제하거나 연구모형을 바꿔야 하는 것은 아닙니다.

오늘은 SPSS 다중공선성의 의미부터 VIF 해석 기준, 확인 방법, 해결 방법까지 차근차근 정리해보겠습니다.

1. 다중공선성이란 무엇일까?

다중공선성(Multicollinearity)은 회귀분석에서 독립변수들이 서로 높은 선형적 관련성을 가지고 있는 상태를 의미합니다.

예를 들어 직무만족도에 영향을 미치는 요인을 분석한다고 가정해보겠습니다.

독립변수로 다음 세 가지를 설정했습니다.

• 직무환경 만족도
• 근무조건 만족도
• 조직지원 인식

그런데 직무환경 만족도와 근무조건 만족도가 매우 비슷한 내용을 측정하고 있다면 두 변수 사이에 높은 상관관계가 나타날 수 있습니다.

이러한 변수를 하나의 회귀모형에 함께 포함하면 각 변수가 종속변수와 어떤 관계를 갖는지 구분하기 어려워질 수 있습니다.

즉, 다중공선성은 독립변수끼리 서로 겹치는 정보가 많아지는 문제라고 이해하면 쉽습니다.

2. VIF는 무엇을 의미할까?

VIF는 Variance Inflation Factor의 약자로, 우리말로는 분산팽창지수라고 합니다.

쉽게 말하면 다른 독립변수들과의 선형적 관련성으로 인해 특정 회귀계수의 추정 분산이 얼마나 커지는지를 보여주는 지표입니다.

VIF는 1 이상이며, 값이 커질수록 해당 독립변수가 다른 독립변수들과 높은 선형적 관련성을 가지고 있을 가능성이 있습니다.

일반적으로 다음과 같은 기준을 참고하는 경우가 많습니다.

다만 VIF 5 또는 10이 모든 연구에 적용되는 절대적인 기준은 아닙니다.

표본 수, 연구모형, 분석 목적, 회귀계수의 불확실성 등을 함께 고려해야 합니다.

따라서 특정 숫자를 넘었다는 이유만으로 변수를 무조건 삭제하는 것은 적절하지 않습니다.

3. VIF가 높으면 어떤 문제가 생길까?

다중공선성이 높아지면 회귀분석 결과를 해석할 때 어려움이 생길 수 있습니다.

대표적인 문제는 회귀계수의 표준오차가 커질 수 있다는 것입니다.

표준오차가 커지면 개별 회귀계수의 추정이 불안정해지고, 통계적 유의성을 판단하기도 어려워질 수 있습니다.

예를 들어 독립변수 A와 B가 종속변수와 각각 높은 상관관계를 가지고 있다고 가정해보겠습니다.

그런데 A와 B 사이에도 높은 상관관계가 있다면 두 변수를 동시에 투입했을 때 어느 변수가 고유하게 설명하는 부분인지 구분하기 어려워질 수 있습니다.

그 결과 다음과 같은 상황이 나타날 수 있습니다.

• 상관분석에서는 유의했지만 회귀분석에서는 유의하지 않게 나타남
• 회귀계수의 표준오차가 커짐
• 변수 구성에 따라 회귀계수의 크기나 방향이 크게 달라짐
• 개별 독립변수의 관계를 해석하기 어려워짐

다만 다중공선성이 있다고 해서 회귀모형의 모든 결과가 무조건 잘못되는 것은 아닙니다.

특히 개별 독립변수의 회귀계수를 해석할 때 주의가 필요하다는 점이 중요합니다.

4. SPSS에서 VIF는 어디서 확인할까?

SPSS에서는 선형 회귀분석을 진행하면서 다중공선성 통계량을 확인할 수 있습니다.

SPSS 확인 순서

1. 상단 메뉴에서 분석 → 회귀분석 → 선형을 선택합니다.
2. 종속변수와 독립변수를 지정합니다.
3. 통계량 버튼을 클릭합니다.
4. 공선성 진단 항목을 선택합니다.
5. 분석을 실행한 뒤 계수표의 공선성 통계량을 확인합니다.

SPSS 결과표에서는 일반적으로 다음 두 가지 지표를 확인할 수 있습니다.

① 공차한계(Tolerance)

다른 독립변수들이 해당 독립변수를 얼마나 설명하는지와 관련된 지표입니다.

값이 작을수록 다중공선성을 의심할 수 있습니다.

② VIF

공차한계의 역수로 계산되는 지표입니다.

값이 클수록 다른 독립변수들과의 선형적 관련성이 높을 가능성이 있습니다.

두 지표는 서로 연결되어 있으므로 함께 이해하면 좋습니다.

5. VIF가 높게 나왔다면 가장 먼저 확인할 것

VIF가 높게 나타났을 때 가장 먼저 해야 할 일은 어떤 독립변수에서 문제가 발생했는지 확인하는 것입니다.

예를 들어 다음과 같은 회귀분석 결과가 나왔다고 가정해보겠습니다.

※ 이해를 돕기 위한 가상의 결과입니다.

이 경우 직무환경 만족도와 근무조건 만족도에서 상대적으로 높은 VIF가 나타났습니다.

그렇다면 두 변수가 비슷한 개념을 측정하고 있는지, 설문 문항이 중복되는 부분은 없는지 살펴볼 필요가 있습니다.

또 독립변수 간 상관관계와 연구모형의 구성도 함께 확인해야 합니다.

다만 독립변수 두 개의 상관계수가 높지 않더라도 여러 독립변수의 선형결합으로 다중공선성이 발생할 수 있습니다.

따라서 상관관계표만 보고 문제가 없다고 단정하기보다는 VIF와 변수 구성을 종합적으로 검토하는 것이 좋습니다.

6. VIF가 높으면 변수를 삭제해야 할까?

논문 통계분석에서 가장 주의해야 할 부분입니다.

VIF가 높게 나타나면 해당 변수를 삭제해서 수치를 낮추고 싶어질 수 있습니다.

하지만 VIF를 낮추기 위한 목적만으로 변수를 무작정 삭제하는 것은 권하기 어렵습니다.

예를 들어 직무환경 만족도와 근무조건 만족도가 이론적으로 서로 다른 개념이라면 두 변수 모두 연구에 중요한 역할을 할 수 있습니다.

이런 상황에서 단순히 VIF가 높다는 이유로 하나를 삭제하면 연구모형의 의미가 달라질 수도 있습니다.

따라서 다음과 같은 부분을 먼저 검토하는 것이 좋습니다.

첫째, 두 변수가 이론적으로 구분되는 개념인지 확인합니다.

둘째, 설문 문항이나 변수 구성에 중복된 부분이 있는지 살펴봅니다.

셋째, 데이터 코딩이나 변수 생성 과정에서 오류가 없는지 확인합니다.

넷째, 연구목적에 따라 변수 구성이나 분석 방법을 조정할 필요가 있는지 검토합니다.

특히 변수를 제거하거나 통합하는 경우에는 통계적 수치뿐 아니라 이론적 근거가 함께 뒷받침되어야 합니다.

7. 다중공선성을 줄이는 방법은 무엇일까?

다중공선성 문제가 확인되었다면 연구 설계와 데이터 특성에 따라 여러 방법을 고려할 수 있습니다.

① 유사한 독립변수의 중복 여부 검토

서로 비슷한 개념을 측정하는 변수가 있다면 이론적 근거를 바탕으로 변수 구성을 다시 검토할 수 있습니다.

② 변수 생성 및 코딩 과정 확인

같은 정보를 중복해서 사용했거나 파생변수를 잘못 생성한 경우에는 데이터 처리 과정부터 점검해야 합니다.

③ 연구모형 재검토

서로 강하게 연결된 변수들을 모두 독립변수로 설정하는 것이 연구목적에 적절한지 확인할 수 있습니다.

④ 연구목적에 맞는 대안적 분석 방법 검토

예측이 주목적인 연구라면 정규화 회귀 등 다른 분석 방법을 고려할 수도 있습니다. 다만 이러한 방법이 모든 논문에서 기존 회귀분석을 대신할 수 있는 것은 아닙니다.

여기서 한 가지 더 알아둘 점이 있습니다.

상호작용항이나 다항식항을 포함한 회귀모형에서는 평균중심화(Mean Centering)를 사용하는 경우도 있습니다.

평균중심화는 특정 항들 사이의 공선성을 완화하는 데 도움이 될 수 있지만,
일반적인 독립변수 간 다중공선성을 모두 해결해주는 방법은 아닙니다.

따라서 상황에 맞는 해결 방법을 선택해야 합니다.

8. 논문에는 다중공선성 결과를 어떻게 작성할까?

회귀분석 결과를 작성할 때는 연구 분야와 학교의 작성 기준에 따라 공차한계와 VIF를 제시하는 경우가 있습니다.

예를 들어 모든 독립변수의 VIF가 1.21~2.84 범위로 나타났다고 가정해보겠습니다.

이 경우 다음과 같이 작성할 수 있습니다.

논문 결과 작성 예시

다중공선성 여부를 확인하기 위해 공차한계와 분산팽창지수(VIF)를 검토하였다. 분석 결과, 독립변수의 VIF는 1.21~2.84 범위로 나타났으며, 공차한계는 모두 0.1을 초과하였다. 이를 바탕으로 본 회귀모형에서 심각한 다중공선성의 징후는 확인되지 않은 것으로 판단하였다.

※ 이해를 돕기 위한 가상의 결과입니다.
실제 논문에서는 분석 결과와 적용한 판단 기준을 정확하게 반영해야 합니다.

다만 VIF가 기준보다 낮다는 이유만으로 회귀분석의 모든 가정이 충족되었다고 판단할 수는 없습니다.

잔차의 특성이나 선형성 등 다른 가정도 연구에 맞게 검토해야 합니다.

SPSS 회귀분석에서는 p값뿐 아니라 VIF도 확인하세요

논문 통계분석을 처음 진행하면 회귀분석 결과에서 가장 먼저 p값을 확인하는 경우가 많습니다.

가설이 유의한지, 회귀계수가 예상한 방향으로 나타났는지가 궁금하기 때문입니다.

하지만 회귀분석 결과를 제대로 해석하려면 독립변수 간 다중공선성 문제도 함께 확인하는 것이 좋습니다.

특히 여러 독립변수를 하나의 모형에 투입하거나,
비슷한 개념을 측정한 변수들이 포함되어 있다면 더욱 주의할 필요가 있습니다.

통계분석을 외부에 맡길 계획이라면 연구모형과 가설, 변수 정의를 미리 정리해두는 것이 좋습니다.

📌 정리

SPSS 회귀분석에서 VIF가 높게 나타났다고 해서 무조건 분석이 잘못된 것은 아닙니다.

중요한 것은 다중공선성이 왜 발생했는지 확인하고, 연구목적에 맞게 판단하는 것입니다.

• 다중공선성은 독립변수들 사이에 높은 선형적 관련성이 있는 상태를 의미합니다.
• VIF는 다중공선성의 정도를 확인하는 대표적인 지표입니다.
• VIF가 높으면 회귀계수의 표준오차가 커지고 개별 변수의 관계를 해석하기 어려워질 수 있습니다.
• VIF 5 또는 10은 참고 기준일 뿐 모든 연구에 적용되는 절대적인 기준은 아닙니다.
• 변수를 삭제하거나 통합할 때는 통계적 결과뿐 아니라 이론적 근거도 함께 고려해야 합니다.

논문에서 중요한 것은 단순히 VIF를 낮추는 것이 아닙니다.

왜 다중공선성이 발생했는지 이해하고, 연구모형을 적절하게 구성하는 것이 더 중요합니다.

SPSS 회귀분석 결과를 확인할 때 p값과 회귀계수뿐 아니라 VIF까지 함께 살펴본다면 통계 결과를 더욱 신중하고 정확하게 해석할 수 있습니다.