4. 다변량 선형 회귀

날짜: 2023년 3월 6일 발표자: 비오규 태그: 세미나

목차

---

1. 단순 선형회귀

2. 다변량 선형회귀

   1. 예를 들어보자 ( 집값을 구하는 예 )

   2. 식을 통해 알아보자

   3. 코드와 그래프를 통해서 알아보자

단순 선형회귀

---

기존의 일반적인 선형회귀는 다음과 같은 식을 이용한다.

$$y = wx + b$$

하나의 독립변수 x와 가중치 w(weigth) 그리고 편향 b (bias)를 통해서 종속변수 y값을 찾아내는 식이다.

하지만, 다변량 선형회귀는 이 독립변수를 여러개 사용하는 선형회귀라고 할 수 있다.

다변량 선형회귀

---

예를 들어보자 ( 집값을 구하는 예 )

---

예를 들어서, 집값을 예측하는 함수를 만들어 본다고 가정을 하자.

집값을 예측할 때는 다양한 데이터들이 사용될 수 있다.

집이 속한 지역구의 부의 수준, 편의시설의 수, 기반시설의 수 등 다양한 데이터들이 집값에 영향을 줄 수 있다.

이 때, 예를들어 편의시설의 수 만을 이용해서 집값에 대한 그래프를 그리게 되면하, 하나의 독립변수 ( 편의시설의 수)로 종속변수( 집값)의 그래프를 그리게 된다.

이 경우를 단순 선형회귀 라고 한다.

더 나아가 편의시설의 수 만이 아니라, 기반시설의 수 , 지역구의 부의 수준 등의 데이터를 더 넣어서 그래프를 그리게 된다면, 여러개의 독립변수 ( 편의시설의 수 , 기반시설의 수 , 지역구의 부의 수준 ) 을 이용해서 하나의 종속변수 ( 집값 )에 대한 그래프를 그리게 된다.

이 경우를 다변량 선형회귀 라고 한다.

즉, 여러개의 변수를 사용하여 선형회귀를 하는것이다.

식을 통해 알아보자

---

그렇다면 다변량 선형회귀에 대한 식은 어떻게 생겼을까.

위의 예제를 참고하여 식을 세워 보면

$$y = {w_{편의시설의\space수}}{x_{편의시설의\space수}} + {w_{기반시설의\space수}}{x_{기반시설의\space수}} + {w_{지역구\space부의\space수준}}{x_{지역구\space부의\space수준}} + b$$

이렇게 적을 수 있겠다. 이를 행렬로 전환하여,

$$W = \begin{pmatrix} w_{{편의시설의\space수}} \\ w_{{기반시설의\space수}} \\ w_{지역구\space부의\space수준} \end{pmatrix}, X = \begin{pmatrix} x_{{편의시설의\space수}} & x_{{기반시설의\space수}} & x_{지역구\space부의\space수준} \end{pmatrix}$$

다음과 같이 표기하면, 식을 간단히 아래와 같이 간단히 적을 수 있다.

$$y = X{\cdot}W + b$$

W, b를 구하는것은, 단순 선형회귀때와 마찬가지로 최소제곱법, 경사하강법 등을 통해서 구할 수 있다.

코드와 그래프를 통해서 알아보자

---

"""
여기서는 두개의 종속변수 X1, X2를 사용하여
Y의 값에 대한 선형회귀를 해볼 것이다. 
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.linear_model import LinearRegression

# 랜덤하게 데이터를 생성한다. 
# (X1, X2의 값을 생성후, Y의 값을 X1, X2에 적절한 값을 곱한후 더하고, 랜덤한 값을 정해 더해준다)
np.random.seed(0)
X1 = np.linspace(0, 100, 100)
X2 = np.linspace(50, 0, 100)
Y = 2*X1 + 3*X2 + 5*np.random.randn(100)

# Create a pandas DataFrame
data = pd.DataFrame({'X1': X1, 'X2': X2, 'Y': Y})

# 선형회귀 모델을 불러와서 선형회귀를 실시한다.
# 모델 내의 선형회귀 방법을 사용한다. scikit-learn에서는 최소제곱법을 이용해서 선형회귀를 실시한다.
model = LinearRegression()
X = data[['X1', 'X2']]
model.fit(X, Y)

# 3D 그래프를 그린다.
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(data['X1'], data['X2'], data['Y'], c='red', marker='o')
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.set_zlabel('Y')
ax.view_init(0, 90)

# Plot the regression plane
x_min, x_max = ax.get_xlim()
y_min, y_max = ax.get_ylim()
X1, X2 = np.meshgrid(np.linspace(x_min, x_max, 10),
                     np.linspace(y_min, y_max, 10))
Y = model.intercept_ + model.coef_[0]*X1 + model.coef_[1]*X2
ax.plot_surface(X1, X2, Y, alpha=0.2)

plt.show()