통계학 겉 핥기 #7 - 회귀 모형의 검정

회귀 계수 ${\hat{\beta }}_1$은 관찰된 표본에서 나온 값입니다. 회귀 계수를 구해 보면 당연히 표본마다 다를테지만 기대값이 있을 것이고 그 값을 중심으로 흩어져 있을 것입니다. 회귀 계수의 기대값과 분산을 구해 보면 다음과 같습니다(주석 (1)).

$$\begin{array}{rl}E({\hat{\beta }}_1)& ={\beta }_1\\ Var({\hat{\beta }}_1)& =\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2}\end{array}$$

그리고 회귀 계수 ${\hat{\beta }}_1$는 정규 분포를 따른다고 합니다. 회귀 계수는 $x$가 변할 때 $y$가 변하는 정도인데 $x$는 상수 취급이고 $y$가 정규 분포를 따르니까 그런 것 같기는 합니다.

$${\hat{\beta }}_1\sim N({\beta }_1,\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2})$$

회귀 계수와 t-검정

${\hat{\beta }}_1$의 값과 이 값이 정규 분포를 따른다는 것을 알았습니다. 하지만 모집단 오차의 분산 ${\sigma }^2$을 알 수가 없으니 z-검정을 할 수는 없고, 표본에서 대용값을 구해서 t-검정을 하기로 합시다.

$$z=\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\sim N(0,1)$$

모집단의 오차와(error) 대응하는 것은 표본에서는 잔차가(residual) 됩니다. 따라서 잔차의 분산($s^2$이라고 합시다)이 오차의 분산을 대신하여 사용할 값이 됩니다.

오차와 잔차

그리고 잔차의 분산의 기대값은 모집단 오차의 분산이 되어야 할 겁니다. 표본 분산의 기대값이 모분산이 되는 것과 같습니다.

$$E(s^2)={\sigma }^2$$

그런데 이렇게 되려면 잔차 제곱의 합 SSE를 $n$도 아니고 $(n-1)$도 아닌 $(n-2)$로 나누어야 된다고 합니다(주석 (2)).

$$E\left(\frac{SSE}{n-2}\right)={\sigma }^2$$

따라서 잔차의 분산 $s^2$은 SSE를 $(n-2)$로 나눈 값이 됩니다.

$$s^2=\frac{SSE}{n-2}$$

z-값에서 오차의 분산(모분산) ${\sigma }^2$을 잔차의 분산(표본 분산) $s^2$으로 대치한 값은 자유도가 $(n-2)$인 t-분포를 따르게 됩니다(주석 (3)).

$$t=\frac{({\hat{\beta }}_1-{\beta }_1)}{s/\sqrt{\sum (x_i-\bar{x}{)}^2}}\sim t_{(n-2)}$$

이제 표본에서 구한 회귀 계수가 과연 의미가 있는지 검정해 보겠습니다. 다음과 같이 표본 조사를 실시하였습니다. 표본의 크기는 10입니다.

표본의 회귀 분석 데이터

표본 데이터와 회귀선

그런데 모집단의 회귀 계수 ${\beta }_1$을 모르기 때문에 $t$ 값을 구하려면 가정이 필요합니다. 일단 ${\beta }_1=0$이라고 가정합니다. 이 가정은 두 확률 변수가 아무런 관계가 없다는 가정입니다. 그리고 $t$ 값을 구해 보겠습니다.

$$t=\frac{5.7875-0}{\sqrt{573.3648/(10-2)}/\sqrt{15.2810}}=2.6724$$

아래 그래프는 - 표본 크기가 10 - 자유도가 8인 t-분포의 확률 밀도 함수입니다. 양쪽 빗금 친 영역은 유의 수준 5%를 나타냅니다. 우리가 방금 구한 $t$ 값은 빗금친 영역에 들어 갑니다. 두 확률 변수가 아무런 관계가 없다고 보기에는 매우 드문 일이 발생한 것입니다. 따라서 회귀 계수는 통계적으로 유의하다고 봅니다. 즉, 두 확률 변수가 선형의 관계에 있다고 볼 수 있는 것입니다.

t-검정

회귀 계수와 F-검정

t-검정과 마찬가지로 F-검정에서도 ${\beta }_1=0$이라고 가정합니다. 이렇게 가정하면 $\frac{SSR}{{\sigma }^2}$은 자유도가 1인 카이 제곱 확률 변수가 됩니다(주석 (4)). 한편 $\frac{SSE}{{\sigma }^2}$는 자유도가 $(n-2)$인 카이 제곱 확률 변수이므로(주석 (2)) 다음과 같은 F 확률 변수를 정의할 수 있습니다.

$$F=\frac{\frac{SSR}{{\sigma }^2}/1}{\frac{SSE}{{\sigma }^2}/(n-2)}=\frac{SSR/1}{SSE/(n-2)}\sim F_{1,n-2}$$

${\beta }_1=0$이라면 SSR도 굉장히 작을 것으로 예상됩니다. 그런데 아주 큰 $F$ 값이 나왔다면 ${\beta }_1\ne 0$라고 보는 것이 합리적입니다. F-검정을 해보겠습니다. 표본의 통계량은 저 위에서 t-검정했을 때 사용한 것과 같습니다.

$$F=\frac{511.8326/1}{573.3648/(10-2)}=7.1415$$

아래 그래프는 자유도가 1, 8인 F-분포의 확률 밀도 함수입니다. 빗금 친 영역은 유의 수준 5%를 나타냅니다. 우리가 방금 구한 $F$ 값은 빗금친 영역에 들어 갑니다. 두 확률 변수가 아무런 관계가 없다고 보기에는 매우 드문 일이 발생한 것입니다. 따라서 회귀 계수는 통계적으로 유의하다고 봅니다. 즉, 두 확률 변수가 선형의 관계에 있다고 볼 수 있는 것입니다.

F-검정

주석

(1) 회귀 계수의 기대값과 분산(#)

회귀 모형에서 확률 변수는 오차 $\epsilon$입니다. 오차가 확률 변수라서 $y_i$도 확률 변수이고, 그 표본 평균 $\bar{y}$도 확률 변수가 됩니다. 따라서 $(y_i-\bar{y})$ 값은 기대값 $(E(y_i)-E(\bar{y}))$과 $({\epsilon }_i-\bar{\epsilon })$ 만큼의 차이를 갖는다고 할 수 있습니다.

$$\begin{array}{rl}{\hat{\beta }}_1& =\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}\\ & =\frac{\sum (x_i-\bar{x})(E(y_i)-E(\bar{y})+{\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\\ & =\frac{\sum (x_i-\bar{x})(E(y_i)-E(\bar{y}))}{\sum (x_i-\bar{x}{)}^2}+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\end{array}$$

일단 $E(y_i)$를 구해 보면 이렇고

$$\begin{array}{rl}E(y_i)& =E({\beta }_0+{\beta }_1{x}_i+{\epsilon }_i)\\ & ={\beta }_0+{\beta }_{1}E(x_i)+E({\epsilon }_i)\\ & ={\beta }_0+{\beta }_1{x}_i\\ & \because E({\epsilon }_i)=0,;E(x_i)=x_i\end{array}$$

$y$의 표본 평균은 $\bar{y}$는 아래와 같으므로

$$\begin{array}{rl}\bar{y}& =\sum \frac{y_i}{n}\\ & =\sum \frac{{\beta }_0+{\beta }_1{x}_i+{\epsilon }_i}{n}\\ & =\sum \frac{{\beta }_0}{n}+\sum \frac{{\beta }_1{x}_i}{n}+\sum \frac{{\epsilon }_i}{n}\end{array}$$

$E(\bar{y})$는 이렇게 됩니다.

$$\begin{array}{rl}E(\bar{y})& =E(\sum \frac{{\beta }_0}{n}+{\beta }_1\sum \frac{x_i}{n}+\sum \frac{{\epsilon }_i}{n})\\ & ={\beta }_0+{\beta }_1\bar{x}\\ & \because E({\epsilon }_i)=0,E(x_i)=x_i\end{array}$$

그리고 두 기대값의 차이는 이렇습니다.

$$E(y_i)-E(\bar{y})={\beta }_0+{\beta }_1{x}_i-({\beta }_0+{\beta }_1\bar{x})={\beta }_1(x_i-\bar{x})$$

따라서 회귀 계수는 이렇게 쓸 수 있습니다.

$$\begin{array}{rl}{\hat{\beta }}_1& =\frac{\sum (x_i-\bar{x})(E(y_i)-E(\bar{y}))}{\sum (x_i-\bar{x}{)}^2}+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\\ & =\frac{\sum (x_i-\bar{x})\cdot {\beta }_1(x_i-\bar{x})}{\sum (x_i-\bar{x}{)}^2}+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\\ & ={\beta }_1+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\\ & \therefore {\hat{\beta }}_1-{\beta }_1=\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\end{array}$$

결국 회귀 계수의 기대값과 분산을 결정하는 것은 ${\hat{\beta }}_1-{\beta }_1$이 됩니다. 이 녀석의 기대값과 분산은 이렇게 계산됩니다. 회귀 분석에서 $x$는 상수로 취급됩니다.

$$E\left(\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\right)=\frac{\sum (x_i-\bar{x})\cdot E({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}=0$$

$$\begin{array}{rl}Var\left(\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}\right)& =\frac{\sum (x_i-\bar{x}{)}^{2}Var({\epsilon }_i-\bar{\epsilon })}{(\sum (x_i-\bar{x}{)}^2{)}^2}\\ & =\frac{{\sigma }^2\sum (x_i-\bar{x}{)}^2}{(\sum (x_i-\bar{x}{)}^2{)}^2}\\ & =\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2}\end{array}$$

$$\begin{array}{rl}\because & E({\epsilon }_i-\bar{\epsilon })=0\\ & Var({\epsilon }_i-\bar{\epsilon })=Var({\epsilon }_i)\\ & Var({\epsilon }_1)=Var({\epsilon }_2)=...={\sigma }^2\end{array}$$

이제 회귀 계수의 기대값과 분산을 구할 수 있습니다.

$$E({\hat{\beta }}_1)=E({\beta }_1+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2})={\beta }_1+0={\beta }_1$$

$$Var({\hat{\beta }}_1)=Var({\beta }_1+\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2})=\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2}$$

(2) 잔차의 분산(#)

단순 선형 회귀 모형과 회귀선은 각각 이렇습니다.

$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$$

$${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$$

그래서 잔차는 일단 이렇게 쓸 수 있습니다.

$$\begin{array}{rl}{y}_i-{\hat{y}}_i& =({\beta }_0+{\beta }_1{x}_i+{\epsilon }_i)-({\hat{\beta }}_0+{\hat{\beta }}_1{x}_i)\\ & =({\beta }_0-{\hat{\beta }}_0)-({\hat{\beta }}_1-{\beta }_1)x_i+{\epsilon }_i\end{array}$$

한편 평균점 $(\bar{x},\bar{y})$에 대해서는 다음이 성립합니다.

$$\bar{y}={\beta }_0+{\beta }_1\bar{x}+\bar{\epsilon }$$

$$\bar{y}={\hat{\beta }}_0+{\hat{\beta }}_1\bar{x}$$

$$\therefore {\beta }_0-{\hat{\beta }}_0=({\hat{\beta }}_1-{\beta }_1)\bar{x}-\bar{\epsilon }$$

그래서 잔차를 마저 정리해 보자면 이렇습니다.

$$\begin{array}{rl}E& =y_i-{\hat{y}}_i\\ & =({\beta }_0-{\hat{\beta }}_0)-({\hat{\beta }}_1-{\beta }_1)x_i+{\epsilon }_i\\ & =(({\hat{\beta }}_1-{\beta }_1)\bar{x}-\bar{\epsilon })-({\hat{\beta }}_1-{\beta }_1)x_i+{\epsilon }_i\\ & =({\epsilon }_i-\bar{\epsilon })-({\hat{\beta }}_1-{\beta }_1)(x_i-\bar{x})\end{array}$$

잔차 E를 대입하여 SSE를 전개하겠습니다.

$$\begin{array}{rl}SSE& =\sum (y_i-{\hat{y}}_i{)}^2\\ & =\sum (({\epsilon }_i-\bar{\epsilon })-({\hat{\beta }}_1-{\beta }_1)(x_i-\bar{x}){)}^2\\ & =\sum ({\epsilon }_i-\bar{\epsilon }{)}^2-2\sum ({\hat{\beta }}_1-{\beta }_1)(x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })+\sum ({\hat{\beta }}_1-{\beta }_1{)}^2(x_i-\bar{x}{)}^2\\ & =\sum ({\epsilon }_i-\bar{\epsilon }{)}^2-2({\hat{\beta }}_1-{\beta }_1)\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })+({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2\end{array}$$

그런데 이 녀석이 다시 등장합니다.

$${\hat{\beta }}_1-{\beta }_1=\frac{\sum (x_i-\bar{x})({\epsilon }_i-\bar{\epsilon })}{\sum (x_i-\bar{x}{)}^2}$$

이 녀석을 집어 넣고 SSE를 마저 정리하면 이렇게 됩니다.

$$\begin{array}{rl}SSE& =\sum ({\epsilon }_i-\bar{\epsilon }{)}^2-2({\hat{\beta }}_1-{\beta }_1)({\hat{\beta }}_1-{\beta }_1)\sum (x_i-\bar{x}{)}^2+({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2\\ & =\sum {\epsilon }_i^2-2\bar{\epsilon }\sum {\epsilon }_i+\sum {\bar{\epsilon }}^2-({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2\\ & =\sum {\epsilon }_i^2-2n{\bar{\epsilon }}^2+n{\bar{\epsilon }}^2-({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2\\ & =\sum {\epsilon }_i^2-n{\bar{\epsilon }}^2-({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2\end{array}$$

양변을 ${\sigma }^2$으로 나누면 3개의 카이 제곱 확률 변수가 나타납니다.

$$\begin{array}{rl}\frac{SSE}{{\sigma }^2}& =\sum \frac{{\epsilon }_i^2}{{\sigma }^2}-\frac{n{\bar{\epsilon }}^2}{{\sigma }^2}-\frac{({\hat{\beta }}_1-{\beta }_1{)}^2\sum (x_i-\bar{x}{)}^2}{{\sigma }^2}\\ & =\sum (\frac{{\epsilon }_i-0}{\sigma }{)}^2-(\frac{\bar{\epsilon }-0}{\sigma /\sqrt{n}}{)}^2-{\left(\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)}^2\\ & \because E(\epsilon )=E(\bar{\epsilon })=0\end{array}$$

그리고 카이 제곱 분포의 가법성에 따라 $\frac{SSE}{{\sigma }^2}$도 카이 제곱 확률 변수가 됩니다.

$$\begin{array}{rl}\sum (\frac{{\epsilon }_i-0}{\sigma }{)}^2& \sim {\chi }_n^2\because \epsilon \sim N(0,{\sigma }^2)\\ (\frac{\bar{\epsilon }-0}{\sigma /\sqrt{n}}{)}^2& \sim {\chi }_1^2\because \bar{\epsilon }\sim N(0,\frac{{\sigma }^2}{n})\\ {\left(\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)}^2& \sim {\chi }_1^2\because {\hat{\beta }}_1\sim N({\beta }_1,\frac{{\sigma }^2}{\sum (x_i-\bar{x}{)}^2})\\ \therefore \frac{SSE}{{\sigma }^2}& \sim {\chi }_{n-2}^2\end{array}$$

마지막으로 양변의 기대값을 구하면 잔차의 분산을 얻을 수 있습니다.

$$\begin{array}{rl}E\left(\frac{SSE}{{\sigma }^2}\right)& =E(\sum (\frac{{\epsilon }_i-0}{\sigma }{)}^2)-E\left(\frac{\bar{\epsilon }-0}{\sigma /\sqrt{n}}{)}^2\right)-E\left({\left(\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)}^2\right)\\ & =n-1-1\because E({\chi }_k^2)=k\\ & =n-2\\ & \therefore E(\frac{SSE}{n-2})={\sigma }^2\end{array}$$

(3) 회귀 계수의 t 값

$$\begin{array}{rl}z& =\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\sim N(0,1)\\ \\ q& =\frac{SSE}{{\sigma }^2}\sim {\chi }_{n-2}^2\\ \\ t& =\frac{z}{\sqrt{q/n-2}}\\ & =\left(\frac{({\hat{\beta }}_1-{\beta }_1)}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)/\sqrt{\frac{SSE}{{\sigma }^2}/(n-2)}\\ & =\frac{({\hat{\beta }}_1-{\beta }_1)}{s/\sqrt{\sum (x_i-\bar{x}{)}^2}}\sim t_{(n-2)}\end{array}$$

(4) SSR의 평균

${\beta }_1=0$이라면 $\frac{SSR}{{\sigma }^2}$는 표준 정규 확률 변수의 제곱이므로 자유도가 1인 카이 제곱 분포를 따르게 됩니다.
$$\begin{array}{rl}\frac{SSR}{{\sigma }^2}& =\frac{\sum ({\hat{y}}_i-\bar{y}{)}^2}{{\sigma }^2}\\ & =\frac{\sum ({\hat{\beta }}_i(x_i-\bar{x}){)}^2}{{\sigma }^2}\\ & \because {\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i\text{, }\bar{y}={\hat{\beta }}_0+{\hat{\beta }}_1\bar{x}\\ & ={\left(\frac{{\hat{\beta }}_i}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)}^2\\ & ={\left(\frac{{\hat{\beta }}_i-{\beta }_i}{\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)}^2\sim {\chi }_1^2\end{array}$$

카이 제곱 확률 변수의 평균은 자유도와 같습니다. 따라서 $\frac{SSR}{{\sigma }^2}$의 평균은 1입니다.

$$E\left(\frac{SSR}{{\sigma }^2}\right)=1\because E({\chi }_k^2)=k$$

따라서 SSR의 평균은 모집단 오차의 분산과 같습니다.

$$E(SSR)={\sigma }^2$$