Space of my mind(내 머릿속의 공간)

10.3 두집단 모평균의 동일성에 대한 검정($t$ 검정)

자료분석에 있어서 '남학생과 여학생의 학력고사 성적이 동일한가에 대한 비교' 라든가 '서로 다른 두 회사에서 생산된 형광등의 평균수명 비교' 등 두 집단의 모평균의 동일성에 대한 검정을 실시하는 경우가 있다. 이러한 검정에 있어서의 전제조건은 '두 집단이 서로 독립이며, 두 집단 모두 정규분포를 따른다'는 ㄳ이다.

   일반적으로 두 집단이 서로 독립이며 각 집단의 평균과 분산이 각각 $(\mu_{1}, \sigma_{1}^{2})$과 $(\mu_{2}, \sigma_{2}^{2})$인 정규분포를 따를 때, 두 모평균의 동일성 $(\mu_{1}, \mu_{2})$에 대한 검정은 각 집단에서 '랜덤하게' $n_{1}$과 $n_{2}$개의 표본을 추출해 실시한다. 

   즉, 각 집단에서 '랜덤하게' $n_{1}$과 $n_{2}$개의 표본을 추출했을 때 각 표본의 평균과 분산을 각각 $(\overline X_{1}, S_{1}^{2})$과 $(\overline X_{2}, S_{2}^{2})$으로 표현하면 두 집단의 모수와 통계량은 다음과 같다.

두 집단의 모평균의 동일성에 대한 검정

1. 가설의 설정 

(a) 양측검정 : $H_{0} : \mu_{1} = \mu_{2}, \ H_{1} : \mu_{1} \neq \mu_{2}$

(b) 단측검정 : $H_{0} : \mu_{1} = \mu_{2}, \ H_{1} : \mu_{1} > \mu_{2}(또는 \mu_{1} < \mu_{2})$

2. 귀무가설 하에서의 검정통계량의 값과 분포

(a) $\sigma_{1}$과 $\sigma_{2}$가 알려져 있는 경우

    $T(X) = \frac{\overline X_{1} - \overline X_{2}}{\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}} \sim N(0,1)$

(b) $\sigma_{1}$과 $\sigma_{2}$가 알려져 있지 않는 경우

(i) $\sigma_{1} = \sigma_{2}$인 경우

    $T(X) = \frac{\overline X_{1} - \overline X_{2}}{S_{p}\sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}}$, $S_{p} =$ $\sqrt{\frac{(n_{1}-1)S_{1}^{2} + (n_{2}-1)S_{2}^{2}}{n_{1}+n_{2}-2}}$

$T(X) \sim N(0,1), \ \ n_{1}+n_{2} > 30$인 경우

$T(X) \sim t_{n_{1}+n_{2}-2}, \ \ n_{1}+n_{2} \leq 30$인 경우

(ii) $\sigma_{1} \neq \sigma_{2}$인 경우

$T(X) = \frac{\overline X_{1} - \overline X_{2}}{\sqrt{\frac{S_{1}^{2}}{n_{1}}+\frac{S_{2}^{2}}{n_{2}}}}$

이며, $T(X)$의 분포는 $n_{1}+n_{2} >30$일 때 $T(X) \sim N(0,1)$이다.

10.2 단일집단의 모평균 $\mu$의 검정($t$ 검정)

단일집단의 모평균 $\mu$에 대한 검정은 모집단의 분포가 평균 $\mu$와 분산 $\sigma^{2}$을 갖는 정규분포 $N(\mu, \sigma^{2})$을 따른다는 것을 전제한다고 할 수 있다. 검정을 하기 위해 추출한 표본을 $(X_{1}, X_{2}, \cdots, X_{n})$이라 할 때 $(X_{1}, X_{2}, \cdots, X_{n})$은 $N(\mu, \sigma^{2})$으로부터의 확률표본이며, 모평균 $\mu$에 대한 검정은 다음과 같다.

1. 가설의 설정

(a) 양측검정 : $H_{0} : \mu = \mu_{0}, \ H_{1} : \mu \neq \mu_{0}$

(b) 단측검정 : $H_{0} : \mu = \mu_{0}, \ H_{1} : \mu > \mu_{0}(또는 \mu < \mu_{0})$

2. 귀무가설 하에서의 검정통계량과 분포

(a) $\sigma^{2}$을 아는 경우

    $T(X) = \frac{\overline X - \mu_{0}}{\sigma / \sqrt{n}} \sim N(0,1)$

(b) $\sigma^{2}$을 모르는 경우

(i) $n > 30$ 일 때

$T(X) = \frac{\overline X - \mu_{0}}{S / \sqrt{n}} \sim N(0,1)$

(ii) $n \leq 30$ 일 때

$T(X) = \frac{\overline X - \mu_{0}}{S / \sqrt{n}} \sim t_{n-1}$

3. 유의수준 $\alpha$ 하에서의 기각역(표준정규분포를 이용하는 경우)

(a) 양측검정 : $C_{\alpha} = (-\infty , Z_{\alpha/2}) + (Z_{1-\alpha/2},\infty)$

(b) 단측검정 : $C_{\alpha} = ( Z_{1-\alpha}, \infty)$

10.1 가설검정의 기초 개념

10.1.1 가설의 설정

가설검정에서 가장 기본적인 사항은 검정하고자 하는 모집단의 모수에 대해 가설을 설정하는 것인데 가설(Hypothsis)은 항상 귀무가설(null hypothesis ; $H_{0}$)과 대립가설(alternative hypothesis ; $H_{1}$)의 2가지로 설정하며, 가설검정은 표본관찰 또는 실험을 통해 귀무가설($H_{0}$)와 대립가설($H_{1}$) 중 하나를 선택하는 과정이라 할 수 있다. 두 가설 $H_{0}$와 $H_{1}$은 각각의 경우에 따라 결정되는데, 모수에 대한 가설 중 '항상 간단하고 구체적인 표현'을 귀무가설로 설정한다.

가설검정을 이해하기 위해 교과서에 나온 예제를 살펴보자.

[문제 1] 1997년도 초등학교 1학년 입학생의 평균신장은 142cm였다. 지난 10년 동안 초등학교 입학생의 평균신장이 증가했다고 할 수 있는가?

[문제 2] 서울의 강남지역과 강북지역 고등학생들의 학력고사 성적이 같은가?

[문제 3] 새로운 방법으로 제작된 자동차 타이어의 평균수명이 재래식 방법으로 제작된 타이어보다 더 길다고 할 수 있는가?

[문제 1]의 경우는 "2007년도 초등학교 1학년 입학생의 평균신장이 1997년도 초등학교 입학생의 신장에 비해 증가했다고 할 수 있는가?"의 문제로 이를 수리적으로 표현하면

$\mu$ = 2007년도 초등학교 1학년 입학생의 평균신장

이라 할 때, 

$\mu = 142$ 인가? 또는 $\mu > 142$인가? 를 알고자 하는 것이다.

따라서 $H_{0}$와 $H_{1}$은 각각

$H_{0} : \mu=142$ (2007년도 초등학교 1학년 학생의 평균신장은 142cm이다.)

$H_{1} : \mu>142$ (2007년도 초등학교 1학년 학생의 평균신장은 142cm보다 크다.)

[문제 2]의 경우에는 "강남지역과 강북지역의 고등학교 학생들의 학력고사 평균점수가 같은가? 또는 다른가?" 인데 이 역시

$\mu_{1}$ = 강남지역 학생들 전체의 평균성적

$\mu_{2}$ = 강북지역 학생들 전체의 평균성적

이라 할 때, 각 지역에서 표본으로 추출된 학생들의 시험성적에 의해 $\mu_{1}=\mu_{2}$인가? 또는 $\mu_{1} \neq \mu_{2}$인가를 알고자 하는 것이다.

따라서 $H_{0}$와 $H_{1}$은 각각

$H_{0} : \mu_{1}=\mu_{2}$ (강남지역 학생들과 강북지역 학생들의 평균성적은 같다.)

$H_{1} : \mu_{1} \neq \mu_{2}$ (강남지역 학생들과 강북지역 학생들의 평균성적은 같지 않다.)

[문제 3]의 경우 "새로운 제조방법에 의해 만들어진 타이어의 수명이 더 긴가? 또는 두 제조방법에 차이가 없는가?"를 결정하게 되는데 이 역시

$\mu_{1}$ = 재래식 제조방법에 의해 만들어진 타이어의 평균수명

$\mu_{2}$ = 새로운 제조방법에 의해 만들어진 타이어의 평균수명

이라 할 때,

$\mu_{1} = \mu_{2}$ 인가? 또는 $\mu_{1} < \mu_{2}$인가? 를 결정하는 것이다.

따라서 $H_{0}$와 $H_{1}$은 각각

$H_{0} : \mu_{1}=\mu_{2}$ (재래식 방법과 새로운 방법으로 제조된 타이어의 평균수명은 동일하다.)

$H_{1} : \mu_{1} < \mu_{2}$ (새로운 방법으로 제조된 타이어의 평균수명이 더 길다.)

와 같이 설정한다. 

따라서 가설검정은 '두 가설 중에서 간단한 표현인 귀무가설 $H_{0}$를 채택하든지 또는 기각하는 과정'이라고 할 수 있다.

10.1.2 검정통계량

가설검정은 모수에 대한 가설을 설정한 후 표본관찰을 통해 검정에 필요한 통계량을 구한다. 이와 같이 검정에 이용되는 통계량을 검정통계량(test statistic ; $T(X)$)이라 하는데, 검정통계량의 분포는 항상 가설에서 주어지는 모수를 갖는 분포를 따른다.

위의 [문제 1]에서 $(X_{1}, X_{2}, \cdots, X_{500})$을 표본으로 추출된 초등학교 1학년 학생들의 신장이라 할 때, 표본평균과 표본분산은 각각

$\overline X = \frac{1}{n}\sum_{i=1}^{n}X_{i}$

$S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline X)^{2} \ \ , \ \ n=500$

과 같으며, 여기에서 가설 $H_{0} : \mu = 142$와 $H_{1} : \mu >142$에 대한 검정통계량은 표본평균 $\overline X$이다. $\overline X$의 분포는 모집단의 분포가 $N(\mu,\sigma^{2})$이라 할 때

$\overline X \sim N(\mu,\frac{\sigma}{n})$

이며, 표준화 공식에 의해

$\frac{\overline X - \mu}{\sigma / \sqrt{n}} \sim N(0,1)$

이다. 가설검정이란 귀무가설이 옳다는 전제 하에 검정통계량의 값을 구한 후 이 값이 나타날 가능성의 크기에 의해 귀마가설의 채택 여부를 결정하는 것이다. 다시 말하면 모평균 $\mu$가 귀무가설에서 주어진 특정 값 $\mu_{0}$라 할 때, 검정통계량

$T(X) = \frac{\overline X - \mu_{0}}{\sigma / \sqrt{n}}$

의 값이 표준정규분포에서 나타날 가능성의 크기에 의해 귀무가설의 채택 여부를 결정한다.

   위의 문제에서 표본평균과 표본분산이 각각 $\overline X = 145, S^{2} = 100$이라 할때, 모분산 $\sigma^{2}$을 알지 못하므로 $\sigma^{2}$을 표본분산 $S^{2}$으로 대치하면 검정통계량은

$T = \frac{\overline X - \mu}{S / \sqrt{n}} \sim t_{n-1}\ \ , \ \ \ \ n=500$

으로 자유도가 $n-1 =499$인 $t$분포를 따른다. $n$이 30보다 크므로 $T$의 값은 근사적으로 표준정규분포 $N(0,1)$을 따른다고 할 수 있다. 따라서 귀무가설에서 $\mu = 142$로 주어져 있으므로 검정통계량 값은

$T = \frac{\overline X - \mu_{0}}{S / \sqrt{n}} = \frac{145-142}{10/\sqrt{500}}=\frac{3}{0.4427}=6.7$이

된다.

6.7은 나타날 가능성이 없는 값이므로 확률변수 $X$에 주어진 전제조건이 잘못되었다는 증거이고 따라서 귀무가설 $H_{0} : \mu = 142$는 받아들일 수 없다.

여기서에서 생각해보자. 우리는 모집단의 평균과 분산을 알 수 없으므로 표본들의 평균과 분산을 구했다. 즉 표본평균과 표본표준편차. 이유는 모집단을 알고싶은데 모집단은 모르니까 표본들을 구해서 모집단 대신 표본들로부터 신장이 142이냐 142보다 크냐를 알고싶은 것이었다. 그래서 표본들의 분포에서 평균신장을 142라고 가정하고 표준화를 했는데...표준화 역시 모집단의 크기를 모르니까 당연히 표준화값인 $Z$를 구할수 없었기 때문에 표본분산을 이용하여 $T$값을 구한것이다. (그리고 이것을 이 단원에선 검정통계량이라 부른다.) 구했더니 값이 6.7이 나왔는데 이값이 굉장히 크다고 한다.(이는 t분포 표를 보면 $n$이 클수록 큰 값은 확률이 낮아짐...) 근데 이 뜻이 당연한 것이 우리가 표준화 해서 $Z$값을 구하고 그 값이 5정도 나왔다고 하면 조금만 생각해보면 표준정규분포상에서 맨 오른쪽에 있는것이다.(수능 0.00000001% 같은것,,,?) 그러니까 평균신장이 142일 가능성이 희박하다고 해석되는것이다.(이렇게 쉬운것이 왜 학부때는 이해가 가지 않았던 것일까....ㅠ)

10.1.3 유의수준과 기각역

 유의수준 $\alpha$란 귀무가설이 옳은데도 불구하고 이를 기각하는 확률의 크기를 말하며(참인데 거짓이라고 판정하는경우), 검정통계량을 구하는 것과는 무관하게 검정을 실시하는 사람의 판단에 따라 결정한다. 기각역이란 가설검정에서 유의수준 $\alpha$가 정해졌을 때 검정통계량의 분포에서 이 유의수준의 크기에 해당하는 영역을 말하는데, 검정통계량의 분포에서 이 영역의 위치는 대립가설의 형태에 따라 다르다. 기각역 $C$와 유의수준 $\alpha$의 관게는 다음과 같이 표현할 수 있다. 즉, 유의수준 $\alpha$는 귀무가설 하에서 검정통계량이 기각역 $C$에 속할 확률이다.

$P_{r}(T(X) \in C | H_{0}) = \alpha$

10.1.4 대립가설과 기각역

   검정통계량의 분포에서 유의수준 $\alpha$에 의해 기각역의 크기가 결정되며, 기각역의 위치는 대립가설 $H_{1}$의 형태에 의해 결정된다. 대립가설의 형태는 가설검정의 목적에 의해 결정되는데, 가설검정은 대립가설의 형태에 따라 양측검정과 단측검정으로 나누어지고, 단측검정은 다시 왼쪽 단측검정과 오른쪽 단측검정으로 분류된다.

양측검정             $H_{1} : \mu_{1} \neq \mu_{2}$

왼쪽 단측검정      $H_{1} : \mu_{1}   <   \mu_{2}$

오른쪽 단측검정   $H_{1} : \mu_{1}   >   \mu_{2}$

위의 [문제 1] ~ [문제 3]에 있어서 [문제 2]는 양측검정이고, [문제 1]과 [문제 3]은 오른쪽 단측검정에 해당된다. 대립가설의 형태에 따라 세 가지 서로 다른 검정을 정의할 수 있는데, 각각의 검정에 있어서 기각역 $C$는 유의수준 $\alpha$가 주어졌을 때 검정통계량 $T(X)$의 분포에서 다음과 같이 결정된다.

양측검정            : $C = \{ T(X) \leq -C_{1} \ 또는 \ T(X) \geq C_{1} \}$ 

왼쪽 단측검정     : $C = \{ T(X) \leq C_{2} \}$

오른쪽 단측검정  : $C = \{ T(X) \geq C_{3} \}$

위에 정의된 기각역에서 $C_{1}, \ C_{2}, \ C_{3}$의 값은 귀무가설 하에서

$P_{r}(T(X) \in C) = \alpha$

에 의해 결정된다.

가설검정과정

단계 1. 검정하고자 하는 목적에 따라 귀무가설 $H_{0}$과 대립가설 $H_{1}$을 설정한다.

단계 2. 검정통계량을 구하고, 그 통계량의 분포를 구한다.

단계 3. 유의수준을 결정하고, 검정통계량의 분포에서 가설의 형태에 따라 유의수준에 해당하는 기각역을 설정한다.

단계 4. 귀무가설이 옳다는 전제 하에 표본관찰에 의한 검정통계량 값을 구한다.

단계 5. 단계 4에서 구한 검정통계량의 값이 기각역에 속하는가를 판단해 기각역에 속하면 귀무가설 $H_{0}$을 기각하고, 기각역에 속하지 않으면 귀무가설 $H_{1}$을 채택한다.

10.1.5. 제 1종 오류$(\alpha)$와 제 2종 오류$(\beta)$

제 1종 오류 : $H_{0}$가 옳은데도 불구하고 $H_{0}$를 기각하는 오류가 나타날 확률

제 2종 오류 : $H_{0}$가 옳지 않은데도 $H_{1}$을 채택하는 오류

가설검정에서는 두 가지 오류가 모두 작은 경우가 바람직하지만, 기각역의 크기를 작게 하면 제 1종 오류는 작아지나 제 2종 오류는 커지며, 기각역을 크게 하면 제 2종 오류는 작아지나 제 1종 오류가 커진다. 따라서 가설검정에서는 제 1종 오류 $\alpha$의 크기를 01, 0.05, 0.01 등으로 고정시킨 뒤 제 2종 오류 $\beta$가 최소가 되도록 기각역을 설정한다.

1.2 Some Time Series Data
다음 예제는시계열 데이터의 종류중 일부와 데이터에 대해 질문할 수 있는 통계적 문제를 보여준다.

Example 1.1 Johnson & Johnson Quarterly Earnings
그림 1.1 은 미국 존슨 앤 존슨 회사의 분기별 주당 순이익을 나타낸 것이다. 21년간 1960년 1분기 부터 1980년 4분기 까지 84개월을 측정한 것이다. 이러한 시계열의 모델링은 시간적 역사에서 주된 패턴을 발견함으로써 시작한다. 이러한 경우에는, 경향과 변동성을 기반으로 증가하는 것이 아니라, 분기별로 다소 반복되는 것 처럼 보이는 경향위에 규칙적인 가변성을 겹치는 것이다. 이러한 데이터의 분석 방법은 회귀 기법을 이용한 Chapter 2에서 연구된다.(Problem 2.1 을 보라) 또한 그림 1.1 과 1.2를 비교해보라.

R에서 astsa 패키지를 이용하여 이 예제에 대한 데이터의 점을 찍는다.(로그데이터는 스스로 점을 찍어 보라)

library(astsa)      # ** SEE FOOTNOTE

tsplot(jj, type = "o", ylab="Quarterly Earnings per Share")

tsplot(log(jj))     # not shown 

Example 1.2 Global Warming 
그림 1.3에 보이는 지구의 온도 기록에 대해 살펴보자. 이 데이터는 1951년~1980년 기간을 기반으로 한 1880년 부터 2015년까지 지구의 지표와 해양의 온도 지표의 평균이다. 값들은 1951-1980년 동안의 평균 ( Hansen et al.(2006))에서 갱신된 편차(℃)이다. 그래프에서 20세기의 후반기 부분동안 증가하는 경향은 기후변화가설에 대한 논거로서 사용되어 왔다. 추세가 선형이 아니고, 정체된 구간 이후에 날카로운 상승추세를 주목하라. 전체적인 추세가 자연스러운건지 인간이 유도한 인터페이스 때문인지는 흥미로운 질문이다. 이 예제의 R 코드는 다음과 같다.

tsplot(globtemp, type="o", ylab ="Global Temperature Deviations")

Example 1.3 Dow Jones Industrial Average(DJIA) 

그림 1.4는 금융 시계열 데이터의 예제로서 2006년부터 2016년 까지 다우존스 산업평균지수의 일일 수익률을 보여준다. 2008년 금융위기를 쉽게 파악할 수 있다. 그림 1.4에서 보여주는 데이터는 전형적인 반환 데이터이다. 이 시계열의 평균은 대략 0으로 반환되는 평균으로 안정되게 나타나지만, 데이터의 변동성은 군집을 보여준다. 즉, 높은 변동 기간은 함께 군집을 이루는 경향이 있다. 금융데이터의 이러한 유형의 분석에서 문제는 미래의 수익변동성을 예측하는 것이다. Chapter 5를 보면 이러한 문제를 다루는 모델이 개발되어 있다. 그래서 우리는  가 다우존스 산업평균지수의 실제 값이고  반환된다면 와 라는 사실을 사용한다.

데이터 집합은 astsa 에서 제공되고 xts 를 로드해야한다.

library(xts)

djiar = diff(log(djia$Close))[-1]           # approximate returns

tsplot(djiar, main="DJIA Returns", xlab = ' ' , margins = .5)

Example 1.4 El Nino and Fish Population
우리는 또한 한번에 여러 시계열을 분석하는데 관심이 있을수 있다. 그림 1.5는 Southern Oscillation Index(SOI)라고 불리는 환경 시리즈와 관련 채용 정보(그리고 새로운 물고기의 수)의 월별 값을 보여준다. 두 시리즈는 1950년-1987년 동안의 453개월 동안 격렬히 움직이고 있다. SOI는 중앙태평양에서 해수면의 온도와 연관된 공기압의 변화에 대해 측정한다. 중앙 태평양은 엘니뇨(El Nino)효과로 인해 3-7년 마다 따듯하게 되며, 이는 다양한 지구 기상 이변에 대한 책임이 있다. 이 시리즈는 두가지 기본적인 진동유형과, 명백한 연간주기(여름에는 덥고, 겨울에는 추운)와 4년마다 반복되는 느린주기를 보여준다. 주기의 종류와 강점에 대한 연구는 Chapter 4의 주제이다. 두 시리즈는 서로 연관되어 있고, 어류개체수가 해양 온도에 의존한다고 생각하기 쉽다. 그림 1.5를 다음 R코드로 생성해보자.

 for . If  in near zero, the higher-order terms in the expansion are negligible.

par(mfrow = c(2,1))    # set up the grphics

tsplot(soi, ylab="", xlab"", main="Southern Oscilltion Index")

tsplot(rex, ylab="", main="Recruitment")

Example 1.5 fMRI Imaging

​종종 시계열은 다양한 실험적 상황이나 치료 구성하에서 관찰된다. 이러한 일련의 데이터가 그림 1.6에 나와 있으며, 데이터는 기능적 자기 공명영상(fMRI)을 통해 뇌의 여러 위치에서 수집된다. 이 예에서 자극은 32초 동안 가해진 다음 32초 동안 중지되었다. 따라서, 신호주기는 64초 이다. 256초(n=128) 동안 2초마다 한 번씩 관찰하는 속도로 샘플링이 이루어 졌다. 시리즈는 뇌의 활성화 영역을 측정하는 혈액 산소 수준 의존적 신호세기의 연속적 측정이다. 주기는 운동 피질 계열에서 강하게 나타나고 시상과 소뇌에서 강력하게 나타난다. 두뇌의 다른 영역에서 시리즈를 가지고 있다는 사실은 그 영역이 브러시 자극에 다르게 반응하는지 테스트 하는것을 제안한다. 다음 R 명령을 사용하여 데이터를 플롯한다.
 

par(mfrow=c(2,1), mar=c(3,2,1,0)+.5, mgp=c(1.6,.6,0))

ts.plot(fmril[,2:5], col=1:4, ylab="BOLD", xlab="", main="Cortex")

ts.plot(fmril[,6:9], col=1:4, ylab="BOLD", xlab="", main="Thalam & Cereb")

mtext("Time (1 pt = 2 sec)", side=1, line=2)

R.H Shumway & D.S. Stoffer published by free dog publishing
" Time Series Analysis Using the R Statistical Package"
http://www.stat.pitt.edu/stoffer/tsa4/