공분산

1. 개요

---

covariance ・ 共分散
'''공분산'''은 두 개의 확률 변수의 선형관계를 나타내는 값이다. 한 확률 변수의 증감에 따른 다른 확률 변수의 증감의 경향에 대한 측도이다. 쉽게 말해 분산이라는 개념을 확장하여 '''두 개의 확률 변수'''의 흩어진 정도를 공분산이라고 하는 것이다.

2. 정의

---

두 확률변수 $$X$$, $$Y$$의 결합확률함수가 $$f(x,\,y)$$일 때 다음을 $$X$$, $$Y$$의 '''공분산'''이라고 한다.

$${\rm Cov}(X,\,Y)={\mathbb E}\{(X-\mu_x)(Y-\mu_Y)\}$$

2.1. 모공분산

---

모공분산은 모집단의 공분산이다. $${\rm Cov}(X,\,Y)$$ 또는 $$\sigma_{XY}$$로 쓴다. $$X$$와 $$Y$$는 확률 변수, $$N$$은 모집단의 표본의 개수, $$X_i$$와 $$Y_i$$는 각 확률 변수의 도수#s-6, $$\mu$$는 모평균을 뜻한다.

$$\begin{aligned}{\rm Cov}(X,\,Y)&=\sigma_{XY}\\&=\displaystyle\frac{1}{N}\sum_{i=1}^n (X_i-\mu_X)(Y_i-\mu_Y)\\&={\mathbb E}\{(X-\mu_X)(Y-\mu_Y)\}\end{aligned}$$

곧, 모공분산이란 $$X$$의 편차와 $$Y$$의 편차의 곱의 평균이다.

2.2. 표본공분산

---

표본공분산은 표본집단의 공분산이다. $$S_{XY}$$로 쓴다. $$X$$와 $$Y$$는 확률 변수, $$n$$은 표본집단의 표본의 개수, $$X_i$$와 $$Y_i$$는 각 확률 변수의 도수#s-6, $$\bar X$$와 $$\bar Y$$는 표본평균을 뜻한다.

$$\begin{aligned}S_{XY}&=\displaystyle\frac{1}{n-1}\sum_{i=1}^n {(X_i-\bar X)(Y_i-\bar Y)}\\&={\mathbb E}\{(X-\bar X)(Y-\bar Y)\}\end{aligned}$$

곧, 표본공분산이란 $$X$$의 편차와 $$Y$$의 편차의 곱의 평균이다. 주의할 점은 '''(표본의 개수)$$\boldsymbol{-1}$$'''로 나눈다는 것이다. $$n$$이 아니라 $$n-1$$로 나누는 것은 오차를 줄이기 위함으로, 일반적인 표본 분산의 계산법과 같다.

3. 성질

---

공분산의 정의에 따라 같은 확률 변수 두 개의 공분산이란 결국 '''해당 확률 변수의 분산'''이 된다.

$$\begin{aligned}{\rm Cov}(X,\,X)&=\sigma_{XX}\\&=\displaystyle\frac{1}{N}\sum_{i=1}^n (X_i-\mu_X)(X_i-\mu_X)\\&=\frac{1}{N}\sum_{i=1}^n (X_i-\mu_X)^2\\&={\mathbb E}[(X-\mu)^2]\\&={\rm Var}[X] \\ \\S_{XX}&=\displaystyle\frac{1}{n-1}\sum_{i=1}^n {(X_i-\bar X)(X_i-\bar X)}\\&=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2\\&={S_X}^2\end{aligned}$$

또한, 공분산의 계산에서는 두 확률 변수의 편차를 '''곱'''하므로, 교환법칙에 따라 $${\rm Cov}(X,\,Y)={\rm Cov}(Y,\,X)$$이다.'
공분산의 정의는 내적의 정의를 만족한다. 따라서 코시-슈바르츠 부등식을 적용할 수 있고 이를 통해 피어슨상관계수를 유도할 수 있다.

4. 해석

---

확률 변수 $$X$$와 $$Y$$에 대하여 다음과 같이 해석한다.

• $${\rm Cov}(X,\,Y)>0$$이면 $$X$$와 $$Y$$는 양의 관계
• $${\rm Cov}(X,\,Y)<0$$이면 $$X$$와 $$Y$$는 음의 관계
• $${\rm Cov}(X,\,Y)=0$$이면 $$X$$와 $$Y$$는 양도 음도 아닌 관계

주의할 점은 $${\rm Cov}(X,\,Y)=0$$을 '''$$\boldsymbol X$$와 $$\boldsymbol Y$$는 관계가 없다고 해석하면 안 된다'''는 것이다. $$x^2+y^2=k^2$$($$k$$는 상수)이 대표적인 반례이다. 만약 두 확률 변수 $$X$$와 $$Y$$에 대하여 이 관계가 성립하면 $${\rm Cov}(X,\,Y)=0$$이다. 틀림없이 공분산은 0이지만, 분명히 $$x^2+y^2=k^2$$이라는, 모종의 관계가 성립하고 있는 것이다.

5. 분산-공분산 행렬

---

분산-공분산 행렬이란 다음과 같이 분산과 공분산을 나타낸 행렬을 말한다.

	$$X$$	$$Y$$	$$Z$$
$$X$$	$${S_X}^2$$	$$S_{XY}$$	$$S_{XZ}$$
$$Y$$	$$S_{XY}$$	$${S_Y}^2$$	$$S_{YZ}$$
$$Z$$	$$S_{XZ}$$	$$S_{YZ}$$	$${S_Z}^2$$

6. 공식

---

• $${\rm Cov}(X,\,Y)={\mathbb E}(XY)-{\mathbb E}(X){\mathbb E}(Y)$$[1]

[증명]

---
$$(X-\mu_X)(Y-\mu_Y)=XY-\mu_XY-\mu_YX+\mu_X\mu_Y$$를 이용하면

$$\begin{aligned}{\rm Cov}(X,\,Y)&={\mathbb E}(XY)-{\mathbb E}(\mu_XY)-{\mathbb E}(\mu_YX)+{\mathbb E}(\mu_X\mu_Y)\\&={\mathbb E}(XY)-\mu_X{\mathbb E}(Y)-\mu_Y{\mathbb E}(X)+\mu_X\mu_Y\\&={\mathbb E}(XY)-\mu_X\mu_Y\end{aligned}$$

---

• $${\rm Var}(X+Y)={\rm Var}(X)+{\rm Var}(Y)+2{\rm Cov}(X,\,Y)$$

[증명]

---
분산의 정의에 의하여 $${\rm Var}(X+Y)={\mathbb E}[(X+Y-\mu_{X+Y})^2]$$이고 $$\mu_{X+Y}=\mu_X+\mu_Y$$이므로

$$\begin{aligned}{\rm Var}(X+Y)&={\mathbb E}[(X-\mu_X+Y-\mu_Y)^2]\\&={\mathbb E}[(X-\mu_X)^2+2(X-\mu_X)(Y-\mu_Y)+(Y-\mu_Y)^2]\\&={\mathbb E}[(X-\mu_X)^2]+{\mathbb E}[(Y-\mu_Y)^2]+2{\mathbb E}\{(X-\mu_X)(Y-\mu_Y)\}\\&={\rm Var}(X)+{\rm Var}(Y)+2{\rm Cov}(X,\,Y)\end{aligned}$$

• 일반화: $${\rm Var}\left(\displaystyle\sum_{k=1}^nX_k\!\right)=\displaystyle\sum_{k=1}^n{\rm Var}(X_k)+2\sum_{i

• $$|{\rm Cov}(X,\,Y)|\leq\sqrt{{\rm Var}(X)\cdot {\rm Var}(Y)}$$

6.1. 심화

---

• $$X$$와 $$Y$$가 독립이면 $${\mathbb E}(XY)={\mathbb E}(X){\mathbb E}(Y)=\mu_X\mu_Y$$이므로
  • $${\rm Cov}(X,Y)={\mathbb E}(XY)-{\mathbb E}(X){\mathbb E}(Y)=0$$[2]
  • $${\rm Var}(X+Y)={\rm Var}(X)+{\rm Var}(Y)$$

[1] 분산이 (제곱의 평균)−(평균의 제곱)이듯이, 공분산은 (곱의 평균)−(평균의 곱)이다.

[2] 역은 성립하지 않는다. 공분산이 0이어도 두 확률 변수가 독립이라는 보장은 없다.