적률생성함수
1. 개요 및 정의
moment generating function · 積率生成函數
특정 확률 분포의 '적률'을 '생성'하는 '함수'이다. '모멘트 생성함수'라고도 하며, 약칭으로 MGF라고도 한다.
확률 변수 혹은 분포의 $$n$$차 '''적률''' 혹은 '''모멘트'''(moment)는 확률변수의 거듭제곱의 기댓값으로, 다음과 같이 정의한다. 적률이 존재하지 않을 수도 있다.
$$\displaystyle \mu_n = \mathbb{E}[X^n] $$
$$M_X(t) = \mathbb{E}[e^{tX} ] $$
$$\displaystyle M_X(t) = \mathbb{E}\left[\sum_{k=0}^{\infty} \frac{(tX)^k}{k!}\right] = \sum_{k=0}^{\infty} \frac{t^k}{k!} \mathbb{E}[X^k] $$
물론 이 모든 얘기는 확률변수 $$e^{tX}$$가 $$t=0$$ 근방에서 적분가능해야 의미가 있고, 이 조건이 만족되지 않으면 적률생성함수를 생각할 수 없다. 그러기 위해서는 모든 차수의 적률이 존재해야 할 뿐만 아니라, 이들이 너무 빠르게 증가해도 안 된다. 적률생성함수가 존재한다는 조건은 의외로 매우 까다로운 조건이다.
일변수일뿐만 아니라 $$X$$가 다변수 확률 변수일 경우에도, 벡터함수로 적률생성함수를 정의할 수 있다. 이 경우에 $$tX$$는 내적으로 간주한다. 이 다변수 세팅
$$X=(X_1,\, X_2,\, \cdots,\, X_n)$$
$$\displaystyle \mu_{(k_1,\,k_{2},\, \cdots,\, k_n)} = \mathbb{E}[X_1^{k_1} \cdots X_n^{k_n}]$$
적률생성함수는 확률론 외적으로도 다양한 개념들과 관련을 짓고 있다.
- 이름에서 알 수 있듯이 적률생성함수도 생성함수의 일종이고, 의외로 비슷한 활용법들도 많다.
- 라플라스 변환을 보았다면 연속확률변수의 경우[1] 적률생성함수는 확률분포함수의 라플라스 변환임을 관찰할 수 있다.
- 라플라스 변환의 수렴 문제로 대신 푸리에 변환을 생각하듯이, 적률생성함수 대신에 확률분포함수의 푸리에 변환인 특성함수(characteristic function)
들을 대신 생각하기도 한다. 성질은 사실상 거의 동일하지만, 이 특성함수는 모든 확률변수에 대해 존재한다는 장점이 있다.
2. 여러 가지 적률
- 평균에 대한 적률: $$Y=X-\mathrm E(X)$$일 때, $$Y$$의 적률이 $$X$$의 평균에 대한 적률이다. 차수에 따라 다음과 같은 정보를 준다.
- 계승적률: X의 거듭제곱 대신 계승인 $${}_X\mathrm P_n$$을 사용한 적률.
보통은 1번이나 2번의 방법을 주로 사용하는데, 이항 분포 혹은 푸아송 분포, 혹은 기하 분포의 분산은 계승적률을 쓰는 방법이 나머지 두 방법보다 편리하다.
3. 적률생성함수의 성질
다음 성질들을 증명할 수 있다.
- $$M_{X+c}(t) = e^{ct} M_X(t)$$
- $$ M_{kX}(t) = M_{X}(kt) $$
- $$X, Y$$가 독립이면 $$M_{X+Y}(t) = M_X(t) M_Y(t)$$이다.
- 두 확률분포의 적률생성함수가 동일하면, 두 확률분포는 동일하다.
- 확률변수 $$X_n$$의 적률분포함수가 $$X$$의 적률분포함수에 구간 내에서 수렴하면, $$X_n$$의 분포는 $$X$$의 분포에 수렴한다.
4. 여러 가지 확률 분포의 적률생성함수
4.1. 정규 분포
표준정규분포 $$Z \sim N(0,1)$$의 적률생성함수는 다음처럼 $$M_{Z}(t) = e^{{t^2}/2}$$로 나타난다.
$$ \displaystyle \begin{aligned} M_{Z}(t) &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}e^{-{z^2}/2}e^{zt} \,{\rm d}z \\&= e^{{t^2}/2} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-{(z-t)^2}/2} \,{\rm d}z \\&= e^{{t^2}/2} \end{aligned}$$
$$ \displaystyle M_{X}(t) = e^{\mu t + (\sigma^2 t^2/2)}$$
$$ \displaystyle M_{{\bf X}}({\bf t}) = \exp( {\bf \mu} \cdot {\bf t} + \frac{1}{2} {\bf t}^{T} {\bf \Sigma} {\bf t} ) $$
4.2. 이항 분포
베르누이 시행의 적률생성함수가 $$p e^t + q$$ 이므로, 이것의 $$n$$회 독립시행의 누적인 $$(pe^t+q)^n$$이 된다. 물론 이항정리를 활용해 다음처럼 증명할 수도 있다.
$$\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^ne^{kt} \binom{n}{k} p^kq^{n-k}\\&=\displaystyle\sum_{k=0}^n \binom{n}{k}(pe^t)^kq^{n-k}\\&=(pe^t+q)^n \end{aligned}$$
4.3. 기하 분포
$$\begin{aligned} M_X(t)&=\displaystyle\sum_{k=1}^\infty e^{kt}q^{k-1}p\\&=\dfrac pq\displaystyle\sum_{k=1}^\infty(qe^t)^k\\&=\dfrac pq\dfrac{qe^t}{1-(qe^t)}\\&=\dfrac {pe^t}{1-qe^t} \end{aligned}$$
4.4. 푸아송 분포
$$\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^\infty e^{kt}e^{-\lambda}\dfrac{\lambda^k}{k!}\\ &=e^{-\lambda}\displaystyle\sum_{k=0}^\infty\dfrac{(e^t\lambda)^k}{k!}\\ &=e^{-\lambda}e^{e^t\lambda}\\ &=e^{\lambda(e^t-1)} \end{aligned}$$
[4] 보통 $$t=0$$을 대입하여 적률을 구하고, $$0<q<1$$에서 $$-\ln{q}>0$$이기 때문에 적률을 구하는 데 이 수렴 범위는 아무런 문제가 없다.
5. 활용 사례
중심 극한 정리의 증명 등등에서 핵심 도구로 쓰이고, 기타 조합론의 생성함수처럼 활용되는 경우도 있다. 다만 적률생성함수의 존재성은 매우 까다로운 조건이어서, 도구로 쓰인다면 상술한 특성함수를 쓰는 게 보편적이다. 적률생성함수가 특성함수를 제치고 쓰여지는 경우는 적률을 어림하는 부등식에서인데, 쉬운 예로는 젠센 부등식을 적용해서 바로 나오는 $$M_X(t) \ge e^{\mu t}$$ 등이 있고, 기타 여러 가지 적률생성함수와 관련된 부등식들이 있다.