내적
1. 개요
inner product, 內積
벡터 공간에서 정의된 이중선형(bilinear; 실수체에서) 혹은 반쌍형적(sesquilinear; 복소수체에서) 함수의 일종. 보통 내적은 벡터의 방향이 얼마나 일치하는 지의 용도로 쓰인다.[1] 또한 내적을 이용해 노름, 즉 '길이'를 정의할 수 있으며, 이는 벡터 사이의 거리나 벡터의 크기를 논할 수 있게 한다.[2] 코시-슈바르츠 부등식 이라는 대단히 중요한 부등식이 바로 내적(과 이로부터 유도된 노름)의 성질로부터 유도된다.
내적이 주어진 벡터 공간을 '''내적 공간(inner product space)'''이라 한다. 행렬 곱셈의 결과 행렬은 앞 행렬의 행벡터와 뒤 행렬의 열벡터를 dot product라는 내적의 한 종류를 적용한 값을 가지는 행렬이라고 할 수가 있다.
고등학교에서는 '내적'이라고 부르는 연산은 대학교에서는 '도트곱 (dot product)' 혹은 '스칼라곱 (scalar product)'[3] 이라고 부르는, 내적의 한 종류이며, 실제로는 무한히 많은 종류의 내적이 있다. 내적의 공리만 만족시키면 구체적인 연산이 어떻든 내적이라 부르기 때문이다.
가령 $$(a, b)$$ 와 $$(c, d)$$를 집어넣으면 $$2ac - ad - bc + 2bd$$를 주는 연산도 내적의 공리를 만족시키므로 내적이 된다. 또한, 무한차원에서는 주어진 구간에 대한 정적분을 내적으로 볼 수 있음을 이용해 푸리에 해석등에 요긴하게 써먹기도 한다.
고등학교 수학까지 배웠다면 내적을 이항연산으로만 여기지만, 실제로는 '''단항연산도 가능하다'''. 내적의 단항연산은 아래처럼 벡터 내의 성분의 합이 된다.
$$\displaystyle \left< {\bold v} \right>=\sum_{i=1}^{{\rm dim}\,{\bold v}} v_i$$
2. 정의
체 $$F$$의 벡터 공간 $$V$$의 내적$$\langle\cdot, \cdot\rangle: V\times V\to F$$은 임의의 $$u, v, w\in V$$와 $$a\in F$$에 대해 다음을 만족시킨다.
여기서 체 $$F$$는 실수체($$F= \mathbb{R}$$)일 수도, 복소수체($$F= \mathbb{C}$$)일 수도 있다. 즉 두 가지 경우를 모두 아우르는 일반적인 정의다. 복소수에 익숙하지 않은 독자라면 아래 '실수체의 경우'를 참조.* (켤레 대칭성) $$\overline{\langle v, u\rangle} = \langle u, v\rangle$$,
* (첫째 인수에 대한 선형성) $$\langle au+ v, w\rangle= a\langle u, w\rangle+ \langle v, w\rangle$$,
* (양의 정부호성) 임의의 [math(0)] 벡터가 아닌 $$v\in V$$에 대해, $$\langle v, v\rangle> 0$$.
위 정의에서는 $$\langle 0, 0\rangle= 0$$ 임을 규정하지 않았으나, 이는 첫째 인수에 대한 선형성에 의해 간단히 유도된다.[4] 저자에 따라서는 다음과 같이 이를 정의에 살짝 포함시키기도 한다.
그러나 이 경우에도 등호가 $$v= 0$$ 일 때 성립함이 중요한 것이 아니라, 그 때'''만''' 성립함이 중요하다.* (양의 정부호성, 변형) $$\langle v, v\rangle\geq 0$$. 단, 등호는 $$v= 0$$ 일 때만 성립.
켤레대칭성과 첫째 인수에 대한 선형성은 둘째 인수에 대한 켤레선형성을 함의한다.
이에 의해 나타나는 성질을 에르미트성, 혹은 반쌍형적 형식(sesquilinear form) 이라고 한다.* (둘째 인수에 대한 켤레선형성) $$\langle u, av+ w\rangle = \overline{a}\langle u, v\rangle+ \langle u, w\rangle$$
저자에 따라 혹은 분야에 따라 위 정의와 같이 둘째 인수에서 켤레선형성을 가지도록 하는 게 아니라, 첫째 인수에서 켤레선형성을 가지도록 반대로 정의하기도 한다. 물리학에서 사용할 경우는 혹은 순수수학에서도 힐베르트 공간에서 정의되는 에르미트 내적의 경우는 후자의 경향이 강하다. 자세한 내용은 에르미트 내적을 참조.
2.1. 실수체의 경우
모든 실수는 그 켤레복소수가 자기 자신이기 때문에 위의 정의가 다음과 같이 익숙(?)한 형태가 된다. 실수체 $$\mathbb{R}$$의 벡터 공간 $$V$$의 내적$$\langle\cdot, \cdot\rangle: V\times V\to \mathbb{R}$$은 임의의 $$u, v, w\in V$$와 $$a\in \mathbb{R}$$에 대해 다음을 만족시킨다.
둘째 인수에 대한 선형성은 대칭성과 첫째 인수에 대한 선형성에 의해 유도된다.* (대칭성) $$\langle v, u\rangle = \langle u, v\rangle$$,
* (첫째 인수에 대한 선형성) $$\langle au+ v, w\rangle= a\langle u, w\rangle+ \langle v, w\rangle$$,
* (양의 정부호성) 임의의 [math(0)] 벡터가 아닌 $$v\in V$$에 대해, $$\langle v, v\rangle> 0$$.
고등학교나 대학수학에서 도트곱($$(u_1, u_2)\cdot(v_1, v_2)= u_1v_1+ u_2v_2$$)을 갓배운 학생이라면, 도트곱이 일반적인 내적의 정의를 따르고 있는지 확인해보자.* (둘째 인수에 대한 선형성) $$\langle u, av+ w\rangle = a\langle u, v\rangle+ \langle u, w\rangle$$
3. 내적에서 유도되는 노름
내적공간에서는 보통 다음과 같이 노름 $$\lVert\cdot\rVert: V\to\mathbb{R}$$ 을 정의해 사용한다.
위에서 소개한 내적의 정의에 의해 이 함수 $$\lVert\cdot\rVert$$ 가 노름의 공리를 만족시킴을 보일 수 있다. 한편 유클리드 공간 $$V = \mathbb{R}^n$$ 에서 도트곱 $$\langle u, v\rangle = u\cdot v = u_1v_1+ \cdots + u_nv_n$$ 을 상정하면, 우리에게 익숙한 벡터의 길이 공식 $$\lVert v \rVert= \sqrt{v_1^2+ \cdots + v_n^2}$$ 을 얻을 수 있다.* $$\lVert v \rVert:= \sqrt{\langle v, v\rangle}$$.
노름에 관한 일반적이거나 자세한 설명은 해당 항목을 참조하자. 다만 여기서 중요한 것은 내적공간에서는 방향 뿐만 아니라 크기와 거리도 자연스럽게 다루게 된다는 것이다.
4. 텐서곱과의 관계
텐서곱의 주대각합, 즉 두 벡터로 행렬을 만들었을 경우 주대각성분을 모두 더한 값이 된다.$$\bold{u}\cdot\bold{v} = \mathrm{tr}(\bold{u}\otimes\bold{v})$$
5. 힐베르트 공간
내적공간 $$V$$가 아래 성질을 만족시키면, '''힐베르트 공간''' (Hilbert space) 이라고 한다.
코시수열과 수렴성을 다루기 위해서는 벡터간의 거리가 정의되어야 하는데, 이 때 바로 위에서 언급한 '유도된 노름'을 사용한다.* (완비성) $$V$$의 임의의 코시수열 $$a_n$$이 $$V$$내의 한 점으로 수렴한다.
유클리드 공간은 항상 완비성을 충족하고 내적공간은 (유도된 노름에 의해) 노름공간이므로, 유클리드 공간은 항상 힐베르트 공간이다. 힐베르트 공간은 무한차원 내적공간을 우리가 익숙한 유클리드 공간과 유사하게 다루기 위해 도입한 개념이다.
내적공간이지만 힐베르트공간이 아닌 예를 생각하기 위해, 집합 $$L_2[-1, 1]$$을 폐구간 $$[-1, 1]$$에서의 $$L_2$$-실함수들, 즉 제곱을 적분한 게 유한값을 갖는 함수들의 집합이라고 하자. 이 공간에서의 내적을
$$\displaystyle\langle f, g\rangle = \int_0^1f(x)g(x)dx$$
라고 정의하면 $$L_2[-1, 1]$$는 힐베르트공간이 됨을 보일 수 있다. 한편 이 공간의 부분집합 $$C[-1, 1]$$, 즉 $$[-1, 1]$$에서 연속인 함수들의 집합에서 동일한 내적을 정의하면, 이 공간은 내적공간이 되지만 완비성을 만족시키지 않는다. 불연속함수로 수렴하는 연속함수 코시수열이 존재하기 때문.[5]
6. 직교여부분공간
내적 공간 $$V$$의 부분공간 $$W<V$$을 생각하자. $$W$$의 '''직교여부분공간''' (orthogonal complement subspace) $$W^{\perp}$$을 다음과 같이 정의한다.[6]
즉, $$W^\perp$$는 $$W$$의 모든 원소에 대해 (추상적인 의미로) "직각"인 벡터들을 모은 집합이다. 이 집합 $$W^{\perp}$$은 그 자체로 벡터공간임을 밝힐 수 있으며, 즉 $$W^\perp$$는 부분'''공간'''이다.$$W^{\perp}:=\left\{v\in V:\langle v, w\rangle=0\quad\forall w\in W \right\}$$
또한 (유한차원의 경우) 다음을 밝힐 수 있다.[7]
즉, $$V$$의 임의의 벡터 $$v$$는 $$W$$와 $$W^\perp$$에 각각 속하는 서로 직각인 두 벡터 $$w, w'$$의 합 $$v= w+ w'$$ 으로 나타낼 수 있으며, 이러한 표현은 유일하다. 이 성질은 정사영(orthogonal projection)과 본질적으로 동일한 현상이다. 통계학의 기본적인 도구인 최소자승법(least squares method)이 근본적으로 정사영이므로, 통계분석과 머신러닝 등 여러 중요한 기법들은 결국 이 성질을 기반으로 하는 셈이다.* $$V=W\bigoplus W^{\perp}$$
[4] $$\langle 0, 0\rangle= \langle 0- 0, 0\rangle= \langle 0, 0 \rangle- \langle 0, 0 \rangle= 0$$.[5] 예컨대, 함수열 $$f_n(x)= \max\lbrace 0, nx\rbrace$$를 생각해보자. 이 함수열은 코시수열이고 수렴은 하긴 하는데 그 극한이 계단함수, 즉 '''불'''연속함수다.[6] $$W$$가 부분공간이 아니더라도 정의는 할 수 있으나, $$W\subseteq V$$일 때 $$W^\perp = \langle W \rangle^\perp$$이므로 그다지 쓸모는 없다.[7] 무한차원의 경우 등호가 일반적으로 성립하지 않는다. 위에서 언급한 힐베르트 공간의 개념이 여기서 필요해진다.