수치해석학
1. 개요
Numerical Analysis ・ 數値解析學
수치해석학이란 어떤 함수나 방정식의 해를 컴퓨터를 이용해 수치적으로 근사해서 구하는 알고리즘에 대한 연구를 하는 학문이다. 까놓고 말하자면(?) 컴퓨터에게 노가다를 시키는 과목.
가령, $$x(t) = t^2 , x'(2) = ? $$ 라는 문제가 주어졌을 때, 이를 해석적으로 해결한다면 $$x$$함수의 도함수[1]를 구한 뒤, 도함수에 2라는 값을 넣어서 풀 수 있을 것이다.[2] 대신에 이를 수치적으로 풀면 $$\frac{(2+\delta)^2 - (2-\delta)^2}{2 \delta }, \delta = 10^{-10}$$과 같이, 참값과 완벽히 같진 않지만 '''거의 정확하게''' 구할 수 있다.[3] 이러한 방법론을 수치해석이라고 한다.
2. 상세
수치해석학에서 다루는 세부 주제는 순수수학이나 공학의 어떤 분야인가에 따라 조금씩 다르지만, 전체적으로 보자면 회귀 분석, 수치적 적분, 일반 방정식과 미분방정식의 수치해 계산, 행렬의 수치적 계산[4] 등 수학의 여러 문제를 컴퓨터를 이용해서 푸는 방법을 다루는 과목이다. 만약 이 학문의 발전이 없었다면 복잡한 수학 계산이 필요한 수많은 분야의 발전 역시 더뎠을 것이다.
수치해석학의 입문 과목을 수강한다면, 유한요소해석과 같이 유명한 방법을 배우지 않아 답답할 수도 있을 것이다. 하지만 입문 과목에서 배우는 내용은 나중에 유한요소해석을 배우기 위한 기초 체력을 길러줄 뿐만 아니라, 입문 과목에서 배우는 간단한 알고리즘들도 실제 과학과 공학 분야에서 매우 자주 쓰인다. 그래서 과학이나 공학 분야 대학생들에게 있어서 수치 해석은 입문 과목이라도 필수적이다.
수치해석학 수업을 제대로 따라가기 위해서는 어느정도의 수학 지식이 필요한데, 일단 대학교 1학년 수준의 수학 실력은 당연히 필요하고, 추가로 미분방정식과 선형대수도 일정 수준까지의 지식이 필요하다. 일단 수치해석학의 상당 부분이 미분방정식을 푸는데 집중되어 있고, 많은 수치해석 알고리즘이 결국 마지막에 선형대수를 사용하기 때문이다. 높은 수준의 수치해석학 수업에서는 푸리에 변환과 해석학(수학)을 사용하는 경우도 많다.
현대 수치해석 이론을 정립한 인물은 헝가리 출신의 수학자이자 과학자인 폰 노이만을 들 수 있다. 폰 노이만은 당시 막 등장하기 시작한 컴퓨터를 사용하여 여러 물리 문제를 풀어보려고 하다가[5] 이상한 해가 나와서 고통받으며 많은 수치해석 이론을 만들어 냈다.
3. 내용
수치해석을 사용하는 이유는 '''사람의 손으로 못 푸는''' 문제 때문이다. 특히 미분방정식의 경우 손으로 풀수 있는 문제는 교과서에 있는 예제가 거의 전부일 정도로 손으로 푸는 것이 매우 어렵다. 예를 들어, 아무것도 없는 텅 빈 공간에 람보르기니 차량 모양의 전도체가 있고 거기에 5V의 전압을 걸었다고 하자. 그럼 그 전도체에 의한 전도체 안팎에서 전자기장의 분포는 어떤 특정한 미분방정식[6] 을 따를 것이고, 그 미분방정식에 적절한 경계 조건(Boundary condition)이 주어진다면 해가 존재할 것이다. 그런데 람보르기니 모양의 경계 조건이라는 괴이한 조건 덕에 위 미분방정식의 정확한 해를 손으로 풀어서 구하는 건 불가능하며, 설령 가능하다 하더라도 얻는 데 엄청난 시간이 소요되기 때문에 다른 방법을 모색해야 하는 것이다.
3.1. 단순화
여러 방법 중 문제를 풀기 쉽게 바꾸는 기법도 일부 존재한다.
수치해석에서 자주 쓰이는 유한요소법(Finite element method)의 예를 들어 보자. 공간을 조각조각 나눔으로써 상황을 단순화 시키고 그 단순화 된 상황을 분석해서 근사적인 방정식의 해를 얻을 수 있다.
3.2. 오차
위에서도 언급했지만, 수치해석은 '''거의''' 정확하지만 완벽하지는 않기 때문에, 수치해석으로 나온 결과물이 얼마나 정확한지 파악하는 것이 몹시 중요하다.
3.3. 프로그래밍
위에 나온 기법들을 실제로 구현하는 작업으로, 전공과 무관하게 수치해석 수업을 듣기 전에 어느정도 프로그래밍 실력을 키울 필요가 있다. 컴퓨터 프로그래밍은 선형대수 라이브러리 활용법과, 수치해석을 통해 구한 함수를 화면에 출력하기 위한 그래픽 라이브러리 활용법을 익힌 후 도전하는 것이 좋다. MATLAB을 사용한다면 매우 편하겠지만, C언어 같은 것을 사용하는데 라이브러리 사용법에 익숙하지 않다면 모든 것을 일일히 직접 구현하느라 힘든 노가다가 될 것이고, 그래픽에 익숙하지 않으면 결과를 알기 힘들어진다. 보통 미적분학이나 공업수학 교재에 나오는 함수들을 자유자재로 그릴 수 있을 정도가 기초가 된다.
4. 수학과에서
수학과 과목 중 계산과 알고리즘에 치중하는 몇 안 되는 과목이다.
수학과 학부 레벨에서 개강은 되지만 의외로 이 과목의 진의를 강의를 들으며 깨닫는 사람은 그리 많지 않다. 여러가지 이유가 있지만 크게 보면,
예를 들어, 학부수준 수치해석에서 초반에 등장하는 뉴턴-랩슨 방법의 경우, 한 점에서 함수식을 미분해서 x절편찾고, 다시 그 x좌표에서 함수식을 미분해서 또 x절편찾고...의 반복으로 주어진 식의 해를 찾아가는 방법이다. 매우 간단하지 않은가?[9] 맘먹고 교수님이 수강생을 계산하는 기계로 만든다면, 아마 같은 학기에 듣게되는 여타 수학과목에 비해 난이도가 최소 2/3 정도로 느껴지게 될 것이다.
이 과목의 의미는 '''수치'''에 방점을 찍느냐 '''해석'''에 방점을 찍느냐에 따라 매우 다르게 볼 수 있다.
'''수치'''에 방점을 찍는 경우 이 과목의 의미는 지금까지 추상적으로 다뤄온 이론을 '''실제적으로 가져오는 수단을 배운다'''는 점이다. 학부때 열리는 개론 수준의 과목의 주된 이슈 중 하나는 역행렬을 구하는 방법인데, 의외로 이 작업은 계산이 많이 필요한 작업이다. 선형대수학에서 가우스 소거법을 배운 뒤 역행렬을 구해보려고 하면 5x5쯤 되면 정신없어진다. 하물며 100x100 크기의 역행렬 계산이라면야...
이것뿐만 아니라 여러가지 예가 있겠지만, 요약하자면 수학과의 기초를 형성하는 논리적이고 추상적인 수학의 범주에서는 해는 존재한다 라는 존재성과 유일성이 중요했었다면, 수치해석은 '그래서 그게 얼마인데?'라는 관점으로 접근하는 차이점이 있다고 하겠다. 즉 애초에 목적 자체가 다른 여타의 수학과의 과목들과는 다르다.
'''해석'''에 방점을 찍는 경우 이 과목의 의미는 해석학적으로 알고리즘을 분석해본다는 것이다. 위의 뉴턴-랩슨 방법의 예를 다시 보면 해석학에서 왜 수열을 배우고 수렴을 배웠는지를 알게된다. 이 알고리즘은 '''근사'''적인 해를 계속 구하여 수열을 만드는 과정이다. 이 수열이 방정식의 해로 수렴하면 알고리즘이 극한에서 방정식의 해를 구하는 올바른 방법이 된다.
이 예에서 보듯이 '''해석'''에 방점을 찍는 수치해석은 일반적인 알고리즘 또는 새로 개발한 알고리즘에 관한 다음과 같은 해석학적 질문에 대한 답을 구한다.
- 이 알고리즘이 수렴하는가? 즉, 알고리즘으로 구성한 해의 근사값의 수열이 수렴하는가?
- 수렴한다면 문제의 정답으로 수렴하는가?
- 정답으로 수렴한다면 얼마나 빨리 수렴하는가?
- 수렴속도 질문의 다른 형태로서, 몇 번을 반복해야 알고리즘의 계산값과 정답의 차이가 주어진 오차범위 안으로 들어오는가?
5. 공대에서
공학에서는 수학의 추상성보다는 현실적인 해를 찾는 것이 더 중요하다. 그러나 공학도들에게도 수치해석이라는 과목은 조금 별나게 느껴진다. 그 이유는 공학 수학만을 다루다가 어찌되었든 조금 특이한 수학을 접하게 되기 때문. 물론 수치해석은 공학도들이 계속 다루게 될 여러 소프트웨어의 바탕이 되기 때문에 상당히 중요하다. 그래서 많은 공대생들이 한학기 동안이라도 수치해석 수업을 들으면서 미친듯이 MATLAB 프로그래밍을 하게 된다. MATLAB을 사용하지 않는다면 공학용 계산기에라도 프로그래밍을 한다(...). 때로는 커리큘럼에 따라 MATLAB이 아니라 다른 프로그래밍 언어를 쓰며 고통받는 경우도 있다.
수치해석 과목이 아닌 다른 공대 수업에서도 많이 쓰이는 수치해석 방법은 미분방정식을 풀 때 사용하는 4차 룽게-쿠타(Runge-Kutta) 방법(보통 줄여서 RK4라고 한다)일 것이다. 비교적 정확도가 높은 편이고 단순 진동하는 삼각함수와 같은 해를 가진 문제에서도 무한대로 발산할 염려가 적은 편이라 준수한 활용도를 보인다. 높은 정확도가 필요하지 않은 경우에는 더 빠른 2차 룽게-쿠타(RK2)를 쓰는 편이 좋겠지만, 노트북 컴퓨터의 계산 능력도 출중한 요즘 세상에서는 컴퓨터에게 그냥 RK4로 풀라고 시키고 잠깐 유튜브나 보면 된다(...). 참고로 이전 버전의 문서에서는 항공우주공학에서 RK8/RK9를 주로 쓴다고 되어 있었는데, 막상 항공우주 전문가들 앞에서 RK8/RK9를 쓴다고 말하면 오히려 신기한 생물을 보듯이 쳐다볼 것이다(...). 항공우주 분야에서도 RK4 수준이 많이 사용되고, 만약 풀어야 하는 시간이 각 구간 크기에 비해 너무 길다면 암시적 방법(implicit method)을 사용한다.
학점을 채우기 위해 수업을 듣는 것이 아니라 이후에도 수치해석학을 사용할 생각이 있다면, 단순히 각 수치해석 공식을 배우는 것을 넘어서 그 배경에 있는 이론도 주의깊게 공부할 필요가 있다. 수업 시간에 배운 내용을 실제로 적용해 보면, 책에 있는 것을 그대로 사용했고 프로그램에 버그도 없는데 이상한 해가 나오는 경우가 종종 있을 것이다. 특정 수치해석 방법이 어떤 경우에 이상 행동을 하고, 그럴 때 대처 방법이 무엇인지는 수치해석 이론이 알려준다. 잘 안된다고 애꿎은 키보드를 괴롭히지 말고, 좋은 수치해석학 교과서를 구해서 찬찬히 살펴보도록 하자.
6. 컴퓨터공학적인 면에서
프로그래밍을 하려면 수학, 물리학적 지식이 필요하기 때문에 컴퓨터 공학적인 내용만 가지고는 할 수 없다. 반대로, 컴퓨터 공학 개념 중에서 네트워킹[10]이나 데이터베이스 개념은 수치해석에서는 거의 쓸모가 없어질 것이다.
다만 좋은 수치해석 라이브러리를 만드려면, 컴퓨터 아키텍처 맞게 병렬처리[11]같은 최적화도 해 주어야 하고, 과거 포트란이나 C로 작성되었던 라이브러리를 Python 같은 언어로 포팅한다거나, 유닉스/리눅스 환경을 관리한다거나, 오픈 소스처럼 협업이 필요한 경우 버전 관리나 테스팅을 관리해 주어야 하기 때문에, 컴퓨터 공학적인 내용을 알고 있으면 할 수 있는 일이 많아질 것이다.
사실 새로운 수치해석 방법을 만들어 내려면 이론 수학이나 물리학에 도사가 되어야 하기 때문에, 본인의 머리가 천재 수준이 아니라면 차라리 프로그래밍 기법을 익혀 남들이 논문으로 써놓은 수식이나 알고리즘을 해독하고 구현하는 데 집중하는 것도 좋은 방법이다. 요즘은 컴퓨터 속도 자체가 빨라져서 어지간한 기법들은 집에서도 독학으로 연습해볼 만한 수준이다.
7. 룽게-쿠타 방법들
미분방정식을 풀때 사용되는 대표적인 수치해석 방법들이다. 오일러 방법 (Euler's method), 개조 오일러 방법(modified Euler's method), RK4 등이 있다. 초기조건이 주어졌다면, 작은 시간 구간 $$h$$를 사용해서 ($$t_{n+1} = t_n + h$$)미방을 만족하는 함수의 값을 어림하는게 주요 포인트.
초기조건이 $$y(t_0) = y_0$$인 어떤 함수 $$y(t)$$에 대해 $$y' = f(t, y)$$ 꼴의 미분방정식을 예로 들어서 이것을 수치해석으로 풀 수 있는 룽게-쿠타 방법들을 몇가지 살펴보자.
7.1. 오일러 방법
미방의 가장 기본적인 수치해석 방법. 간단하고 이해하기 쉽지만 그다지 정확하지는 않다. 오차값은 대략 h에 비례한다. 다시말해 스텝사이즈를 반으로 줄이면 오차가 반 정도로 준다. 밑의 예제풀이를 보면 나쁘지 않아 보이지만 실용적인 면에서 쓰기에는 정확성이 턱없이 부족해서 이 방법 자체는 잘 쓰이지 않는다. 다만 이 오일러 방법을 기본으로, 이걸 확장한 더욱 정확한 방법들이 많다.
참고로 답의 정확한 값은 $$e^{0.1}$$로, 약 $$1.10517091808$$이다. 비교용으로 알아두자.
[풀이 보기]
7.2. 개조 오일러 방법
단순 오일러 기법을 두 번 사용해서 두 기울기 ($$k_1$$와 $$k_2$$)를 구하고, 이 두개를 평균내서 나오는 기울기를 초기 기울기로 두고 다음 스텝으로 넘어가는 방법.
[풀이 보기]
$$1.10517091808...$$에 기본적인 오일러 방법보다 더욱 근접한 값인걸 알 수 있다.
하지만 이 개조된 방법 마저도 실제 쓰기에는 정확성이 좀 떨어진다.
7.3. RK4
오일러 방법이 RK1, 개조 오일러 방법이 RK2 라고 할 수 있는데, 일반적으로 Runge-Kutta 방법을 말한다면 이 4th order Runge-Kutta (RK4) 방법을 칭하는것이다[12]. 상당히 정확하기 때문에 실용적인 면에서도 애용되고 있는 수치해석 방법이다.
대략적인 설명을 하자면 여러 기울기를 구하고 이 기울기들의 무게평균을 내, 이 최종 기울기로 오일러 방법을 사용하는 것이다.
이 방법의 오차는 대략 h^4에 비례한다. 스텝 사이즈를 반으로 줄이면 오차가 약 16배나 감소한다는 뜻이다.
[풀이 보기]
이번에는 $$1.10517091808...$$에 무지무지 가까운게 눈에 띈다! 오리지날 오일러 방법하고는 비교하기도 민망한 수준. 계산하는데 시간은 약 4배가 걸렸지만 오차값은 수'''만'''배나 더 작다.
참고로 이보다도 더더욱 정확한 Runge-Kutta 방법들도 있지만, 거기까지 가면 너무 복잡해지므로 이 문서에서는 여기까지만 기술하도록 한다. 사실 RK4 까지만 알아도 왠만한 상미방 수치해석에는 문제없다.
7.4. 고차 미분방정식
룽게-쿠타 방법은 1차 상미분방정식에게만 먹힌다. 하지만 그렇다고 해서 2차이상의 미방을 계산할때 쓸모없는건 아니다. 그냥 고차 미분방정식을 연립 1차 미방으로 만들면 된다.
예를 들어서 진동폭이 매우 큰 단진자[13] 시뮬레이션을 만들고 싶다고 가정하자. (저항이나 마찰이 없을때) 단진자 운동을 기술하는 미분방정식은
이다. $$\theta' = \omega$$라 하고 이걸 연립 1차 방정식으로 바꿔서 각각 미방에 RK4를 사용하면 된다.
참고로 연립미방은 다음과 같다.
8. 기타
전쟁에서도 수치해석은 많이 쓰였다. 특히 탄도학의 발달에 수치해석이 기여한 면이 크다. 몇몇 수치해석 알고리즘은 탄도학에서 출발했으며, 존 폰 노이만은 내폭형 원자폭탄에 쓰이는 폭축 렌즈 개발에 수치해석 기법을 사용했다.
9. 관련 문서
[1] 쓰자면 $$x'(t)$$이란 식이 얻어진다.[2] 답은 4.[3] 구글 검색창에 넣어 계산한 결과[4] '수치 선형대수학'(Numerical Linear Algebra)라고도 한다.[5] 예를 들어 최초로 컴퓨터를 이용한 일기 예보 시뮬레이션을 시도한 사람이 폰 노이만이다.[6] 여기서는 라플라스 방정식.[7] 대부분 수학과 커리큘럼 상 2학년 후반 내지는 3학년 즈음에 이 과목을 수강하게 된다. 극단적인 경우, 대수학 관련 과목과 위상수학 등을 꾸준히 듣다가 수치해석을 듣게 되면...[8] 순수 수학의 추상성에 흠뻑 젖어있는 경우라면 더욱 그렇다.[9] 다만, 꼭 좋은 해를 찾아가라는 법은 없다. 함수식의 형태와 초기값에 따라 성패가 나뉘게 된다. 물론 무조건 좋은 결과를 반환해주는 메소드도 있다.[10] 컴퓨터를 여러 대 사용해야 할 정도의 계산에는 네트워킹 지식이 필요할 수 있다.[11] OpenMP, MPI 등.[12] 카를 룽게와 마르틴 쿠타가 작성한 논문에 나오는 방법이기 때문.[13] 진폭이 크면 작은 각도 근사가 먹히지 않아서 미방을 풀기가 매우 힘들어진다