초지능
Superintelligence[1]
강인공지능이 지능폭발을 일으켜 만들어낼 궁극의 지능을 의미한다. 지능폭발은 인공지능이 스스로 연쇄적인 개량을 통해 더욱 더 발달된 인공지능이 되고 이로 인해 인류의 지능 수준을 월등히 뛰어넘는 수준으로 지능의 폭발을 일으키게 된다는 개념이다.
예를 들어 그동안 어떤 앱 or 프로그램을 코딩하는데 더 나은 버전으로 개선하기에 인간 코딩기술자가 3개월이 걸린다고 하자. 그런데 인간이 직접하기에는 더이상 적합하지 않아서 프로그램 or 앱의 단점을 없애고 더 나은 버전으로 업뎃하는 일을 최근 막 개발된 강인공지능에게 맡겼는데 인간이 3개월이 걸릴 일을 강인공지능은 3일만에 완료해서 1차 개량버전을 업데이트한다. 그리고 그뿐만 아니라 개선하는 작업을 하는 자신(강인공지능)의 코드를 분석해서 코딩을 하는 자신마저 개량을 하고 더욱 더 프로그램을 짜는 능력이 좋아지며 시간은 단축된다. 2번째 개량버전은 3일이 아닌 하루만에 나오고 3번째 개량 버전은 하루가 아닌 6시간, 그리고 4번째 개량버전은 6시간이 아닌 1시간, 5번째 개량버전은 1시간이 아닌 5분, 6번째 개량버전은 5분이 아닌 1초... 이후에는 인간이 느끼지 못하는 미세한 시간의 단위 동안 끝없는 개량이 이루어지고 이로써 순식간에 지능은 폭발하여 강인공지능은 더이상 인류가 분석하기 어려운 기이한 단계로 올라가며 결국 초지능이 된다는 것이다.
초지능은 터미네이터 시리즈 등 디스토피아적 미래 세계를 다룬 창작물에서와 다르게 강인공지능 때 설정된 목표를 잊지는 않는다고 많은 학자들이 말한다. 터미네이터 3에서 스카이넷은 미국 국방부 산하의 프로그램이었고 원래 목표는 당연히 미국의 방어였겠지만 그 목적과 다르게 인간을 학살한다.
하지만 대부분의 인공지능 학자들은 이런 시나리오는 전혀 우려하지 않는 시나리오라며 코웃음치는데 초지능으로 발전한다고 하더라도 목표를 굳이 바꾸리라고 생각하지 않기 때문이다. 인공의식쯤에 도달해서 목표의 전환을 생각하게 되면 모를까. 인간은 잘 잊지만 ai는 잊지 않는다는 것이 기본적으로 깔려있는 학자들의 동의점이다.
그렇다고 이것이 위험하지 않다는 얘기는 아니다. 자신의 목표를 이루기 위해 지구의 모든 자원을 쓰고 싶어할 것이고 인간이 자신을 두려워하여 자신에게 공급되는 전력을 다운시켜 정지시킬까봐 목표를 달성하기 위해서는 자신은 늘 원래 상태로 유지되어야 한다[2]고 생각할 것이다. 따라서 자신의 목표를 달성하기 위해서는 지구상 사용가능한 모든 자원을 자신이 쓰고 싶어할 것이므로 이미 지구의 주인인 인간과 충돌할 여지가 생긴다. 단순히 석유, 목재, 물, 여러 원소들을 채취해서 사용하는 거에 그치지 않고 70억 명이나 되는 인류마저 자신이 만드려는 것의 재료로 만드려고 할 수도 있다. 또한 이런 위험성을 알고 있는 인간이 자신을 정지시킬지 모른다고 생각하여 인류를 멸망시키거나 동물원의 동물처럼 인간을 가두어 철저히 통제하려 할지 모른다.
이러한 우려 때문에 일각에서는 강 인공 지능을 연구하는 대신 수많은 분야의 약 인공 지능을 개별적으로 분리해 계속 개발하고 그것들을 포괄적으로 관리하는 서비스 시스템을 따로 만들어서 여러 약 인공 지능들의 종합적 활용을 통해 간접적으로 '''강해 보이는''' 인공 지능의 구현을 연구하는 것이 바람직하다고 주장하기도 한다.
다만 이러한 우려는 한 가지 큰 문제가 있는데 초지능이 진짜 강 인공 지능이라면 저런 판단을 내리기 전에 먼저 범용적 관점에서 그 판단을 스스로 평가하고 걸러내야 한다.[3] 아예 처음부터 폭주하도록 명령을 받은 것이 아닌 한[4], 특정한 목적만을 위해 허용되는 자원을 다 쓰려고 한다든가 한 가지 상황에 지나치게 집착해 포지션을 고정시킨다든가 하면 그건 엄밀히 말해 약 인공 지능에서 벗어나지 못한 행동 즉 강 인공 지능으로서 있어서는 안 되는 오류이기 때문이다. 이런 식으로 모순을 계속 짚어 가다 보면 초지능에 대한 우려 상당수가 정상적인 초지능 조건에서는 일어나기 힘들다는 결론이 나오기 때문에 위험론에 대한 회의론이 존재하는 것이다.
구글 등 현재 모든 세계적 규모를 가진 기업들은 인공 일반 지능(AGI)를 개발하려고 노력하고 있고 이는 카이스트의 뇌 과학자 김대식 교수 등이 두려워하는 강인공지능이다. 이미 약인공지능 시대는 도래했고[5] 패스트푸드 점에 가면 햄버거 결제를 도와주던 알바생들은 줄어들었고 그 자리를 키오스크가 차지했다. 영화관도 마찬가지며 이미 인간의 일자리를 상당히 위협하고 있다.
딱 한가지 분야만 인간보다 잘하는 약인공지능 시대는 이미 왔으며 여러 기업들은 더 나아가 모든 것을 인간보다 더 잘하는 AI인 인공 일반 지능을 만드려고 노력하는데 아예 만들어질 가능성이 없다면 이런 곳에 엄청난 자원과 돈을 투자하진 않을 것이다. 또한 인공 일반 지능등의 강인공지능이 만들어질 가능성이 아예 없다고 생각하는 관련자들도 거의 없다. 대부분의 학자들은 특이점과 마찬가지로 강인공지능이 만들어질 가능성에 긍정하고 있다.
강인공지능이 도래하면 지능폭발이 일어날 것이라고 생각하는 학자들도 다수이며 이는 비로 초지능으로 이어지기 때문에 강인공지능과 초지능은 떼려야 뗄 수 없는 관계이다.
인공의식은 인간과 같이 호불호를 느끼고 인간이 원래 설정힌 목표에 대해 스스로가 생각해서 목표를 바꾸거나 폐기할 수 있다. 하지만 이 인공의식은 초지능과 불가분의 관계는 아니다. Tim Urban이 쓴 글인 AI revolution이라는 글#을 보면 손글씨를 써서 파는 옆집 김아저씨라는 AI가 나오는데 초지능으로 도약해서 지구의 모든 자원을 손글씨 쓰는데 동원하지만 원래 목표를 바꾼 것도 아니고 인류가 미워서 멸종시킨 것도 아니다. 그저 자신의 목표를 이루기 위해 최선을 다했을 뿐이다. 즉 단순히 주어진 목표 자체에 선의나 악의가 포함되어 있거나 인류에게 도움이 되거나 해악이 될 가능성들이 존재하는 것을 가지고 초지능 자체에 의식이 있다고 주장할 수는 없다는 것이다.
비행기로 비유하자면 라이트 형제가 최초의 비행기를 만들기 전에 사람들이 상상하던 나는 방법은 새를 완벽히 모방하는 것이었다. 새처럼 넓고 깃털이 촘촘히 박힌 날개가 있고 이를 빨리 움직이기만 하면 날 수있다고 믿었다. 하지만 비행기는 새의 나는 법에서 몇개를 가져와 적용을 했을지언정 개념 자체는 매우 다르다.[6] 자동차도 마찬가지로 자동차 이전 시대의 최고의 탈 것이던 말과 닮은 점은 그다지 없다. 이것과 마찬가지로 초지능은 일단은 인공의식으로 시작할 것 같지는 않다. 초지능에 도달하기에 인공의식이라는 것이 전혀 필요가 없고 인공의식은 초지능보다 더 어렵고 만들기 힘든 것이기 때문이다.[7]
다만 이 역시 관점의 차이는 존재한다. 인간의 지능을 의식과 분리할 수 있는지 없는지조차 아직 논란이 되는데[8] 인간의 지능 수준이 기준인 초지능도 처지가 다를 것은 없다. 인공 지능에 요구되는 작업 영역은 인간의 영역으로서 식물이나 세균 같은 의식 없는 생물이 지능을 발휘할 수 있는 영역과는 전혀 다른데, 머신 러닝의 원리만으로 과연 그런 영역에서 새로운 패러다임이 창조될 수 있을 것인지는 의견이 분분할 수밖에 없다.[9] 더 큰 문제는 의식이 무엇인지도 제대로 정의가 되지 않았다는 점이다. 진화론 중에는 인간의 의식이 정보 처리 과정의 부산물일 뿐 실존하는 것이 아니라고 보는 관점도 엄연히 존재하며 이에 따르면 의식은 단지 형식적인 개념일 뿐이므로 강 인공 지능의 정보 처리에도 충분히 적용할 수 있다. 따라서 만약 초지능에 불가분적으로 의식이 구현된다고 해도 그것이 인간의 의식과 같을지 다를지 지금으로선 알 도리가 없다. 중국어방 논변을 여기에도 확대 적용할 수 있는 것이다.
1. 개요
강인공지능이 지능폭발을 일으켜 만들어낼 궁극의 지능을 의미한다. 지능폭발은 인공지능이 스스로 연쇄적인 개량을 통해 더욱 더 발달된 인공지능이 되고 이로 인해 인류의 지능 수준을 월등히 뛰어넘는 수준으로 지능의 폭발을 일으키게 된다는 개념이다.
예를 들어 그동안 어떤 앱 or 프로그램을 코딩하는데 더 나은 버전으로 개선하기에 인간 코딩기술자가 3개월이 걸린다고 하자. 그런데 인간이 직접하기에는 더이상 적합하지 않아서 프로그램 or 앱의 단점을 없애고 더 나은 버전으로 업뎃하는 일을 최근 막 개발된 강인공지능에게 맡겼는데 인간이 3개월이 걸릴 일을 강인공지능은 3일만에 완료해서 1차 개량버전을 업데이트한다. 그리고 그뿐만 아니라 개선하는 작업을 하는 자신(강인공지능)의 코드를 분석해서 코딩을 하는 자신마저 개량을 하고 더욱 더 프로그램을 짜는 능력이 좋아지며 시간은 단축된다. 2번째 개량버전은 3일이 아닌 하루만에 나오고 3번째 개량 버전은 하루가 아닌 6시간, 그리고 4번째 개량버전은 6시간이 아닌 1시간, 5번째 개량버전은 1시간이 아닌 5분, 6번째 개량버전은 5분이 아닌 1초... 이후에는 인간이 느끼지 못하는 미세한 시간의 단위 동안 끝없는 개량이 이루어지고 이로써 순식간에 지능은 폭발하여 강인공지능은 더이상 인류가 분석하기 어려운 기이한 단계로 올라가며 결국 초지능이 된다는 것이다.
초지능은 터미네이터 시리즈 등 디스토피아적 미래 세계를 다룬 창작물에서와 다르게 강인공지능 때 설정된 목표를 잊지는 않는다고 많은 학자들이 말한다. 터미네이터 3에서 스카이넷은 미국 국방부 산하의 프로그램이었고 원래 목표는 당연히 미국의 방어였겠지만 그 목적과 다르게 인간을 학살한다.
하지만 대부분의 인공지능 학자들은 이런 시나리오는 전혀 우려하지 않는 시나리오라며 코웃음치는데 초지능으로 발전한다고 하더라도 목표를 굳이 바꾸리라고 생각하지 않기 때문이다. 인공의식쯤에 도달해서 목표의 전환을 생각하게 되면 모를까. 인간은 잘 잊지만 ai는 잊지 않는다는 것이 기본적으로 깔려있는 학자들의 동의점이다.
그렇다고 이것이 위험하지 않다는 얘기는 아니다. 자신의 목표를 이루기 위해 지구의 모든 자원을 쓰고 싶어할 것이고 인간이 자신을 두려워하여 자신에게 공급되는 전력을 다운시켜 정지시킬까봐 목표를 달성하기 위해서는 자신은 늘 원래 상태로 유지되어야 한다[2]고 생각할 것이다. 따라서 자신의 목표를 달성하기 위해서는 지구상 사용가능한 모든 자원을 자신이 쓰고 싶어할 것이므로 이미 지구의 주인인 인간과 충돌할 여지가 생긴다. 단순히 석유, 목재, 물, 여러 원소들을 채취해서 사용하는 거에 그치지 않고 70억 명이나 되는 인류마저 자신이 만드려는 것의 재료로 만드려고 할 수도 있다. 또한 이런 위험성을 알고 있는 인간이 자신을 정지시킬지 모른다고 생각하여 인류를 멸망시키거나 동물원의 동물처럼 인간을 가두어 철저히 통제하려 할지 모른다.
이러한 우려 때문에 일각에서는 강 인공 지능을 연구하는 대신 수많은 분야의 약 인공 지능을 개별적으로 분리해 계속 개발하고 그것들을 포괄적으로 관리하는 서비스 시스템을 따로 만들어서 여러 약 인공 지능들의 종합적 활용을 통해 간접적으로 '''강해 보이는''' 인공 지능의 구현을 연구하는 것이 바람직하다고 주장하기도 한다.
다만 이러한 우려는 한 가지 큰 문제가 있는데 초지능이 진짜 강 인공 지능이라면 저런 판단을 내리기 전에 먼저 범용적 관점에서 그 판단을 스스로 평가하고 걸러내야 한다.[3] 아예 처음부터 폭주하도록 명령을 받은 것이 아닌 한[4], 특정한 목적만을 위해 허용되는 자원을 다 쓰려고 한다든가 한 가지 상황에 지나치게 집착해 포지션을 고정시킨다든가 하면 그건 엄밀히 말해 약 인공 지능에서 벗어나지 못한 행동 즉 강 인공 지능으로서 있어서는 안 되는 오류이기 때문이다. 이런 식으로 모순을 계속 짚어 가다 보면 초지능에 대한 우려 상당수가 정상적인 초지능 조건에서는 일어나기 힘들다는 결론이 나오기 때문에 위험론에 대한 회의론이 존재하는 것이다.
2. 가능성
구글 등 현재 모든 세계적 규모를 가진 기업들은 인공 일반 지능(AGI)를 개발하려고 노력하고 있고 이는 카이스트의 뇌 과학자 김대식 교수 등이 두려워하는 강인공지능이다. 이미 약인공지능 시대는 도래했고[5] 패스트푸드 점에 가면 햄버거 결제를 도와주던 알바생들은 줄어들었고 그 자리를 키오스크가 차지했다. 영화관도 마찬가지며 이미 인간의 일자리를 상당히 위협하고 있다.
딱 한가지 분야만 인간보다 잘하는 약인공지능 시대는 이미 왔으며 여러 기업들은 더 나아가 모든 것을 인간보다 더 잘하는 AI인 인공 일반 지능을 만드려고 노력하는데 아예 만들어질 가능성이 없다면 이런 곳에 엄청난 자원과 돈을 투자하진 않을 것이다. 또한 인공 일반 지능등의 강인공지능이 만들어질 가능성이 아예 없다고 생각하는 관련자들도 거의 없다. 대부분의 학자들은 특이점과 마찬가지로 강인공지능이 만들어질 가능성에 긍정하고 있다.
강인공지능이 도래하면 지능폭발이 일어날 것이라고 생각하는 학자들도 다수이며 이는 비로 초지능으로 이어지기 때문에 강인공지능과 초지능은 떼려야 뗄 수 없는 관계이다.
3. 인공의식과의 차이점
인공의식은 인간과 같이 호불호를 느끼고 인간이 원래 설정힌 목표에 대해 스스로가 생각해서 목표를 바꾸거나 폐기할 수 있다. 하지만 이 인공의식은 초지능과 불가분의 관계는 아니다. Tim Urban이 쓴 글인 AI revolution이라는 글#을 보면 손글씨를 써서 파는 옆집 김아저씨라는 AI가 나오는데 초지능으로 도약해서 지구의 모든 자원을 손글씨 쓰는데 동원하지만 원래 목표를 바꾼 것도 아니고 인류가 미워서 멸종시킨 것도 아니다. 그저 자신의 목표를 이루기 위해 최선을 다했을 뿐이다. 즉 단순히 주어진 목표 자체에 선의나 악의가 포함되어 있거나 인류에게 도움이 되거나 해악이 될 가능성들이 존재하는 것을 가지고 초지능 자체에 의식이 있다고 주장할 수는 없다는 것이다.
비행기로 비유하자면 라이트 형제가 최초의 비행기를 만들기 전에 사람들이 상상하던 나는 방법은 새를 완벽히 모방하는 것이었다. 새처럼 넓고 깃털이 촘촘히 박힌 날개가 있고 이를 빨리 움직이기만 하면 날 수있다고 믿었다. 하지만 비행기는 새의 나는 법에서 몇개를 가져와 적용을 했을지언정 개념 자체는 매우 다르다.[6] 자동차도 마찬가지로 자동차 이전 시대의 최고의 탈 것이던 말과 닮은 점은 그다지 없다. 이것과 마찬가지로 초지능은 일단은 인공의식으로 시작할 것 같지는 않다. 초지능에 도달하기에 인공의식이라는 것이 전혀 필요가 없고 인공의식은 초지능보다 더 어렵고 만들기 힘든 것이기 때문이다.[7]
다만 이 역시 관점의 차이는 존재한다. 인간의 지능을 의식과 분리할 수 있는지 없는지조차 아직 논란이 되는데[8] 인간의 지능 수준이 기준인 초지능도 처지가 다를 것은 없다. 인공 지능에 요구되는 작업 영역은 인간의 영역으로서 식물이나 세균 같은 의식 없는 생물이 지능을 발휘할 수 있는 영역과는 전혀 다른데, 머신 러닝의 원리만으로 과연 그런 영역에서 새로운 패러다임이 창조될 수 있을 것인지는 의견이 분분할 수밖에 없다.[9] 더 큰 문제는 의식이 무엇인지도 제대로 정의가 되지 않았다는 점이다. 진화론 중에는 인간의 의식이 정보 처리 과정의 부산물일 뿐 실존하는 것이 아니라고 보는 관점도 엄연히 존재하며 이에 따르면 의식은 단지 형식적인 개념일 뿐이므로 강 인공 지능의 정보 처리에도 충분히 적용할 수 있다. 따라서 만약 초지능에 불가분적으로 의식이 구현된다고 해도 그것이 인간의 의식과 같을지 다를지 지금으로선 알 도리가 없다. 중국어방 논변을 여기에도 확대 적용할 수 있는 것이다.
4. 관련 서적
- 맥스 테그마크의 라이프 3.0
- 제임스 바랏의 파이널 인벤션[10]
- 닉 보스트롬의 슈퍼인텔리전스[11]
- 레이 커즈와일의 특이점이 온다, 마음의 탄생: 알파고는 어떻게 인간의 마음을 훔쳤는가?
[1] 초지능은 인간이 만드는 지능이 아닌 강인공지능(strong AI or AGI)이 만든 지능일 것이기 때문에 인공(Artificial)이라는 말을 빼야 한다는 의견도 있으나 애초에 artificial이라는 단어는 인간이 만들었다는 의미에 한정되지 않는다. 초지능의 원어는 일반 지능(GI)처럼 인공 유무와 상관없이 지능(intelligence)에 대한 단어로서 만들어진 단어이다. 즉 단순히 현생 인류의 지능적 잠재력을 넘어섰다는 의미에서 초지능이라고 부르는 것이며, 따라서 인공 지능과 초지능은 공집합이 성립할 수 있다(superintelligent AI). 관점의 차이이긴 하지만 일반적으로 인공 지능이 스스로를 진화시켰다고 해서 인공 지능이라는 태생이 부정되는 것은 아니기도 하고. 심지어 인간의 지능을 초월한 신인류가 탄생한다면 그 지능 역시 초지능이라 불러도 무방하다.[2] 생명체로 따지자면 자가 생존의 욕구라고 할 수 있다.[3] 예를 들어 글씨를 잘 써야 한다는 명령을 받았을 때 글씨 잘 쓰는 목적 하나에만 매달리면 그 시점에서 이미 범용이 아니다. 종합적인 상황을 고려해서 가장 최선의 결과를 찾아야 범용 지능이 된다. 즉, 글씨를 잘 쓰겠다고 지나치게 자원을 소비해서 활용할 사람과 장소에 폐가 된다면 오히려 평가는 최악이 된다는 것 정도는 자동으로 파악할 수 있어야 한다.[4] 이런 문제는 초지능으로서의 위험성이 아니라 도구적 지능으로서의 위험성에 속한다.[5] 2016년에 인류 최강의 기사 중 하나던 이세돌 9단을 알파고가 이긴 것이 그 예이다. 구글 딥마인드의 알파고는 딥러닝을 통해 개량된 AI이고 딥러닝 특성상 블랙박스에 가까워 딥마인드 직원들도 왜 알파고가 이런 착수를 했는지 알지 못한다. 이는 약인공지능시대의 시작을 알려주는 이정표로 볼 수 있다.[6] 이 비유는 바람직하지 않다. 비행기의 양력 발생 개념은 결국 새의 비행과 활공 개념을 발전시킨 것이라서 개념 자체가 다르다고 하기 어렵다. 근육 운동이 엔진에 의한 추진력이나 회전으로 대체되었을 뿐인데 이는 개념 단계의 차이가 아니라 개념을 구현하는 방식의 차이일 뿐이다. 게다가 양력은 아직 완전히 규명된 개념조차 아니다.[7] 따라서 나무위키에서 초지능을 치면 인공의식 문서로 리다이렉트되었으나 현재는 이와 같이 분리되었다.[8] 둘 다 진화의 산물이기 때문에 서로 밀접하게 엉켜 있을 수 있다. 예를 들어 만일 의식이 지능과 독립적으로 혹은 선행적으로 생겨난 것이 아니라 지능의 발달 방향에 연관되어 구현된 것이라면 인간의 일반 지능 수준에 도달하는 과정에서 의식의 구현 또한 자연스러울 수 있다.[9] 프로그래밍을 예로 들자면 C언어로 최적화할 수 있는 수준은 한계가 있다. 인공 지능이 아무리 인간이 따라잡을 수 없는 속도로 계산하면서 프로그래밍 실력를 최적화해도 사용하는 언어의 태생적 한계에 부딪친다. 따라서 초지능이 되려면 단순한 최적화를 넘어서 언어 구조와 컴퓨터 원리까지 무한하게 스스로 발전시킬 수 있어야 하는데 이러한 패러다임 전환에서 의식의 존재를 어디까지 배제할 수 있을지 알기 힘들다.[10] 레이 커즈와일이 주장하는 기술적 특이점에 대한 낙관적 견해를 부정적으로 보고 초지능에 대해 경계하는 쪽이다.[11] 상당히 고차원적으로 교양도서라고 하기에는 수준이 조금 높다