뇌-컴퓨터 인터페이스
1. 개요
- Brain–Computer Interface (BCI)
- Brain–Machine Interface (BMI)
- Mind-Machine Interface (MMI)
- Direct Neural Interface (DNI)
뇌파나 뇌세포의 전기적 신경 신호를 통해 휠체어나 의수·의족 혹은 로봇과 같은 기계를 조작할 수도 있기 때문에, BCI 기술은 BMI(뇌-기계 인터페이스)라고 불리기도 한다. 사이보그 기술의 근간이 되는 사이버네틱스 기술의 핵심으로서 주목받고 있으며[1], 장기적으로는 가상현실 기술과의 접목도 검토되고 있다.
[image]
BCI 기술의 구현은 기계장치를 통해서 뇌의 활동을 감지하고 인식해 받아들인 후, 신호화 과정을 거쳐 그것을 분석해 입출력 장치에 명령을 내리는 방식으로 구현된다. 예를 들어 뇌의 전기적 활동의 '결과물'인 뇌파를 감지해서 읽어내는 뇌파 감지 방식의 BCI의 경우에는 뇌파 자극을 인식하는 장치를 통해 뇌파를 받아들인 후, 신호화 과정을 거쳐 뇌파를 분석해 입출력 장치에 명령을 내리는 단계를 거치게 된다. 신경계와 보다 직접적으로 접속되어 신경 신호를 감지해서 읽어내는 신경 신호 감지 방식(직접 신경 접속 방식)의 BCI의 경우에는, 뇌파 대신 뇌세포의 전기적 신경 신호를 직접 읽어내어 뇌의 전기적 활동의 '원인'을 감지한다는 점에서 약간의 차이가 발생한다.
현재 연구 중인 BCI는 마음을 읽는 기적의 장치가 아니다. 물론 응용하기에 따라서는 사람의 마음이나 감정 또는 정신 상태 등을 읽는 용도로도 쓸 수 있긴 하지만 그건 어디까지나 부차적인 용도일 뿐이고(또한 사람의 정신 상태를 읽는다는 것도 어디까지나 의학적·신경과학적 견지에서의 이야기에 지나지 않으며, 오컬트적인 독심술을 실현시키는 정도의 것은 당연히 아니다.), 본질적으로는 사람의 생각을 읽기 위한 용도의 장치이기 때문에 뇌파나 뇌세포의 전기적 신경 신호를 읽어서 그 중 특정 패턴을 입력 신호로 읽어들이는 형식으로 사용된다. 현재는 신호 해석의 정밀도와 속도 문제가 남았다.
뇌의 신호를 밖에서 읽어들이기는 어렵지 않다. 기술적 난이도가 낮으며 다양한 형태로 구현될 수 있는 뇌파 감지 방식의 BCI만으로도 충분하다. 반대로 '''밖의 신호를 뇌에 전달하기는 어려움이 크다'''.[2] 기술적 난이도가 높고 반드시 삽입형 BCI의 형태로 구현되어야만 하는 신경 신호 감지 방식(직접 신경 접속 방식)의 BCI를 필요로 하기 때문이다. 또한 실현되더라도 뇌에 어떤 영향을 줄지 알기 어려우므로 안전을 보장하지 못할 수 있다. 현재로서는 시각이나 촉각을 잃은 환자를 위한 삽입형 BCI 정도가 제한적으로 연구되고 있다. 2010년대에 들어서야 삽입형 BCI를 통한 시각과 촉각의 전달에 성공하면서 간신히 기초가 잡힌 정도이다.
2. BCI 기술의 등장 배경
현실에서는 1970년대에 원숭이를 이용해서 기계를 조작하는데 성공한 실험이 시초이다. 이 기술은 1990년대에 대폭 발전해서 2010년대인 현재 어느 정도 성과를 거두고 있다.
인간의 두피에서 측정 가능한 자발적 전기 활동인 뇌파는 두뇌활동의 변화를 시각적, 공간적으로 파악할 수 있는 수단이다. 이때문에 1929년 Hans Berger에 의해 최초로 뇌파가 기록된 후에 임상과 뇌 기능 연구에 폭 넓게 사용되어 왔다.
컴퓨터의 인터페이스 수단으로서 뇌파는 장단점을 모두 지니고 있는데 일단 장점으로는 fMRI와 같은 대형 장치에 비해 측정 비용이 저렴하고, 센서를 직접 두피에 시술하지 않는 비침습형(Non-Invasive) 방식에서는 인체에 무해하며, 뇌내의 정보 반응에 대한 실시간 분석이 가능하다는 점이 있다. 그러나 비침습형의 경우 잡파의 혼입이 불가피하고 정보의 손실이 있어 분석하는 데 어려움이 있고, 침습형(Invasive) 방식의 경우 시술에 대한 부담이 매우 크다는 단점이 있다.
[image]
BCI 기술은 개발 초기 ADHD 아동이나 중증 신체 장애인의 컨트롤 등 주로 의료적인 목적으로 많이 활용되었으며, 측정 기기의 무게가 무겁고 센서가 많이 달려 있어 착용이 번거롭다는 단점이 있었다. 그러나 최근에는 Neurosky, Emotive, OCZ 등의 회사에서 헤드셋 형태의 가볍고 착용이 간편한 기기를 저렴한 가격에 발매함으로써 게임, 집중력 향상 연습 등 다양한 용도로 활용되고 있다.
BCI 연구와 기술 발달이 가속화된다면, 미래에는 터치스크린, 증강현실 등을 잇는 차세대 인터페이스로 활용될 것으로 기대된다. 컴퓨터, 스마트폰의 입력 인터페이스로 사용된 키보드, 마우스, 키패드 등의 고전적인 방식은 최근 터치패드, 모션 인식 등으로 진화하고 있으며, BCI 기술 발달이 가속화된다면 차세대 인터페이스로 활용 가능성도 높다. 특히 BCI는 손이나 기타 신체를 이용하지 않고도 자연스럽게 명령을 내릴 수 있어, 가상현실, 영상이나 사진 인식 등의 분야에 적합할 것으로 판단된다.
3. BCI 기술 방식
BCI 기술 방식은 뇌파나 뇌세포의 전기적 신경 신호를 측정하는 부위에 따라 침습형(삽입형)과 비침습형(비삽입형)으로 분류된다. 그리고 그 중에서도 특히 뇌파를 측정하는 뇌파 감지 방식의 경우에는, 활용되는 뇌파의 특징에 따라 뇌파유도형과 뇌파인식형으로 세세하게 구분된다.
[image]
3.1. 삽입형 BCI
삽입형 BCI는 두개골을 열고 뇌에 임플란트를 시술한다. 이를 통해 전기신호나 운동피질의 움직임 등을 읽어서, 임플란트에 연결된 선으로 신호를 따서 외부 기계에 반영하는 형태다. 뇌의 전기적 활동의 '결과물'인 뇌파를 감지해서 읽어내는 뇌파 감지 방식의 BCI만이 아니라, 뇌파 대신 뇌세포의 신경 신호를 직접 읽어내어 뇌의 전기적 활동의 '원인'을 감지하는 신경 신호 감지 방식의 BCI도 이러한 삽입형 BCI의 형태로 구현된다. 신경 신호 감지 방식의 BCI는 신경계와 보다 직접적으로 접속되어 신경 신호를 감지해서 읽어내는 방식(직접 신경 접속 방식)이기 때문에, 이러한 삽입형 BCI의 형태로만 구현될 수 있다.
이 방식은 가장 민감도가 좋으며 뇌파 이외에도 뇌세포의 신경 신호를 읽어낼 수 있고 신경계와의 보다 직접적인 접속을 통해서 뇌에의 직접적인 정보 입출력에도 대응할 수 있다는 장점을 가지지만(즉 다른 인터페이스 장치들의 도움 없이 BCI만으로도 사용자에게 감각을 전달해줄 수 있다는 것이다.), 뇌에서 전극과 맞닿는 곳에 생기는 반흔으로 인한 부작용이 생길 위험이 있다. 시간이 지나면서 흉터 부위가 자연치유되거나 상처입으면서 신호가 약해지는 등의 문제가 생길 수 있었다. 이러한 부작용을 픽션에 도입, 반영한 것이 공각기동대에서 등장하는 '전뇌 경화증'이다.
삽입형 BCI는 사고로 시력을 잃은 사람에게 시각을 돌려주는 것[3]과, 전신마비 환자에게 스스로 조작할 수 있는 기계를 제공하는데 연구 초점을 맞추고 있다. 실제로 시술을 받은 사람 중에는 제한적이나마 시각 정보를 얻어 느릿한 속도로 자동차 운전이 가능한 수준까지 도달했다. 전신 마비 환자도 삽입형 BCI 시술을 받은 사례가 있다.
2015년 2월 17일, DARPA에서 인간의 뇌에 삽입하여 시각 피질에 이미지를 주입할 수 있는 칩을 개발 중이라고 발표하였다. 가격은 10달러 내외에 두께는 5센트짜리 동전 2장 두께의 앏은 수준으로 개발한다고.#
그리고 2016년 10월 14일, 뇌신경 삽입술로 촉각 신경을 재현해냈다.#
3.2. 부분적 삽입 BCI
부분적 삽입 BCI는 두개골 내부에 임플란트를 삽입하지만, 뇌의 회백질까지는 건드리지 않는 정도를 가리킨다. 주로 뇌의 전기적 활동의 '결과물'인 뇌파를 감지해서 읽어내는 뇌파 감지 방식의 BCI가 이 형태로 구현된다.
뇌파를 읽어내는 근본 원리는 비삽입형 BCI와 마찬가지로 뇌파 전위를 기록하여 해석하는 방식(EEG)과 같다. 다만 경뇌막 아래에 얇은 플라스틱 판을 심어 이를 통해 대뇌피질에 직접 전극을 접촉시켜 뇌파를 측정(Electrocorticography, ECoG)한다.
비삽입형에 비해 두개골에 의한 신호 반감이 적어 해상도가 높으며, 삽입형에 비해 뇌에 생기는 반흔 문제가 생기지 않는다.
3.3. 비삽입형 BCI
비삽입형 BCI는 신체에 인터페이스를 삽입하지 않는 방식이다. 부분적 삽입 BCI의 경우와 마찬가지로, 주로 뇌의 전기적 활동의 '결과물'인 뇌파를 감지해서 읽어내는 뇌파 감지 방식의 BCI가 이 형태로 구현된다.
현재 가장 유력한 방식은 뇌파 전위를 읽어내는 EEG(Electroencephalography) 단자를 두피에 붙여서 뇌파를 읽는 방식이다. 그리고 뇌자기를 읽는 Magnetoencephalography(MEG)와 functional magnetic resonance imaging(fMRI), 두뇌 뉴런이 흡수할 수 있는 미약한 주파수 대역인 ELF/SLF/ULF파를 이용하는 방식이 연구되고 있다.
EEG 단자는 이미 의료용으로 사용하던 장비이다. 이를 이용하여 비교적 저가 대역에서 상업화된 상태이다. 특히, 접속 효율을 높이기 위해 젤을 바른다든지 할 필요가 없는 건조식 EEG 단자가 나오면서 탄력을 받았다.
삽입형, 부분삽입형 BCI는 수술이 필요한 관계로 환자라면 몰라도 일반인에게는 가까이 가기 어렵다. 비삽입형 BCI는 일반인 대상으로 상업화하기 유리한 형태로, 장래가 유망한 분야다.
하지만 비삽입형에도 단점이 없는 것은 아닌데, 우선 비삽입형으로는 삽입형의 정밀도를 절대로 따라갈 수 없다. 또한 비삽입형으로는 신경 신호 감지 방식(직접 신경 접속 방식)의 BCI는 구현할 수 없어 정보의 입출력 중 입력에만 대응할 수 있고 출력에는 대응할 수 없기에 용도에 제한이 생길 수 있다는 것도 문제로, 사실 정밀도보다는 이쪽이 더 문제가 된다. 정밀도 면에서의 문제는 2010년대 시점의 기술로도 이미 실용적 레벨에서는 그다지 큰 문제가 되지 않을 정도로 적지 않은 개선이 이루어졌지만, 용도가 한정될 수 있다는 점은 신경 신호 감지 방식의 구현이 불가능하다는 시점에서 근본적으로 해소되기 힘들기 때문이다.
물론 다른 인터페이스 장치들을 보조하는 수단으로서 뇌파 감지 방식의 BCI를 활용하는 등의 방식으로 사용한다면 비삽입형도 충분히 쓸모가 있기 때문에, 상기한 기술적 단점에도 불구하고 상업적으로는 상당한 활용가치가 있다고 평가되고 있다. 사이보그 기술이나 몰입형 가상현실 같은 용도에 쓰이기에는 한계가 크지만, 컴퓨터나 모바일 기기의 조작과 같은 용도로는 그래도 유용하게 사용할 수 있기 때문이다. 또한 뇌파 감지 방식의 BCI가 지닌 한계인 정보의 출력에는 대응하지 못 한다는 점을 우회적으로 보완하기 위해서 사용자에게 감각을 전달하기 위한 다른 인터페이스 장치들을 병용하는 것도 가능하기는 하기 때문에, 이러한 방법을 통해서 사이보그 기술에도 제한적으로나마 비삽입형을 활용하는 등 용도에 제한이 생길 수 있다는 문제를 극복하기 위한 아이디어들이 여럿 고안되고 있으며 일부는 어느 정도 실용화되기도 하였다.
4. BCI 시스템 구성 요소
BCI의 본질은 '인간이 무엇을 하려고 생각하는지를 분석해서 그에 상응하는 결과를 이끌어내는 것'이다. 따라서 신경과학적으로 유의미한 신호를 얻어서 그 신호로 BCI를 구축한다. 일반적으로 뇌파가 가장 많이 쓰인다.[4] 왜냐하면 뇌파가 가장 저렴하고 이동성이 좋고 활발히 연구되고 사례가 많으며 응용하기도 쉽기 때문이다. 예를 들어 장비를 경량화하기 불가능하고 가격도 훨씬 비싼데다, 초전도체가 들어가기 때문에 추위를 동반하고 기계잡음이 많이 끼는[5] fMRI나 뇌자도를 가지고 연구용이 아닌 상용 BCI 시스템을 구축하는 건 현재의 기술로는 택도 없는 소리이다. 방사성 물질을 사용하는 PET은 말할 것도 없고.
하지만 뇌파 외에도 근적외선을 이용해 뇌의 혈류 변화를 측정하는 NIRS를 통해 신경신호를 처리하는 등 다양한 방법이 등장하고 있다. NIRS는 장비 소형 및 경량화가 뇌파기기에 버금가는 수준이라 그나마 가능한 것이다. 문제는 NIRS 시스템 구축하는 비용이 뇌파에 비해 높고 아직 연구 자료가 많이 축적되지 않았다는 정도.
아래에서는 뇌의 전기적 활동의 '결과물'인 뇌파를 감지해서 읽어내는 뇌파 감지 방식의 BCI를 예로 들어 BCI 시스템의 구성 요소에 대해 기술한다.
뇌파 감지 방식의 BCI 시스템은 뇌파 측정 기기를 통해 특정 상태의 뇌파 신호를 측정해 특이점이나 특징을 추출하고, 이을 분류해 일반적인 제어 신호로 변환해 컴퓨터나 기기 등을 제어하는 역할을 한다.
먼저 사용자의 머리 부분에 전극을 부착한 후 뇌파 데이터를 측정 기기를 이용해 측정한다. 측정된 뇌파 데이터는 AD 컨버터를 거쳐 디지털 신호로 전환되어 컴퓨터로 입력한다. 입력된 뇌파 데이터를 각종 알고리즘을 이용해 신호 처리를 한 후 이를 인식, 분류해 제어신호로 일반화시킨다. 최종 출력 신호는 컴퓨터, 게임기, 의료기기 등 각종 단말 기기에 응용되어 사용한다.
[image]
4.1. 신호 측정
신호측정 단계에서는 머리에 부착된 전극을 통해 뇌파를 측정한다.
실험 시에는 여러 주의가 필요하다. 사전에 장비의 샘플링 주파수, 이득(Gain)[6], 측정 채널 등을 설정해야 한다. 또 실험 참가자에게 실험에 대한 내용을 설명해, 뇌파측정 도중에 돌발적인 행동이 발생하는 것을 방지해야 한다. 한편 뇌파 측정 기기에서 아날로그 신호가 바로 나온다면 아날로그 신호를 디지털로 바꿔 주는 AD컨버터를 뇌파 측정기와 컴퓨터사이에 연결해 주어야 한다.
4.2. 전처리 및 형태 추출
전처리 과정에서는 잡파를 제거하고 분석에 필요한 신호를 분리한다.
비칩습형 방식으로 측정된 뇌파에는 필연적으로 여러 가지 잡음이 섞인다. 따라서 필터를 이용해 주변의 잡음을 걸러주고 미약한 뇌파 신호를 증폭해주어야 한다.
형태 추출 과정에서는 신호를 분류할 때 인식률을 높이기 위해 EEG측정 장치로 부터 들어온 뇌파 데이터의 정보를 변환한다.
데이터의 성분들 중에서 중요하거나 혹은 중요하지 않은 부분 사이를 명확하게 구분해 주는 단계다. 구별이 뚜렷하다고 생각되는 특징들은 전처리 되어 디지털화 된 뇌파 신호로 부터 추출된다.
4.3. 전환 알고리즘
전환 알고리즘은 각각의 뇌파 데이터가 어떤 집단에 속하는 지를 분류하는 알고리즘이다. 이 알고리즘을 통해 여러 뇌파 모델을 비교해 클래스를 구분한다. 보통 BCI 시스템에서는 2~5개의 클래스를 학습시키는데 하나하나의 뇌파 데이터를 분류기를 통해 각각의 클래스로 분류된다. 분류 방법으로는 비교적 간단한 선형 판별 분석법에서부터 복잡한 비선형 인공신경망 등을 사용한다.
4.4. 응용 단계
분류기를 거쳐 최종적으로 나온 출력은 컴퓨터, 스마트 폰, 헬스케어기기 등의 단말 제어를 위한 명령어로 바뀌어 사용한다. 예를 들어, 컴퓨터 화면의 커서를 움직이거나 가전 기기의 On/Off 기능을 선택하거나 게임기 조작 등에 활용할 수 있다.
5. 사례 및 향후 전망
5.1. BCI 기술 적용 사례
이외에도 모바일 애플리케이션, 장난감 완구, 인터랙티브 영상 콘텐츠 등에도 활용 가능하다.
5.1.1. 헤드셋 형 BCI 상용 기기
기존 실험에 이용되었던 BCI 측정 장비나 뉴러피드백 관련 장비는 비교적 정교하고 정확한 측정이 가능하다는 장점이 있지만, 가격이 비싸고 부피가 너무 커서 개인용 장비로 실용화하기에는 한계가 있었으며, 그에 대응하여 최근에는 미국의 NeuroSky, OCZ Technology, 호주의 Emotiv 社에서 헤드셋 형태의 BCI 측정 장치를 비교적 저렴한 가격으로 출시하였다.
[image]
- NeuroSky : 미국의 뉴로 감지기 전문 기업인 NeuroSky에서 출시한 Mindwave는 뇌파 감지 센서의 개수를 세 개로 축소해 경량화함. 알파파와 베타파를 측정해 집중, 편안함, 졸림, 흥분 등의 감정 상태를 측정할 수 있다. 99달러의 가격으로 해당 기기들 중에서는 가장 저렴한 축에 속한다. 블루투스 접속을 지원하지만 음성 헤드셋 기능을 사용하기 위해서는 USB 연결을 해야 하는 것으로 알려졌으며, 감지 센서가 단일 채널만을 측정해 정확한 뇌파 측정이 힘들고결과 값의 신뢰도가 낮다는 단점이 있다. 또한 '마인드플렉스'(2009년)라는, 정신으로 공을 조종해서 미로를 빠져나가는 제품과 '스타워즈 포스 트레이너'(2009년)라는 제품을 시판했다. 특히 포스 트레이너는 스타워즈를 등에 업고 상업적으로 성공했다. 루크 스카이워커가 포스 훈련을 할때 쓰이던 것과 비슷한 공의 영상을 띄우고 정신을 집중하면 그 공을 들어올릴 수 있다. Mindwave2가 IQ160이라는 이름으로 한국에 정식 수입되었다, 가격은 198,500원(관련 기사http://techm.kr/bbs/board.php?bo_table=article&wr_id=5726)
- Neurowear : 'necomimi'(2011년)라는 제품이 유명하다. 명칭은 네코미미를 뜻하는 nekomimi에서 k를 c로 바꾼 제품. 머리에 쓰는 고양이귀 머리띠로, 뇌파를 읽어 저절로 움직인다. 제품에 사용한 EEG 부품 자체는 뉴로스카이에서 만든 것이다.
- Emotiv : 호주의 Emotiv에서 출시한 Epoc은 16개의 센서가 부착되어 있어 뇌파 감지를 통해 긴장, 편안함, 흥분, 혼란스러움 등의 상태를 파악함. 또한 눈 깜빡임이나 윙크, 시선, 눈썹 움직임, 주름, 인상, 미소 등 표정의 변화도 감지 가능하다. 기기 내에 2축의 자이로(Gyro) 센서가 내장되어 있어 머리의 움직임이나 방향 인식도 가능하며, 인간이 행동할 때 발생하는 뇌파 전압의 변화를 감지해 밀기, 당기기, 들어올리기 등에 대한 감지도 가능하다. 그러나 가격이 300달러로 고가라는 게 단점으로 꼽힌다. 6축이동+6가지 회전+사라짐=13가지 의식적 집중에 의한 움직임, 얼굴 표정, 그리고 머리의 움직임[7] 기능이 붙어있어서, SDK 개발만 해주면 윈도우 PC 기반의 와이어리스 컨트롤러로 사용할 수 있다. 게임에도 쓸 수 있다고 한다. 가격은 300달러 대. Epoc는 TED 강연에서도 선보인 바가 있다.
- g.tec : IntendiX이라는 문자 타이핑 가능한 최초의 EEG 기반 상용 제품을 출시하였다.[8] EEG 모자를 쓰고 화상 키보드에서 특정 문자에 집중하면 문자에서 빛이 깜빡이고 이걸 입력 확인으로 정신집중해서 타이핑하는 형식이다. 숙련되면 1초에 1문자 입력 가능하다고 한다. 전신마비 환자를 위한 제품으로 소개되었으며 가격은 1.2만 달러 대로 좀 비싸지만, 외부 출력 체계만 잡아주면 스마트폰이나 TV 같은 다른 장비에도 쓸 수 있고, WoW 같은 게임에도 적용할 수 있다고 한다.
- NIA: 미국의 OCZ Technology에서 개발한 NIA는 헤드밴드 형태를 띠고 있으며, 뇌파를 통해 얼굴 근육 움직임을 통한 표정 변화와 안구 움직임을 통한 좌우 시선 변화를 감지한다.
5.1.2. BCI 게임
최근 BCI를 게임 인터페이스로 활용하려는 연구와 상용화 시도가 활발히 진행되고 있다. 게임의 초기 인터페이스는 조이스틱, 조이패드 형태였다가 Nintendo의 콘솔게임기 Wii가 모션 컨트롤러를 차용하면서 게임 인터페이스의 본격적인 진화가 시작되었다. 이후 현재는 PlayStation 3의 Move와 Xbox 360의 Kinect에 이르기까지 인간의 움직임을 인식해 게임 조작에 사용하는 모션 컨트롤러의 대중화 시대가 열렸고 BCI는 현재 기술적으로 초기 단계에 있으며, 어린이의 집중력 강화 및 노인을 위한 치매 예방, 정신 이완 훈련과 같은 기능성 게임에 적극적으로 활용될 것으로 기대된다. 이와 같은 기능성 게임으로서 BCI 기술의 의의는 최근 불거지고 있는 게임의 유해성 논란을 극복할 수 있는 사례로, 게임 산업에 긍정적인 기여를 할 수 있을 것으로 보인다.
(1) MindBalance
마인드밸런스(MindBalance)는 University College Dublin과 MediaLabEurope의 연구자들이 공동으로 제작한 BCI를 이용한 비디오 게임이다. 이 게임에서는 가상 현실 게임 속의 3D 아바타 캐릭터의 움직임을 BCI로 제어하게 된다. Figure 7의 화면에서 보이는 바와 같이 고릴라 모양의 아바타가 외줄을 타며 균형을 잡는 형태의 게임이다.
이 게임은 SSVEP를 이용해 고릴라의 움직임을 컨트롤하는 방식인데 SSVEP의 특정한 주파수에서 시각적 자극에 자연적으로 반응해 발생하는 신호들로시각적 자극의 주파수가 다르면 그 때 뇌에서 발생하는 신호들도 실시간으로 다르다는 점을 활용하여 고릴라 아바타의 양 쪽에는 패턴이 다른 형태의 체크무늬가 있는데, 오른쪽 체크무늬를 보면 고릴라가 오른쪽으로 균형을 잡고 왼쪽 체크무늬를 보면 왼쪽으로 균형을 잡는 식의 컨트롤이다.
6명의 실험자가 게임을 진행해 본 결과, 48번의 게임 플레이 중에서 41번을 성공시킬 정도로 정확한 결과를 보였다고 한다. 또한 실험자들이 보인 실시간 컨트롤의 정확도는 89퍼센트에 이르는 것으로 나타나, BCI가 실시간 게임 컨트롤로 활용될 수 있는 가능성을 증명하였다고 한다.
[image]
(2) Smart Brain Games
스마트 브레인 게임은 미국의 Cyber Learning Technology사에서 개발한 BCI 컨트롤 시스템. 사용자는 세 개의 센서가 달린 헬멧을 착용해 게임을 플레이하며,게임 콘솔과 연결되어 있는 스마트 박스라는 장치를 통해 사용자의 뇌파를 수집, 분석한 후 이를 이용해 게임을 제어한다.
이 시스템은 기존에 출시된 게임들을 지원하며, 컨트롤러 중에서도 전후좌우 방향키가 아닌 특정 버튼의 입력을 BCI로 대체하는 수준이라는 점에 한계가 있다.
PlayStation One, PlayStation 2, Xbox 콘솔 게임기(Xbox 360이 아닌 구형 Xbox)를 지원하며, 635달러(Xbox)에서 620달러(PS2)의 판매가를 보이고 있다.
[image]
(3) Mindball
마인드볼(Mindball)은 스웨덴의 Interactive Productline사에서 개발한 BCI 게임으로, 두 명의 유저가 작은 공이 들어 있는 투명관이 놓인 테이블의 양 끝에 앉아 게임을 플레이를 한다.
이 게임의 경기 규칙은 공을 자신에게서 멀리 밀어내 상대방 쪽으로 보내면 승리하는 방식으로 플레이어는 뇌파를 감지할 수 있는 전극이 부착된 헤드밴드를 착용, 경기 중에 신체적 정신적으로 안정적인 상태를 유지할수록 공이 상대방 쪽으로 이동하게 된다.
이 게임은 보통의 일반적인 게임들이 보다 더 흥분한 상태에서 경쟁해야만 이길 수 있다는 기존의 규칙을 깨고, 더 안정적으로 이완된 상태를 만들어야 승리한다는 역발상을 취하였고 개발사는 이 게임을 통해 플레이어가 신체적 정신적으로 안정적인 상태를 취하거나 이완시키는 방법을 훈련할 수 있고, 이는 플레이어의 정신적, 신체적 건강을 향상시키는 데 도움이 된다고 홍보하고 있다.
5.2. BCI 기술 연구 동향
5.2.1. 기존의 선행 연구 사례
호주 시드니의 University of Tech에서는 신체장애 극복과 미래 주택 이용을 목적으로 Mind Switch 연구를 진행. 정상인이 눈을 감고 안정된 상태를 유지하면 알파파가 출현하고 눈을 뜨면 알파파가 감소하는 원리를 이용, 전기 기구의 스위치를 끄고 켜는 실험을 진행하였다.
일본의 뇌기능 연구소에서는 감성 인터페이스의 개발 목적으로 긍정/부정 의사 구별에 대한 연구를 진행하였으며, 뇌파 유도 방식으로 ‘예’일 경우에는 왼쪽 귀에, ‘아니오’일 경우에는 오른쪽 귀에 의식을 집중해 긍정/부정 의사를 구별한다고 한다.
미국의 벤처 기업인 IBVA에서는 가상현실에 대한 응용을 목적으로 바이오피드백(Biofeedback)에 대한 연구를 진행하였으며, 뇌파를 컴퓨터 게임에 응용, 자동차경주게임에서 방향은 조이스틱으로, 속도를 뇌파로 조정한다 한다.
1999년 독일의 튀빙겐 대학에서는 SCP(Slow Cortical Potential)를 이용한 장애인용 워드프로세서를 개발, 화면에 나타나는 상하 2개의 문자 중 하나를 계속 선택함으로써 최종적으로 한 문자를 선택하는 방식. 분당 두 문자의 타이핑 속도를 보였다.
미국 일리노이 대학의 Donchin 교수 팀에서는 ERP를 활용한 장애인용 워드 입력 인터페이스를 연구하여 특정 자극에 대한 반복적인 연습을 통해 평균값을 추출하게 되면 ERP를 통한 BCI 컨트롤이 가능하다 한다. Figure 4의 오른쪽과 같은 문자행렬이 주어지고 피험자는 ERP 활성화를 통해 수직, 수평 방향으로 한 줄 씩 문자를 선택해 특정 문자를 입력하는 방식이다.
[image]
미국의 Salk 연구소와 Naval Health Research Center는 공동으로 뇌파를 통해 각성수준을 측측정해 어느 수준 이하로 떨어지면 적절한 경고를 내보내는 휴대형 실시간 각성 모니터링 시스템을 연구 중이다.
이 기술은 트럭 운전수, 항공기 조종사 등의 각성 수준을 모니터링해 졸음운전이나 긴급상황에 대처하는 시스템으로 활용 가능하다.
미국 듀크대의 니콜렐리스 박사 팀은 원숭이의 뇌에 전극을 삽입해 팔의 움직임과 관련된 신호를 포착, 로봇 팔을 움직이는 데 성공했다. 이 실험 결과는 학술지 네이처에 발표되었다.
[image]
뉴욕 주립대의 Wolpaw 교수 연구 그룹은 뇌파를 이용한 모니터 상의 커서 제어를 연구 동작을 행하거나 상상할 때 감소하는 뮤파를 이용해 모니터 상의 커서를 좌우로 움직이는 실험을 진행하였다. 다만 이 방식은 피험자의 오랜 훈련이 필요하다는 단점이 존재한다 한다.
5.2.2. 최근 연구 동향
과거의 선행 연구들이 주로 장애인용 인터페이스 개발이나 뇌파의 기본적인 처리 및 인터페이스 활용에 중점이 맞춰졌다면 최근에는 보다 실용적이고 상업적인 용도의 연구들이 진행 중이다. 언급된 것 외에도 이미지 파악 분류, 가상현실에서의 조작, 뉴러페드백 등의 접근이 있다.
5.2.2.1. 주의 집중 감시 연구
주의 집중 감시 연구는 장시간 주의 집중이 필요한 직종[9]의 종사자들에게 활용될 수 있다. BCI를 통해 이들의 각성 정도를 파악해 휴식을 권고하거나 경고하는 장치를 트럭, 비행기, 공항시설 등에 설치해 활용 가능하다. 메르세데스-벤츠에서는 Mind-Lab 프로젝트를 통해 운전자의 상태를 모니터링, 졸음운전을 할 경우 이를 감지해 알려주는 시스템에 대한 연구를 진행했다.
5.3. 향후 전망 및 이슈
현존하는 어느 제품이건 사용하려면 훈련과 숙련이 필요하다. HMD 형태의 VR 플랫폼이 대두된 2016년 현 시점에서는 생각을 즉시 입력할 정도로 구체적이지는 않으며, 반응성도 느린, 비싼 장난감에 지나지 않는 수준.
하지만 데이터가 충분히 쌓이면, 컨트롤러의 보조를 할 수 있을 정도의 영역까지는 올라갈 것으로 보인다.
2017년 3월 27일, 일론 머스크가 뉴럴링크라는 BCI 관련 기업을 설립하였다. 자세한 정보는 뉴럴링크 문서 참조.
https://www.wsj.com/articles/elon-musk-launches-neuralink-to-connect-brains-with-computers-1490642652
https://www.technologynetworks.com/neuroscience/articles/merging-with-machines-a-look-at-emerging-neuroscience-technologies-324859
2020년 10월 18일, 제프 킬리와 필 스펜서가 주관한 디스코드 모임에 참여한 게이브 뉴웰의 인터뷰에 따르면, 밸브의 신작 하프라이프: 알릭스의 개발 이후 꺼지지 않은 개발 의욕으로 여러 차기 VR 타이틀을 개발 중이며, 이에 그치지 않고 뇌-컴퓨터 인터페이스, 즉 BCI에 매우 많은 관심을 보이는 중이라고 한다. 밸브 본사와 분리된 독립적인 BCI 연구 부서도 세울 예정이라고.
2021년 1월 25일, 게이브 뉴웰의 새 인터뷰가 올라왔다. 번역
5.4. 부정적 이용 우려
BCI 기술이 논의된 그 시점부터 나왔던 얘깃거리다. 2017년 뇌 정보를 노출시키는 해킹 기법이 나왔다. 개인정보나 기억을 강제로 유출하는 등 악용될 소지가 충분하다.
그 외에 공상과학 수준까지 가면 전파 등을 이용하여 뇌를 과부하시키거나 뇌를 조종할 위험을 고민하기도 한다.
6. 제품 목록
7. 참조
KOCCA 한국 콘텐츠 진흥원 BCI 기술 동향을 참고하였다.
8. 픽션 속의 BCI 기기
실제 BCI가 1970년대 등장하기 전에 통 속의 뇌 같은 식으로 SF에서 예측부터 시작했다.
의족, 의수 등에서 연장된 의체, 즉 설계된 인공 몸에 감각을 부여하거나 기존 생체 기관과는 완전히 다르게 작용하는 인공 피부를 만들어내는 것도 소설 등지에서는 나타나고 있다.
사이버펑크 작품에서는 필수요소급으로 거의 다 등장하며, 스페이스 오페라 작품에서도 간간히 등장한다. 테크노 스릴러 작품에서도 근미래 배경의 작품의 경우에는 등장하는 사례가 일부 있다. 거대로봇물에서도 많이 등장하는 편으로, 특히 사이버펑크 요소가 포함된 작품에서 자주 등장한다.
- 공각기동대 - 전뇌
- 가면라이더 제로원 - 자이아 스펙
- 기동전사 건담 시리즈
- 우주세기
- 우주세기 작품 전반 공통 - 사이코뮤, 준 사이코뮤, 바이오센서, 사이코 프레임
- 기동전사 건담 썬더볼트 - 리유즈 P 디바이스
- 기동전사 건담 UC - 인텐션 오토매틱 시스템
- 비우주세기
- 우주세기
- 기동전함 나데시코 - IFS
- 뉴로맨서 - 사이버스페이스 데크. BCI를 묘사한 최초의 소설이다.
- 매트릭스
- 마크로스 시리즈 - BDI 시스템. YF-21, VF-22, VF-27 등에 탑재된 BCI 시스템.
- 발드 포스, 발드 스카이 - 두뇌칩
- 배틀테크 - 뉴로헬멧, 신경망 직결 인터페이스(Direct Neural Interface, DNI), 증강심상(Enhanced Imaging)
- 사이버펑크 2020 - 뉴럴웨어: 사이버모뎀, 인터페이스 플러그, 리플렉스 부스터
- 사이버펑크 2077 - 샤드(두뇌 인터페이스에 장착하는 칩)
- 섀도우런 - 데이터잭, 컨트롤 리그, 일렉트로드, ASIST 인터페이스와 파생품: 사이버덱, 스마트건, 심센스
- 소드 아트 온라인 - 너브기어, 어뮤스피어, 메디큐보이드, 오그마, 소울 트랜슬레이터
- 시드 마이어의 알파 센타우리 - 정신-기계 인터페이스(Mind-Machine Interface, MMI)
- 에이스 컴뱃 시리즈 - ENSI(Electro Neuron Synapse Interface) 시스템. COFFIN과 연동되어 사용되는 BCI 시스템으로 에이스 컴뱃 3에서 등장한다.
- 액셀 월드 - 뉴로링커, 브레인 임플란트 칩
- 창궁의 파프너 시리즈 - 니벨룽겐 시스템
- 신세기 에반게리온 - A10 신경 접속. 에바 파일럿이 에반게리온을 조종할 때는 반드시 인터페이스 헤드셋을 착용하는데, 바로 이것 때문이다.
- 슈퍼로봇대전 시리즈 - 다이렉트 피드백 시스템(Direct Feedback System, DFS)[11], T-LINK 시스템, APT-LINK 시스템
- 초전자로보 콤바트라V - 콤바트라V: 머신을 파일럿의 뇌파로 조종할 수 있다.
- 파프리카 - DC미니
- 프론트 미션 시리즈 - S형 디바이스
- 콜 오브 듀티: 블랙 옵스 3 - DNI
- 노인의 전쟁 - 뇌 도우미. 우주개척방위군 소속 장병들의 신체에 기본적으로 이식된 BCI 장치이다.
- 아머드 코어 시리즈 - AMS
- 헤일로 시리즈 - 신경 인터페이스(Neural Interface). 스파르탄과 ODST, 전투조종사 등을 비롯한 UNSC(국제연합 우주사령부)의 모든 소속 장병들의 신체에 이식된 BCI 장치이다. 이 시스템 덕분에 UNSC 소속 장병들은 조종 방법만 알고 있다면 이론상으로는 UNSC가 운용하는 모든 종류의 탈것들을 조종할 수 있다고 한다. 함선의 함장과 같은 지휘관들이 사용하는 것은 명령 신경 인터페이스(Command Neural Interface)라고 불리며, 스파르탄이 사용하는 신경 인터페이스도 이것을 발전시킨 것이다.
- 극장판 또봇 : 로봇군단의 습격 - MM 레이버
9. 관련 문서
[1] 또한 사이보그 및 사이버네틱스와의 연관성 덕분에 트랜스휴머니즘과도 깊숙하게 연관되어 있기도 하다.[2] 두개골과 감각신경(시신경, 후각 신경, 촉각 신경, 청각 신경 등등)이 뇌를 외부 자극에 무작위적으로 노출시키지 않고 생존에 필요한 자극만 받아들이도록 있는 거 외에 다른 목적이 있겠는가?[3] 현대의 의학으로는 시신경을 제대로 다룰 수 없기 때문에, 차라리 시각 신호를 뇌에 바로 주입하는 것이다.[4] 뇌파의 특징과 구분에 대해서는 해당 문서 참조.[5] 그렇기 때문에 사용자의 집중이 흐트러지기 쉽다.[6] 입력 또는 입력강도라고도 할 수 있음.[7] EEG가 아닌 자이로를 이용한 헤드 트랙킹[8] 발표 2009~2010년[9] 항공기 조종사, 화물차 기사, 공항의 보안 모니터링 요원 등.[10] 뇌가 아닌 척수에 장착.[11] 소울게인과 바이사가에 탑재된 BCI 시스템.