Face ID
1. 개요
iPhone X 이후 출시된 iPhone[2]과 iPad[3]에서 사용되는 얼굴 인식을 이용한 보안 기술. 간단히 설명하자면 iPhone과 iPad의 다양한 센서가 Secure Enclave에 등록되어 있던 사용자의 얼굴 데이터와 현재 인식되고 있는 얼굴과 대조해 즉시 사용자를 인식하는 시스템이다.
2. 구조 및 원리
우선 도트 프로젝터로 보이지 않는 3만 개의 점을 사용자의 얼굴에 투사해 사용자의 특징적인 얼굴 패턴을 매핑한 다음 수학적으로 변화시켜 Secure Enclave에 저장하고 이를 Neural Engine으로 분석한다. 이 덕분에 외모[4]가 바뀌어도 인식에 실패하지 않으며 얼굴을 인식할 때는 적외선 일루미네이터[5]와 TrueDepth 카메라로 데이터와 대조해 얼굴을 식별한다. 단순한 카메라 촬영이 아닌 적외선 일루미네이터를 사용하는 만큼 어두운 곳에서 더 인식률이 높으며 평면이 아니라 얼굴의 곡면을 스캔하기 때문에 사진으로는 무력화되지 않는다. 이 방법은 바로 초기형 키넥트가 쓰던 방식으로 Apple이 키넥트 성공 이후 아예 원천기술을 가진 회사를 인수해 버렸기 때문에 가능했다.
3. 신뢰성 및 장단점
iPhone X 문서에도 나와 있듯 초창기에는 신뢰성에 대한 의견이 분분했다. Apple 측에서 iPhone X으로 Face ID를 시연할 당시에 제대로 시연하지 못하고 PIN을 입력하라는 창이 뜨는 해프닝이 있었고 바로 백업 기기에서 다시 시연하는 모습을 보였기 때문이다. 위 해프닝에 관해 Apple은 로그 확인 결과 'Face ID에 등록하지 않은 다른 직원들을 리허설 때 iPhone X이 계속 인식하려 한 바람에 PIN 화면으로 넘어간 것이다'라고 해명했다. 그러나 이게 의외의 장점이 되는 경우도 있는데 iPhone이 압수된 상황에서 다른 사람이 잠금 해제를 하기 위해서 iPhone을 몇번 쳐다보기만 해도 Face ID 인증이 비활성화되어버리기 때문에 일부 수사 기관은 Face ID를 탑재한 장치는 쳐다보지도 말라는 지시를 하고 있다. #
실제 핸즈온이나 실제품을 받고 리뷰한 해외의 언론사들에 의하면 '매우 빠르며 정확하다'는 평이 지배적이다. 오히려 Touch ID보다 좋은 부분도 보여서 Touch ID를 후면이나 잠금 버튼에 넣지 않고[6] 제거한 게 이해가 간다는 의견도 드물지 않게 보인다. 기존에 있던 보안 시스템의 질이 떨어져 다른 보안 시스템을 추가적으로 넣으려는 기타 스마트폰 업체에 비해 Apple이 잘나가던 Touch ID를 완전히 빼버린 것을 볼 때 Face ID가 Touch ID를 완전히 대체할 수 있을 만큼 질이 좋다고 생각했을 가능성이 높다.
쌍둥이가 Face ID를 통과하는 것이 가능하다는 영상이 올라왔다 #.
결국 한 보안 업체가 Face ID를 성공적으로 뚫어냈다.# 3D 프린팅으로 뽑은 마스크 프레임에 눈은 사진으로 처리했다고 한다. 이 마스크를 제작하는 데 든 비용은 단돈 150달러. 그런데 영상이 처음 설정 과정부터 보여 주지 않아서, 신뢰성이 부족하다. 실제로 위의 실험의 경우처럼 가짜 얼굴로 여러 번 비밀번호를 입력시켜 학습시켰을 가능성이 있기 때문. 일단 위 보안 업체의 QnA에서는 학습 과정을 거치지 않았다고 설명하고 있다.#
가족이나 친척이 아닌 동료의 얼굴에도 풀려버린 잠금 때문에 두 번이나 제품을 교환 받은 사람이 등장했다. 처음 교환받은 제품에서마저 동일한 문제가 발생해 또 새 제품으로 교환 받은 사례.# 이에 Apple은 Face ID의 인식 오류 문제가 걱정된다면 기존 비밀번호 잠금을 사용하라고 권고했다.
사실 Touch ID 역시 발매된 지 얼마 가지 않아 복제 지문으로 통과된 바가 있다. # 보안이 완벽하지 않다는 건 다소 실망스러울 수 있지만, 그렇다고 해서 보안팀과 같은 전문가들에게 Face ID나 Touch ID가 뚫렸다고 해서 그 존재가 의미 없는 것은 아니다. Touch ID나 Face ID나 보안을 뚫기엔 번거로운 과정을 거쳐야 하고 지식과 도구와 최소한 사진이나 지문 흔적 등의 준비까지 필요하며 다른 곳에 보안 뚫기를 의뢰하기에도 도둑 입장에서는 곤란할 수밖에 없다 보니 보안이 완벽하지 않아도 도난 감소에는 큰 도움이 된다. 실제 Touch ID 도입 이후 iPhone 도난율이 도시에 따라 25%에서 50%까지 감소했다는 조사 결과도 있다. Find My iPhone 기능과 겹쳐져서 자칫하다간 역으로 도둑이 발목 잡힐 수 있는 위험성도 있기 때문. 뚫렸다고 크게 불안해할 필요까지는 없다.
Touch ID와 마찬가지로 Face ID 카메라와 Logic Board가 고유 번호로 1:1 매칭되기 때문에 로직보드나 Face ID 카메라 중 하나만 교체한다면 Face ID 기능이 작동하지 않는다. 해당 적외선 카메라가 손상되었을 경우 일반적으로 개인이나 사설 수리점 단위에서 Face ID 기능을 되살리는 건 어지간해선 힘들다.
3.1. 장점
- Touch ID는 손에 이물질이 묻거나 땀이 있으면 인식률이 급격하게 떨어지지만 Face ID는 얼굴 형태만 변형되지 않으면 잠금이 해제되며 일반적인 카메라 얼굴인식이나 홍채인식 방식보다 잠금 해제 속도와 인식률 모두 훨씬 우수하다. 직업이나 체질, 질병[7] 등의 문제로 지문이 흐릿하거나, 손에 상처가 자주 나거나, 손 끝의 껍질이 자주 벗겨지는 사람이라면 Touch ID를 사용하기 어려운데 이러한 사람들에게는 Face ID가 압도적으로 편리하다.
- Touch ID는 처음 등록할 때 손을 매우 많이 뗐다가 다시 데었다가 하여 데이터를 입력해야 하며 제대로 등록하지 못한 지문의 부분이 있으면 그 부분으로는 잠금해제가 되지 않지만 Face ID는 그냥 등록할 때 얼굴을 한 바퀴씩 두 번 돌리면 등록이 완료되니 초기 설정이 훨씬 간편하고 등록되지 않을 부분이 없다.
- 사용자가 수염을 기르든 각양각색의 안경이나 선글라스를 쓰든, 머리 스타일을 바꾸든, 모자를 쓰든, 마스크를 쓰든, 화장을 하거나 안하든 머신 러닝을 통해 이를 인식하고 데이터를 업데이트한다.
- 알람 등을 보고 싶을 땐 Face ID로 잠금을 해제하면 그룹화된 알림이 그룹 해제되며 그동안의 알림의 내용을 볼 수 있다. 인식되지 않을 경우 알림의 내용은 공개되지 않는다. 자세한 내용은 후술.
- Face ID의 기능보다는 TrueDepth 카메라의 기능인데 사용자의 눈을 인식하여 화면을 보고 있는지를 판독한다. 화면을 보고 있다면 화면을 끄지 않으며 전화나 알림이 올 때 사용자가 봤다면 굳이 크게 알릴 필요가 없다는 생각에 소리 크기를 줄이는 센스도 보인다. 이를 이용해 Face ID 이용시 시선이 iPhone에 머물러있지 않다면 잠금을 해제시키지 않게 할 수 있다.[8] 이게 얼마나 정확하냐면 폰을 옆에 두고 알림이 와서 화면이 켜졌을 때는 잠김 상태인데 시선만 아이폰으로 돌리면 잠금이 해제되어 알림을 읽을 수 있을 정도.
- 앱에 로그인하거나 이체할 때 손을 갖다 대지 않고 바로 인식이 되어 Touch ID보다 간편한 경우가 있다. 단 구독, 앱 결제나 Apple Pay와 같이 중요한 결제 같은 경우 전원 버튼 두 번을 눌러 진행한다.
- 머신러닝 기술을 사용하여 사용할수록 인식률이 높아지며 빨라진다. 약 6주 정도 사용하면 인식률의 최대치에 도달하며 일부 불가능한 상황을 제외한 거의 모든 상황에서 실패 없이 인식한다.[9]
3.2. 단점
- 땀이나 이물질이 묻지 않는 한 손가락만 홈 버튼에 갖대 대면 잠금 해제되는 Touch ID와는 달리 인식이 안 되는 경우의 수가 있다. 예를 들면 마스크나 큰 모자를 착용해 안면의 상당 부분을 가리거나, 과도한 표정을 지어 얼굴 형태를 심하게 변화시킬 경우 옆으로 누워 있거나 해서 얼굴이 많이 일그러지거나 가려질 경우에는 인식률이 급격히 저하된다. 위와 같은 경우는 비밀번호를 계속 입력해 계속 얼굴 데이터를 보강하면 저런 상황에서도 인식률이 점차 개선되며 대체 외모를 등록할 수 있기 때문에 마스크를 자주 착용한다면 마스크를 쓴 채로 대체 외모를 등록하여 해결할 수 있지만 마스크를 쓴 채로 외모 등록 자체가 쉽지 않기도 하고 등록했다 하더라도 마스크의 위치가 항상 일정하지 않아서 인식률이 떨어진다. 특히 2020년 코로나바이러스감염증-19 사태로 전 세계가 마스크를 쓰게 되면서 문제가 커졌는데, iPhone X 이상 유저들이 가장 불편해하는 게 Face ID가 수시로 비활성화된다는 점이다. 그러나 iOS 13.5 업데이트로 Face ID에 마스크 인식 기능이 추가되어 입력창에서 마스크를 쓰고 있는 얼굴로 인해 인식이 되지 않을 경우 비밀번호 입력창이 즉시 뜨도록 바뀌었다.[10][11] iOS 14.5에서 페어링된 Apple Watch를 착용하고 있다면 마스크를 쓰고 있더라도 Face ID가 해제되도록 패치되었다. [12]
- iPhone을 가로로 들고 있거나 얼굴이 센서에 인식되는 각도를 너무 벗어나거나 너무 가깝거나 멀면 인식이 되지 않는다. 가로로 들 때 잠금 해제가 되지 않는 것은 iPad에서 해결되었지만 iPhone에 추가된다는 마땅한 루머도 없다.
- 잠금해제를 위해서 반드시 폰을 들어올려야 하는 단점이 있다. 예를 들어, 회사 책상에 폰을 놓아두고 일하는 사람이나 폰을 책상에 놓고 수업을 듣는 학생의 경우 카톡이나 문자 알림이 왔을 때 Touch ID는 등록된 손만 살짝 갖다대면 잠금해제가 되어 내용을 쉽게 확인할 수 있지만 Face ID는 어쨌든 폰을 들어 얼굴쪽으로 가져와야 잠금해제가 되기 때문에 다른 사람 눈에 띄지 않게 잠금해제를 하는 것이 어렵다.
- 인식 기회를 5번이나 주는 Touch ID와 다르게 Face ID는 앱에서 사용할 때는 인식 기회를 2번밖에 주지 않는다. 재인증 버튼이 있는 앱은 터치해서 5번까지 늘릴 수 있으나 그러지 않은 앱들은 앱을 종료 후 재시작하는 수밖에 없다.
- iPhone X 이후 쭉 논쟁의 중심인 노치 디자인이 유지되고 있는 가장 큰 이유이다. 타 제조사의 경우 이미 카메라를 제외한 모든 센서를 디스플레이 아래에 탑재하는 데 성공해 물방울(티어드롭) 노치, 펀치홀 디스플레이와 같이 카메라를 제외한 전면의 모든 부분을 디스플레이로 채우는 디자인을 구현했으나, iPhone의 노치 크기는 X부터 12까지 4년간 전혀 줄어들지 않았다. 이것은 Face ID의 정확도를 위해 각종 센서가 노치영역에 자리잡고있기 때문이다. 타 제조사도 얼굴인식을 지원하지만 전면카메라로만 인식하는경우가 많아 센서가 부족하여 어두운곳에서는 잘 인식이 안된다든지 하는 문제점이 나타난다. 그러나 삼성같은 제조사들은 초음파, 광학식 지문인식 같이 대체인증방식을 탑재해두었기 때문에 얼굴인식의 정확도가 크게 문제되지않지만 생체인증이 Face ID밖에 없는 아이폰은 정확도가 무엇보다 중요하기때문에 많은 센서를 탑재해야만했고, 그것이 역으로 시대를 역행하는 노치 디자인을 유지할수밖에 없게끔 만들고있다. 그러나 무조건 단점이라 볼 수 없는것이 이를 이용해서 독자적인 아이덴티티를 형성할수도 있다.[13]
- 하품을 하는 등 입을 벌리고 있거나, 지나치게 격렬한 신체활동을 한 이후에는 인식이 잘 되지 않는다.
4. 논란 및 문제점
5. 기타
- 기본적으로 Touch ID와 같이 연속적으로 5번의 Face ID 인증이 가능하다. 5번 동안 인증이 실패하면 Face ID는 비활성화되고 PIN을 통해서만 재활성화가 가능하다. 단 Touch ID와 달리 다른 앱에서 사용할 때는 두 번만 인증이 실패하면 비밀번호 화면으로 넘어가게 되는데 이때는 다시 인증 화면을 불러오면 5번까지 늘릴 수 있다.
- 얼굴을 인식하고 나서 바로 잠금 해제가 되어 홈 화면으로 진입하는 것이 아니다. 인식이 성공되면 시계 위의 자물쇠가 풀리는 애니메이션을 볼 수 있는데 이때 '홈 바'를 밑에서 위로 스와이프 해야한다. 딱히 이 순서를 지켜야 하는 것은 아니고 얼굴 인식의 속도도 상당히 빠른지라 기기를 바라보며 기기를 탭하거나 들어올려 화면을 켜자마자 스와이프하면 마치 보안 수단이 없는 '밀어서 잠금해제'를 하는 것처럼 원모션으로 진행할 수 있다.
- 인식률을 향상시키는 팁으로는 무조건 iPhone이나 iPad를 얼굴의 높이에서 등록하지 말고 평소에 사용하는 위치에서 등록하면 인식이 실패하는 경우는 획기적으로 줄어든다.
- 누군가가 사용자의 기기에 강제로 접근하려고 사용자의 얼굴에 기기를 갖다대려 하면 간단히 눈을 감으면 된다. 즉 사용자의 수면 도중에는 잠금 해제가 되지 않는다는 의미다. 다만 '설정 → Face ID 및 암호 → Face ID 사용 시 화면 주시 필요'나 '설정 → 접근성 → Face ID → Face ID 사용 시 화면 주시 필요'가 활성화 되어 있어야 하며, 기본으로 활성화 되어있다.
- 사진, 가면이나 마스크에 무력화되지 않는다. 사진은 적외선 센서가 인식을 못 하며 가면은 Face ID의 보안을 뚫을 수 있을 만큼 정교하지 않다.
- '설정 → 알림 → 미리보기 표시'에서 잠금 화면의 알림을 어떻게 표시할지 선택할 수 있다. 기본 설정인 '잠겨있지 않을 때'으로는 iMessage나 문자 메시지의 알림이 오면 단순히 누구한테 몇 개의 메시지가 왔다고만 알려주며 다른 앱의 알림은 몇 개의 알림이 왔다고만 알려주어 기본적으로는 메시지의 내용을 보여주지 않는다. 이 상태에서 Face ID 인증이 완료되면 알림의 상세 내용을 확인할 수 있고 그룹화된 메시지를 펼쳐 그동안의 알림도 확인이 가능하다. 또한 잠금 화면의 중간 부분에서 위로 살짝 스와이프하면 알림 센터의 모든 알림을 확인할 수 있다. 다른 설정으로는 '항상'과 '안 함'이 있는데 항상을 선택하면 기존 iOS 10 이하의 알림처럼 인증하지 않아도 모든 알림이 표시되며, 안 함을 선택하면 잠금 화면에서는 알림 내용을 볼 수 없게 된다.
- Apple Pay, Apple 계정으로 로그인과 App Store에서 앱이나 DLC를 구매할 때도 얼굴 인식을 사용할 수 있다.
- Apple Pay나 App Store에서 Face ID 인증을 실패하면 비밀번호 버튼이 나오는데 이때 다시 Face ID 인증을 하려면 취소 후 재인증이 아니라 다시 전원 버튼을 두 번 누르면 인증을 시작한다. 대부분의 사용자들이 모르는 내용. iOS 13과 iPadOS에서는 얼굴을 다시 갖다대는 모션으로 인증을 다시 할 수 있다.
- 기본적으로 Touch ID의 API였던 LocalAuthentication이 iOS 11에서 Face ID와 통합되었기에 국내 출시 당시 다수의 은행 앱에서 Touch ID를 대신해 사용할 수 있었으나 대부분의 은행이 발빠르게 막았다.#
- API가 이론적으로 같아 Face ID를 지원하는데도 이미지는 지문 인증 아이콘에 텍스트는 지문을 인식해달라는 앱이 굉장히 많다.
- Face ID 초기에는 토스나 카카오페이 같은 간편이체 서비스를 제외한 은행 앱들의 이체에는 Face ID를 사용할 수 없다. 이는 생체인증으로 인증서를 대체할 수 있던 Touch ID와는 다른 방침인데 그래서 대부분의 은행에는 계좌 비밀번호 또는 이체 PIN, 아니면 보안카드 및 OTP를 이용해 불편을 최소화한다. 단 iPhone X 출시 후부터 차례차례 은행들이 로그인 수단으로는 Face ID를 인정해주기 시작하여 현재는 모든 모바일 뱅킹이 공식적으로 Face ID를 로그인 수단으로 지원한다. 다만 로그인 수단으로 지원하는 뱅킹 앱은 많지만 이체 인증 수단으로 지원하는 은행 앱은 제한적이다.
[image]
- Face ID의 인식 이미지는 매킨토시 시절 플로피 디스크를 넣거나 시작할때 나오는 아이콘을 모티브로 해서 디자인되었다.
- iPhone XS, iPhone XS Max, iPhone XR과 3세대 iPad Pro에 탑재된 TrueDepth 카메라는 2세대는 아니지만 탑재된 A12 Bionic 및 A12X Bionic의 차세대 Neural Engine이 전작에 비해 10배 이상 빨라졌고, 알고리즘과 Secure Enclave가 개선되어 전작인 iPhone X보다 Face ID 속도가 상당히 개선되었다.
- Face ID는 현재까지 11형 iPad Pro, 12.9형 iPad Pro(3/4세대)에서만 전방향 인증이 가능하며 iPhone은 세로 화면에서만 인증이 가능하다. 단 iPad Pro에서도 등록 시에는 세로 화면으로 진행해야 한다.
- iOS 13과 iPadOS에서 개선된 알고리즘이 적용되어 Face ID의 성능이 30% 향상되었다. 얼굴을 인식하여 Face ID의 돌아가는 애니메이션까지의 속도는 약간 빨라진 정도지만 그 후부터는 애니메이션의 속도도 올리고 완료 이미지가 나타난 이후 Face ID 창이 사라지는 지속 시간도 단축되었다. 따라서 iOS 12의 인증 속도 향상과 A12 Bionic으로의 속도 향상보다도 매우 빨라진 속도를 보여준다. 버전이 올라갈수록 성능 향상의 차이가 보이는 편이며 특정 경우에는 애니메이션이 끝나기도 전에 인식 화면이 사라진다.
- iOS 13부터 Face ID 인증 성공 시 햅틱 피드백을 활성화할 수 있다.
- Apple Store나 공인 리셀러샵에 진열된 iPhone과 iPad에서도 Face ID 데모 앱으로 체험할 수 있다. Touch ID와 마찬가지로 이 앱으로 체험해도 기기에 얼굴 데이터를 저장하지 않는다. 실제로도 앱을 켜면 데모용이라 얼굴 데이터의 저장은 되지 않는다는 설명이 있다. 체험 후에 홈 바를 올려 앱을 종료하면 바로 앱 데이터가 모두 제거된다.
- iCloud나 iTunes 백업으로부터 데이터를 복원해도 Face ID 데이터는 복원되지 않으며 애초에 서버로 백업되지도 않는다. 따라서 iOS 12.4에 추가된 마이그레이션 기능을 진행하면서 이전 iPhone의 비밀번호를 입력 후에 Face ID를 설정할 수 있는 화면이 나오는 것도 그러한 이유.
- 동물의 얼굴은 등록은 되지만 잠금 해제는 실패되는 모양이다.
6. Face ID 탑재 모델
F는 Secure Enclave와 알고리즘으로 속도가 향상된 모델을 뜻하며, S는 전방향 얼굴인식을 지원한다. [15]
- iPhone X
- iPhone XS[F]
- iPhone XS Max[F]
- iPhone XR[F]
- iPhone 11[F]
- iPhone 11 Pro[F]
- iPhone 11 Pro Max[F]
- iPhone 12 mini[F]
- iPhone 12[F]
- iPhone 12 Pro[F]
- iPhone 12 Pro Max[F]
- iPad Pro(11형)[F][S]
- iPad Pro(12.9형)(3세대)[*F ][*S ]
- iPad Pro(11형)(2세대)[F][*S ]
- iPad Pro(12.9형)(4세대)[*F ][*S ]
[1] 광고에서 나오는 기종은 iPhone XR이다.[2] iPhone SE(2세대) 제외[3] iPad는 현재까지 iPad Pro 3세대 이후 iPad Pro만 지원한다. iPad Pro 3세대 이후에 출시된 iPad Air 3와 iPad mini 5는 지원하지 않는 것을 보아 당분간은 최상위 라인업에서만 지원할 듯.[4] 헤어스타일, 화장 등 [5] 사람의 눈으로는 볼 수 없지만 카메라로 보면 적외선이 깜빡거리는 게 보인다.[6] iPhone X 공개 전 지문 센서를 측면이나 후면으로 뺄 것이라는 루머가 상당했다.[7] 다한증이 있으면 인식률이 크게 떨어지고, 화상이나 큰 흉터로 지문이 손상되었으면 잠금해제 자체가 어렵다.[8] 기본값으로 해당 기능이 적용돼있고, 해제하면 시선이나 눈을 감은 것 까지 상관없이 잠금을 해제시킬 수 있다.[9] 입 안에 음식물이 있어서 볼이 빵빵해졌거나 하품을 하는 경우, 얼굴을 베게에 반쯤 파묻고 있을 때에도 인식하는 수준까지 간다.[10] 딥 러닝 기능을 이용하여 마스크를 턱에 걸친 상태부터 천천히 마스크를 올리며 반복적으로 인식시키면 어느 정도는 마스크를 착용해도 인식이 된다는 의견도 있으나, 코를 가리기 시작하면 눈만으로 사용자를 판별해야 하기 때문에 인식이 되지 않고 코를 가리지 않는다면 코로나 예방을 위해 마스크를 착용하는 의미가 없다.[11] 학습이 되어 마스크를 코까지 완벽히 착용한 상태로도 뚫리는 경우가 있다. 다만 100% 성공을 보장하진 못하며 마스크 형태가 바뀔 경우 인식되지 않는다. KF타입이라면 시간이 지나면 어느정도 뚫리는 편이나 덴탈형은 잘 뚫리지 않는다. 일반적인 육각형 KF보다는 부리형 KF의 인식 성공률이 좀 더 좋다고 한다. 이마저도 개인차가 있어서 아무리 학습시켜도 뚫리지 않는 유저도 많다.[12] 이로 인해 2021년 iPhone에서 Touch ID가 다시 돌아올 가능성이 낮아졌다.[13] 실제로 공식 사이트 등에서 사용되는 iPhone의 아이콘은 노치 부분이 강조되어 있다. 과거 홈 버튼처럼 하나의 상징으로 인식하는 듯하다.[14] 원래 카카오톡 이체만 생체 인증을 지원했으나, 2019년 12월 1.18.1 업데이트부터 타행 이체할 때도 지원한다.[15] 기기를 가로로 돌린 상태에서도 인식이 된다는 말. 실제로는 가로세로로 센서를 2개 넣은 것이다.[F] A B C D E F G H I J K L 개선된 Secure Enclave와 알고리즘으로 속도가 향상됨.[S] 전 방향 얼굴인식 지원.