블라인드 테스트
blind test ｜ 맹검법(盲檢法)
블라인드 익스퍼리먼트, 맹검, 은폐법이라고도 한다.
과학 실험의 엄밀성을 위해 '''반드시''' 지켜야 할 과학적 방법 중의 하나. 실험자나 피실험자가 자신의 알고 있는 지식의 영향으로 결과에 편향을 주기 때문에 일어나는 현상을 방지하기 위한 것이다. 이것이 지켜지지 않은 실험은 주관적 해석이 들어가기 쉬우며, 사이비 과학으로 빠지거나, 심지어 자신의 편향된 해석을 과학의 이름으로 (실제론 사이비 과학이면서) 무식한 사람들에게 강요하는 매우매우 잘못된 영향을 끼치게 된다. 예를들어 어느 어르신께서 '나도 OO라는 병에 걸렸을 때 XX를 먹으니 좋아지더라. 따라서 XX는 OO의 치료제임이 틀림없다!'라고 말하는 경우. 이는 블라인드 테스트를 무시했을 뿐만 아니라 성급한 일반화의 오류까지 범하고 있는 경우이다. 거기다가 상관관계와 인과관계의 차이도 모르는 것이다.
어떤 제품이나 서비스 등의 품질 등을 공정하게 테스트 하기 위해 눈을 가린 상태에서 우선순위를 선정하는 시험방법이라고 흔히 알려져 있지만, 사실상 과학 실험의 기본으로, '과학 실험'이나 '과학적 지식'이라는 이름이 붙은 모든 것은 블라인드 테스트를 기본으로 쌓아올려진 지식이다.
심리학 · 임상 실험에 매우매우 강조되지만, 물리학 실험에서 측정자나 분석자의 주관이 개입될 요소를 없앤다거나 할 때도 필요하다. 특히, 현대의 소비심리학, 경제학 쪽에서 일반인들에게 잘 알려져서, 맥주, 커피, 와인, 담배 등의 제품의 선호도 등을 소비자의 주관이 개입되지 않게 측정하기 위해 사용한다.
'''단일맹검법'''(single-blind test)은 가장 기초적인 맹검법으로, 실험에 참가한 참가자에게 "당신은 현재 A집단 or B집단 중 하나에 무작위 배정되었습니다" 라고만 말해줌으로써 그 사람이 실험집단에 속해 있는지 통제집단에 속해 있는지, 실험의 목적이 대관절 무엇인지 일체 알려주지 않는 것을 말한다.
'''이중맹검법'''(double-blind test)은 특히 실험자와 실험 대상 모두 주관적 편향에 영향받기 쉬운 인간을 대상으로 하는 심리학과 임상 실험에서 쓰이며, 실험을 설계한 실험자마저 자신이 무엇을 테스트하는지를 가린다. 의약품 개발 등에서 플라시보 효과를 막기 위해서 환자가 모르는 것도 모자라서 약을 주는 의사도 그 약이 가짜인지 진짜인지 모른다.
영향을 줄 수 있는 모든 인간의 요소를 배제하기 위해, '''삼중맹검법'''(triple-blind test)도 있을 수 있다. 여기서는 자료를 분석하는 분석자 내지는 연구관련 위원회조차도 모르게 한다. 인간의 주관이라는 것을 최대한 배제하는 것이 중요하기 때문이다.
소믈리에들은 미각을 갈고닦기 위해 매일 블라인드 테스트를 하여, 감각을 유지하고 있다. 와인 관련 블라인드 테스트로는 파리의 심판 사건이 있다.
사실 파리의심판이 워낙에 유명해서 그렇지 현대에는 정설로 받아지던 수많은 것들이 블라인드 테스트로 인해 편견이었다는 것이 드러나기도 한다.
눈을 가리는 것은 피험자의 판단에 영향을 주는 요소, 즉 브랜드에 대한 정보를 차단하기 위해서이다. 대개 신규 시장진입자가 "우리 제품은 경쟁업체보다 더 싸고 품질이 높은 제품이다. 속지말자 브랜드빨"을 나타내고자 할 때 사용한다. 즉 자사 제품의 우수성을 증명하고자 할 때 사용하는 마케팅법이라고도 할 수 있겠다.
전 펩시 CEO 존 스컬리가 이 블라인트 테스트를 이용한 광고#로 코카콜라를 누른 이야기도 유명하다.
맥도날드 맥카페의 역 블라인드 테스트 광고. 실제로 눈 대신 브랜드를 숨기는 역 블라인드 테스트도 많이 사용된다.
국내광고법상 타사의 것와 비교하는 비교광고에서도 비방광고는 일절 금지되어 있기 때문에 역 블라인드 테스트는 주로 '자사 기존 제품 대비'라는 형태로 정말 많이 사용된다. 자세한 사항은 비교광고 참조.
단, 이런 블라인드 테스트의 경우도 정말 모든 조건이 동일한가의 의문은 제기될 수 있다. 위 동영상의 커피도 커피를 내린 뒤 시간이 지나면서 산화되는 부분이나 온도에 따라 맛이 조금씩 다른(식으면서 신 맛이 강해지거나 탁한 느낌이 나는) 경우가 존재하며 종종 시민대상 블라인드 테스트를 한다고 해놓고는 진행하는 사람이 어느쪽으로 방향을 모는 테스팅을 하는 경우가 있다. 애초에 이런 광고'''들'''은 그나마 조작을 안하더라도 자신들에게 불리한 결과를 모조리 날려버린다는 게 문제다. 위의 맥카페 실험이 과정에 오류나 조작이 전혀 없었다 치더라도 과연 참가자 모두가 4000원짜리 커피를 택했을 것 같은지 생각해보자. 100명중 3명만 4000원짜리 커피를 택한다고 해도 저런 식으로 편집이 가능하고 광고에 뭐 그리 엄격하냐 할 수 있겠으나 이는 과학적 방법을 빙자한 기만이다. 즉, 이런 광고들의 효과는 어떨지 몰라도 소비자에게는 상당히 매너없는 광고인 셈이다.
그리고 블라인드 테스트의 가장 유명한 예인 펩시의 대 코카콜라 마케팅도 문제가 많은 테스트였다. 블라인드 테스트 당시 소비자에게 줬든 양은 한 모금거리가 채 안되는 적은 양이었다. 약 세 숟가락 정도의 양만을 시음할때와 한 잔, 혹은 한 캔씩 소비할때는 아예 이야기가 다르다. 펩시가 더 달아서 사람들이 적은 양만 시음했을때는 펩시가 압도적으로 높았고, 후에 한 잔, 혹은 한캔씩 줬을때는 코카콜라의 승리였다. 참고로 이 시험도 그리 성공적이진 못 했는데 '''참가자들이 시음하고 나서 바로 브랜드 명을 알아차렸기 때문'''이다.
그리고 이 시험의 연장선으로 한 시험으로 가장 골때린 시험이 있었는데 바로 펩시콜라와 코카콜라를 서로 다른 캔에 옮겨서 각각 오리지널 펩시, 코카콜라와 같이 사람들의 반응을 시험해봤는데 일단 코카콜라의 선호도가 가장 높았고 2등이 코카콜라 캔에 든 펩시(...), 그리고 3등이 펩시 캔에 든 코카콜라(...), 꼴찌가 펩시였다. 이 때문에 사람들이 코카콜라의 빨간 캔 디자인에 상당한 호감을 가지고 있다는 결론이 내려졌다.
황금귀들에게 친숙한 용어이기도 하다. 주로 까는 용도로 사용된다. 돌비와 DTS 구별, Wave 파일 열화 논란 참조.
황금귀 관련 논란 사이에서는 여태 수많은 블라인드 테스트가 행해져 왔지만, 여태까지 "효과가 있었다, 구별 가능하다" 라는 이야기가 나온 블라인드 테스트들을 보면 이름만 블라인드 테스트 이고, 단일 맹검법의 기본적인 부분 조차 제대로 지켜지지 않은 테스트였다는 것을 알 수 있다. 이런 테스트들의 방식을 보면 피실험자에게 A와 B 기기를 쥐어주고는 A에 비해 B가 어떻게 다른가 라고 설명하라 하는데, 위 코카콜라 사례로 비유를 하면 처음부터 브랜드를 알려주고서 시작하는 것이나 다름없는 테스트 이므로 이름만 "블라인드 테스트"이고 사실상 평범한 제품 비교나 리뷰나 다름 없는 테스트가 대다수 였다는 점에서 신뢰도가 매우 떨어질 수 밖에 없다는 것이 문제이다.
1. 개요
블라인드 익스퍼리먼트, 맹검, 은폐법이라고도 한다.
과학 실험의 엄밀성을 위해 '''반드시''' 지켜야 할 과학적 방법 중의 하나. 실험자나 피실험자가 자신의 알고 있는 지식의 영향으로 결과에 편향을 주기 때문에 일어나는 현상을 방지하기 위한 것이다. 이것이 지켜지지 않은 실험은 주관적 해석이 들어가기 쉬우며, 사이비 과학으로 빠지거나, 심지어 자신의 편향된 해석을 과학의 이름으로 (실제론 사이비 과학이면서) 무식한 사람들에게 강요하는 매우매우 잘못된 영향을 끼치게 된다. 예를들어 어느 어르신께서 '나도 OO라는 병에 걸렸을 때 XX를 먹으니 좋아지더라. 따라서 XX는 OO의 치료제임이 틀림없다!'라고 말하는 경우. 이는 블라인드 테스트를 무시했을 뿐만 아니라 성급한 일반화의 오류까지 범하고 있는 경우이다. 거기다가 상관관계와 인과관계의 차이도 모르는 것이다.
어떤 제품이나 서비스 등의 품질 등을 공정하게 테스트 하기 위해 눈을 가린 상태에서 우선순위를 선정하는 시험방법이라고 흔히 알려져 있지만, 사실상 과학 실험의 기본으로, '과학 실험'이나 '과학적 지식'이라는 이름이 붙은 모든 것은 블라인드 테스트를 기본으로 쌓아올려진 지식이다.
심리학 · 임상 실험에 매우매우 강조되지만, 물리학 실험에서 측정자나 분석자의 주관이 개입될 요소를 없앤다거나 할 때도 필요하다. 특히, 현대의 소비심리학, 경제학 쪽에서 일반인들에게 잘 알려져서, 맥주, 커피, 와인, 담배 등의 제품의 선호도 등을 소비자의 주관이 개입되지 않게 측정하기 위해 사용한다.
2. 종류
'''단일맹검법'''(single-blind test)은 가장 기초적인 맹검법으로, 실험에 참가한 참가자에게 "당신은 현재 A집단 or B집단 중 하나에 무작위 배정되었습니다" 라고만 말해줌으로써 그 사람이 실험집단에 속해 있는지 통제집단에 속해 있는지, 실험의 목적이 대관절 무엇인지 일체 알려주지 않는 것을 말한다.
'''이중맹검법'''(double-blind test)은 특히 실험자와 실험 대상 모두 주관적 편향에 영향받기 쉬운 인간을 대상으로 하는 심리학과 임상 실험에서 쓰이며, 실험을 설계한 실험자마저 자신이 무엇을 테스트하는지를 가린다. 의약품 개발 등에서 플라시보 효과를 막기 위해서 환자가 모르는 것도 모자라서 약을 주는 의사도 그 약이 가짜인지 진짜인지 모른다.
영향을 줄 수 있는 모든 인간의 요소를 배제하기 위해, '''삼중맹검법'''(triple-blind test)도 있을 수 있다. 여기서는 자료를 분석하는 분석자 내지는 연구관련 위원회조차도 모르게 한다. 인간의 주관이라는 것을 최대한 배제하는 것이 중요하기 때문이다.
3. 상세
소믈리에들은 미각을 갈고닦기 위해 매일 블라인드 테스트를 하여, 감각을 유지하고 있다. 와인 관련 블라인드 테스트로는 파리의 심판 사건이 있다.
사실 파리의심판이 워낙에 유명해서 그렇지 현대에는 정설로 받아지던 수많은 것들이 블라인드 테스트로 인해 편견이었다는 것이 드러나기도 한다.
눈을 가리는 것은 피험자의 판단에 영향을 주는 요소, 즉 브랜드에 대한 정보를 차단하기 위해서이다. 대개 신규 시장진입자가 "우리 제품은 경쟁업체보다 더 싸고 품질이 높은 제품이다. 속지말자 브랜드빨"을 나타내고자 할 때 사용한다. 즉 자사 제품의 우수성을 증명하고자 할 때 사용하는 마케팅법이라고도 할 수 있겠다.
전 펩시 CEO 존 스컬리가 이 블라인트 테스트를 이용한 광고#로 코카콜라를 누른 이야기도 유명하다.
맥도날드 맥카페의 역 블라인드 테스트 광고. 실제로 눈 대신 브랜드를 숨기는 역 블라인드 테스트도 많이 사용된다.
국내광고법상 타사의 것와 비교하는 비교광고에서도 비방광고는 일절 금지되어 있기 때문에 역 블라인드 테스트는 주로 '자사 기존 제품 대비'라는 형태로 정말 많이 사용된다. 자세한 사항은 비교광고 참조.
단, 이런 블라인드 테스트의 경우도 정말 모든 조건이 동일한가의 의문은 제기될 수 있다. 위 동영상의 커피도 커피를 내린 뒤 시간이 지나면서 산화되는 부분이나 온도에 따라 맛이 조금씩 다른(식으면서 신 맛이 강해지거나 탁한 느낌이 나는) 경우가 존재하며 종종 시민대상 블라인드 테스트를 한다고 해놓고는 진행하는 사람이 어느쪽으로 방향을 모는 테스팅을 하는 경우가 있다. 애초에 이런 광고'''들'''은 그나마 조작을 안하더라도 자신들에게 불리한 결과를 모조리 날려버린다는 게 문제다. 위의 맥카페 실험이 과정에 오류나 조작이 전혀 없었다 치더라도 과연 참가자 모두가 4000원짜리 커피를 택했을 것 같은지 생각해보자. 100명중 3명만 4000원짜리 커피를 택한다고 해도 저런 식으로 편집이 가능하고 광고에 뭐 그리 엄격하냐 할 수 있겠으나 이는 과학적 방법을 빙자한 기만이다. 즉, 이런 광고들의 효과는 어떨지 몰라도 소비자에게는 상당히 매너없는 광고인 셈이다.
그리고 블라인드 테스트의 가장 유명한 예인 펩시의 대 코카콜라 마케팅도 문제가 많은 테스트였다. 블라인드 테스트 당시 소비자에게 줬든 양은 한 모금거리가 채 안되는 적은 양이었다. 약 세 숟가락 정도의 양만을 시음할때와 한 잔, 혹은 한 캔씩 소비할때는 아예 이야기가 다르다. 펩시가 더 달아서 사람들이 적은 양만 시음했을때는 펩시가 압도적으로 높았고, 후에 한 잔, 혹은 한캔씩 줬을때는 코카콜라의 승리였다. 참고로 이 시험도 그리 성공적이진 못 했는데 '''참가자들이 시음하고 나서 바로 브랜드 명을 알아차렸기 때문'''이다.
그리고 이 시험의 연장선으로 한 시험으로 가장 골때린 시험이 있었는데 바로 펩시콜라와 코카콜라를 서로 다른 캔에 옮겨서 각각 오리지널 펩시, 코카콜라와 같이 사람들의 반응을 시험해봤는데 일단 코카콜라의 선호도가 가장 높았고 2등이 코카콜라 캔에 든 펩시(...), 그리고 3등이 펩시 캔에 든 코카콜라(...), 꼴찌가 펩시였다. 이 때문에 사람들이 코카콜라의 빨간 캔 디자인에 상당한 호감을 가지고 있다는 결론이 내려졌다.
황금귀들에게 친숙한 용어이기도 하다. 주로 까는 용도로 사용된다. 돌비와 DTS 구별, Wave 파일 열화 논란 참조.
황금귀 관련 논란 사이에서는 여태 수많은 블라인드 테스트가 행해져 왔지만, 여태까지 "효과가 있었다, 구별 가능하다" 라는 이야기가 나온 블라인드 테스트들을 보면 이름만 블라인드 테스트 이고, 단일 맹검법의 기본적인 부분 조차 제대로 지켜지지 않은 테스트였다는 것을 알 수 있다. 이런 테스트들의 방식을 보면 피실험자에게 A와 B 기기를 쥐어주고는 A에 비해 B가 어떻게 다른가 라고 설명하라 하는데, 위 코카콜라 사례로 비유를 하면 처음부터 브랜드를 알려주고서 시작하는 것이나 다름없는 테스트 이므로 이름만 "블라인드 테스트"이고 사실상 평범한 제품 비교나 리뷰나 다름 없는 테스트가 대다수 였다는 점에서 신뢰도가 매우 떨어질 수 밖에 없다는 것이 문제이다.
4. 관련 문서
- 파리의 심판: 포도주에 대한 블라인드 테스트
- 스트라디바리우스: 블라인드 테스트를 받은 명품 바이올린
- 스낵면 : 스펀지에서 진행했던 테스트. 주제는 '밥 말아먹었을 때 가장 맛있는 라면'[1]
- 블라인드 테스트 180˚
- Get it beauty
- 상관관계와 인과관계
- 동종요법: 동종요법이 유사과학임을 입증
[1] 여론조사는 일반라면 선호도가 그대로 나왔다. 실험은 포장지 요리법에 따라 라면을 끓인 다음에 면을 제외하고 국물만 밥에 말아서 심사위원들이 심사. 가장 맛이 순한 축이었던 스낵면의 선호도가 가장 높았다. 이후 스낵면은 이 사실이 포장지에 적히게 된다.