초능력 논문 게재 사건

 


1. 개요
2. 상세
2.1. 저자는 누구인가?
2.2. 저널의 수준은 어떤가?
2.3. 논문에 도대체 무슨 소리를 했는가?
3. 학계의 반응과 저널의 변
4. 의의
5. 참고 사례
6. 관련 문서


1. 개요


  • 논문 제목: Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect[1]
  • 문제의 논문 읽기(PDF 자동 다운로드)
  • pubmed ID: PMID: 21280961 초록만 확인하려면 이 링크를 이용하시오.
  • DOI 번호: 10.1037/a0021524
2011년 1월 31일에 출판된 《Journal of Personality and Social Psychology》(이하 JPSP)에[2] 대릴 벰(Daryl Bem)이라는 한 미국 심리학자가 제출한 논문이 학계 전반에 파장을 일으킨 사건이다. 이 논문은 전인지(precognition), 쉽게 말해서 그냥 '''"예지능력"'''에 대한 것으로, 인간이 미래를 내다볼 수 있는 인지적 능력을 갖고 있다고 주장함으로써 엄청난 반발을 불러왔다.
비전문가들은 그냥 관심병 걸린 타락한 과학자 내지는 유사과학 전문가의 전형적인 사례 중 하나라고 치부할 지도 모르나, 실제로 이는 '''병적 과학의 극명한 사례'''에 속하며,[3] 심리학계에 가볍게 넘길 수만은 없는 수많은 화두를 던져주었다.

2. 상세



2.1. 저자는 누구인가?


저자 대릴 벰(Daryl J. Bem)은 코넬 대학교심리학자로, 1967년1972년에 이미 '''자기지각 이론'''(self-perception theory)을 발표하여 레온 페스팅어(L. Festinger)의 유명한 이론인 인지부조화의 대안적 설명으로 각광받은 바 있는 '''성공한 심리학자'''였다. 그는 자기지각 이론을 통하여 "인간은 자신의 현재 행동에 대한 의미를 찾아 해석함으로써 그들의 태도나 선호를 결정한다"고 주장했으며, 실제로 2010년대 들어서까지도 숱하게 인용되면서[4] 후속연구가 이루어지는 성공한 이론으로 만들었다. 특히 이는 심리치료나 마케팅광고 분야에도 접목되면서 많은 파생이 이루어진 바 있다.
그리고 동성애에 대한 논의에 익숙한 사람이라면 그의 또 다른 주장을 접해 보았을 것인데, 2000년에 '''낯설기 때문에 끌린다 이론'''(exotic-becomes-erotic theory)을 발표하였다. 이 이론은 어째서 동성애가 존재하는지에 대한 많고 많은 설명들 중 하나인데, 여기서는 "생물학적 소인에 의해, 유년시절에 경험하는 성별 동조(gender-conforming)의 여부가 향후 성인이 되어서 그 개인의 성적 지향을 예측하게 한다"고 보았다.[5] 이해를 돕기 위해 거칠게 말하면 어릴 적 동성 또래들과 노는 경험이 이성의 또래들을 낯설게 만들고, 이것이 점진적으로 성적 지향에 영향을 준다는 얘기다. 이 이론은 비판도 숱하게 받았지만 어쨌든 벰이 독자적이면서도 특이한 자기주관이 있는 학자로 인정받는 데 기여했다.
여기까지만 읽어도 알겠지만 자칭 재야과학자 같은 사이비 사기꾼들과는 급이 다른 사람이란 걸 알 수 있는데, 이게 초능력 논문 게재 사건이 충격을 주었던 또 다른 이유 중 하나이기도 하다. 물론 대릴 벰 본인이 예전부터 줄곧 초능력을 비롯한 초심리학(parapsychology)에 많은 관심을 보였으며 간츠펠트 실험(Ganzfeld experiment) 관련 연구들을 리뷰하여 논문으로 낸 적이 있긴 하다.[6] 이 사건 자체가 아주 뜬금포는 아니었던 셈인데, 자신의 연구업적 이면에 특이한 관심사를 갖고 있는, 아는 사람들은 다 아는 괴짜였을 수도 있다.

2.2. 저널의 수준은 어떤가?


문제의 저널 JPSP(ISSN: 0022-3514)는 1965년부터 현재까지 줄곧 출판되어 오는 유서 깊은 저널이며, 미국심리학회 소속이다. JPSP는 그 이름처럼 성격심리학(personality psychology)과 사회심리학(social psychology)의 전 범위를 포괄하는 SSCI급 저널이며, 이들 세부분야에서는 세 손가락 안에 꼽히고, 심리학 전체에서 보아도 논자에 따라서는 다섯 손가락 안에 꼽히는 상위급 저널에 속한다. 특히 이들 분야에서 뛰는 연구자들에게 JPSP에 얼마나 출판을 했는가는 굉장히 중요한 연구업적의 기준이 될 정도이다. 임팩트 팩터 역시 2018년 기준으로 '''5.733'''으로 무척 높은 수준이다.
보다시피 흔한 무료저널이나 오픈액세스 저널이 아니라는 것이 오히려 충격과 공포인데 보통 '급'이 높은 저널일수록 더욱 깐깐하게 검증하고 혹독하게 동료평가를 거친다는 점을 생각하면 의문스러운 점이 한두 가지가 아니다. 특히 이런 고급 저널들은 일부러 투고 대 게재 비율을 관리하고 있으며, 투고된 논문이 어지간히 혁신적이거나 설득력이 있지 않으면 가차없이 광탈이다. 그 분야 중진급 연구자들도 JPSP에는 퇴짜를 맞는 게 일상다반사인데 그걸 이 허무맹랑한 초능력 논문이 뚫어낸 것이다.

2.3. 논문에 도대체 무슨 소리를 했는가?


논문의 핵심 내용을 요약한 것이라고 말할 수 있는 초록을 먼저 보자면, 그 내용을 요약하면 대략 다음과 같다.
  • 'Psi'는 오늘날의 과학으로 설명되지 않는 에너지의 전환 과정이나 정보를 의미하며, 인지적 인식의 영역과 정동적 평가(affective apprehension)의 영역으로 나누어진다.
  • 참가자 1천 명 이상이 참여한 실험 9건이 제시되었다. 여기서는 어떤 자극이 있기 전에 그에 대한 반응이 먼저 나타날 수 있음을 확인하고자 하였다.
  • 이러한 psi는 불쾌한 자극의 회피, 성적 자극에 대한 반응, 소급적인 점화(priming), 소급적 습관화, 소급적 회상 촉진으로 나누어지는 것으로 확인되었다. 평균 효과 크기는 d=.22였고, 8건의 실험에서 유의미한 결과가 나타났다.
  • Psi는 외향성의 구성 요소 중 하나인 자극 추구(sensation seeking)를 통해 예측될 수 있는 것으로 보인다. 이것이 높은 참가자들의 평균 효과 크기는 d=.43으로 훨씬 높았다.
논문에서 저자 벰은 자신의 연구가 굉장히 논쟁적(controversial)인 주제임을 인정했고, 별도의 주석을 달아 "자신의 연구에 친절하게 협조하고 참여해 준 학생들과 학장, 교수들에게 감사드린다"는 감사의 글을 적었다. 또한 서문에서는 심리학자들이 다른 사회과학자들이나 심지어는 자연과학자들보다도 초능력에 대해서 훨씬 더 회의적이라는 연구를 인용하기도 하는 등[7] 자신에게 주어진 현실을 잘 알고 있어 보인다. 그러면서 하는 말이 '''"너네들, 엄청난 주장에는 엄청난 근거가 필요하다며? 지금까지의 초심리학은 그만한 근거를 못 들고 왔지만, 지금 내가 방법론적으로 쩔어주는 통계적 근거를 들고 왔거든? 내 실험 재현되는 것도 자신있거든? 그러니까 좀 믿지?"''' 정도의 내용이다. 그 이후에 나오는 것도 비슷한데, psi를 설명할 수 있는 이론이 없다고 해서 멀쩡히 존재하는 현상을 무조건 없다고 거부하면 안 된다든가, 최근의 사회인지적 연구나 심지어는 fMRI를 활용한 뇌 연구의 트렌드를 보더라도 내 연구는 전혀 동떨어진 주제가 절대 아니라든가 하는 식의 항변이다.
이 논문에서는 초록에서 밝혔듯이 총 9건의 실험들이 제시되고 있으며, 성적 자극에 대한 전인지적 탐지 1건, 불쾌한 자극에 대한 전인지적 회피 1건, 소급적인 정동적 점화 2건, 소급적 습관화 및 지루함의 유도 3건, 소급적 회상 촉진 2건이다. 이 중에서 마지막 2건이 우리가 흔히 생각하는 "뭔가 신비한" 초능력에 가까운 느낌을 준다. 나머지는 그보다는 그냥 흔한 심리학 논문처럼 읽히는 주제들이다.
저자에 따르면 모든 실험 연구들은 가능한 한 동료 연구자들이 쉽게 이해하고 쉽게 재현할 수 있도록 설계되었다고 한다. 더 정교하고 현학적인 분석을 할 수도 있었지만, 자칫 거짓으로 오해받을까봐 일부러 쓰지 않았다고 한다. 그 때문인지 사용된 통계적 분석 기법 역시 단일표본 t-검정이다.[8] 또한 자칫 파일 서랍장 문제(file-drawer problem)[9]가 있다는 식으로 오해받을 수도 있겠지만, 자기 연구 중에 결론이 유의하지 않게 나온 실험도 함께 섞여서 보고되어 있다고 밝혔다.
후반부에 나오는 재현성 관련 단락은 한번쯤 읽어 볼 만하다. 기존의 초심리학자들은 과학적 회의주의자들이 실험을 할 때 유의한 결과가 나오지 않는 것에 대해서 "저 아저씨들한테서 나쁜 기가 나와요.", "오늘은 컨디션이 안 좋아요." 따위의 애드혹 논증으로 무마하려 했지만, 여기서는 흥미롭게도 실험자 편향(experimenter bias)이라는 관점에서 설명하려 하고 있다. 물론 실험자 편향을 최소화하는 길은 맹검법을 쓰거나 아니면 다양한 기대를 갖고 있는 복수의 실험 진행자들을 동원하는 것이다. 그래서 벰 역시 실험조교들을 일부러 무선추출해서 그들의 psi에 대한 기대를 다양하게 하려 했다고 설명했다.

3. 학계의 반응과 저널의 변


대명천지에 이런 망측한 일이 벌어졌으니 학계가 당연히 가만히 있을 리 없었다. 벌떼처럼 들고 일어난 학자들이 많았지만, 이 문서에서는 그러한 연구들을 종합해 메타분석(meta-analysis)한 연구 하나만 인용한다.[10] 벰의 연구에서 가장 극적으로 초능력이라는 개념에 부합하는 실험은 8번과 9번 실험인데 이 논문에서는 수많은 재현 문헌들로부터 해당 연구 패러다임의 통계적 데이터들을 확인해서 비교해 보았다. 그러자 굉장히 유의한 결과로 밝혀진 벰의 논문과는 달리 다른 문헌들에서는 '''유의하지 않다는 결과가 나왔다.'''[11] 심지어 벰이 연구에 활용한 소프트웨어를 바꿔 보기만 해도 결과가 달라졌다.[12] 최종적으로 결정된 전체적인 '''효과 크기는 d= .04로, 이 정도라면 처음부터 그런 거 없다고 판단해도 무방한 수준인 셈이다.''' 한편 벰이 주장했던, 외향적 성격의 주요 특성 중 하나인 감각추구(sensation seeking)의 경우에도, 후속 재현연구들을 메타분석하여 종합하자 r= -.03으로 의미가 없어졌다. 이에 연구자들은 벰의 당초 연구에서 놀랄 만한 유의한 결과가 나온 것은 단순히 1종 오류[13] 때문일 수 있다고 제안하였다.
저널 입장에서도 사실 할 말은 있었다. 같은 호에 실렸던 편집장 코멘트(Editorial comment)를 요약해 보면 다음과 같다.
  • 이 논문에 대해 게재를 결정했고, 이에 반발하는 Wagenmakers, Wetzels, Borsboom, & Van der Maas의 코멘터리 역시 게재하기로 결정했다. 둘 다 엄격한 심사를 통과한 것들이다.
  • 독자 여러분이 이 사실에 대해 놀란 만큼, 우리 역시 이 논문의 데이터가 가리키는 것에 대해 놀랐으며, 이것이 우리의 지식과 충돌하고, 극도로 당황스럽다고 느낀다.
  • 하지만 아무리 이상해 보여도 이 논문 역시 다른 논문들과 동등한 자격으로 평가해야 하는 게 옳다고 생각했다. 우리는 기존의 특정한 이해를 옹호하기 위해서가 아니라 학계를 발전시키고 자극시키기 위해 편집장 일을 하고 있다.
  • 학계에서 이에 대한 많은 비판적인 논의가 이루어지게 된다면, 그것이야말로 편집장으로서 정말 바라는 바일 것이다.
결국 요약하자면 '''우리는 특정 결론으로 우리의 출판 논문들의 방향을 이끌 생각이 없으며 데이터가 말하는 대로 따라가게 할 뿐'''이고 그것이야말로 저널 편집자로서 가져야 할 태도라는 얘기다. 이러한 현실을 두고 "정 데이터로 하여금 말하게 하겠다면 오히려 우리가 데이터를 평가하는 관점 자체를 바꾸어야 한다"고 일군의 연구자들이 절규하자 JPSP는 그 코멘터리 역시 쿨하게 나란히 실어주었다.(실제로 많은 저널들에서 이렇게 상반되는 내용의 논문들을 나란히 놓고 함께 읽히는 일은 무척 흔하다.) 즉 이들의 입장은 어떤 연구가 아무리 이상해 보일지라도 그렇다고 해서 그것이 무조건 거짓일 거라고 반응하는 것은 오히려 폐쇄적이고 편협한 태도이며 그 발견으로 인해 발생할 혼란과 당혹스러움을 당당히 감당할 수 있어야 한다는 것이다. 또한 이를 계기로 학계에 많은 논의와 큰 변화의 바람이 부는 것은 오히려 편집자로서 환영할 만한 일이라는 것이다.
보다시피 저널의 입장도 아주 틀린 말은 아니며 학자적 양심과 나름의 연구 철학을 갖고 결정한 것이고 어느 정도 일리가 있는 말이다. 그리고 그들이 예상했던 '더 많은 논의'는 실제로 사회심리학계의 수많은 유사 사건들과 절묘하게 겹치면서 소위 '''재현성 위기설'''이라는 거대한 나비효과로 되돌아왔다.
문제는 기존의 JPSP의 출판 규정상 단순 논박을 위해 실시한 직접재현(direct replication) 연구는 '''게재가 불가능하다는 것이었다.''' 많은 과학 연구들은 분명히 '''독자성'''(originality)을 중요한 가치로 삼고 있으며, 남들이 생각해내지 못한 무언가를 자신이 생각했다는 것을(그리고 그것이 꽤 설득력 있다는 것을) 보여주어야만 한다. 그런데 이에 따르면 남이 생각한 그것이 정말로 설득력이 있는지 검증하는 내용의 논문은 가치가 없다는 이상한 결론에 도달하게 된다. 실제로 화가 머리 끝까지 나서 부리나케 재현을 실시한 연구자들이 JPSP의 문을 두드렸을 때 이들은 "단순 재현 연구는 출판이 불가능하다"는 답변을 들어야 했다. 이는 학계에서 재현성이라는 이슈에 대해서 주목하게 되는 중요한 계기 중 하나가 되었으며 이들 중 일부는 아연실색하여 여러 과학적 회의주의 포럼이나 웹 게시판에 이 사건을 알리기도 했다.
실제로 위에서 소개한 바 있는 Galak et al.(2012)의 연구의 경우 지금까지의 수많은 연구들을 메타분석한 결과를 표로 정리해 놓았더니 반수 이상의 데이터 세트가 "출판되지 않음"(Unpublished)으로 분류되었을 정도였다. 그렇다면 이들의 메타분석 연구는 어떻게 다시 JPSP에 실릴 수 있었는가 하면, 원론적으로 메타분석 자체가 독자성이 있는 학술활동이라서 그렇다. 이런 분석기법은 단순히 남들의 연구를 인용하고 요약하는 수준에서 그치는 것이 아니다.
어쨌거나 벰은 아직까지는 초능력에 대한 자신의 확신을 버리지 않은 것으로 보인다. 그도 엄연히 제도권 학자에 속하기 때문에[14] 공식적이거나 비공식적으로 동료 학자들과 온갖 날선 코멘터리가 왔다갔다하며 방어를 해 오고 있다. 예시(PDF 자동 다운로드) 그래도 학계는 해당 논문을 흑역사 취급하고 있다. 지금까지도 그의 연구는 유의미한 것으로 간주되지 않고 있고, 초능력도 여전히 허무맹랑한 개념으로 생각되고 있다.

4. 의의


우선 언급할 만한 것으로 위에서도 잠깐 지나갔던 '''재현성 문제'''를 들 수 있다. 2011년 이후로 학계에서는 재현성에 대한 많은 자성이 일어났으며, 재현성 연구를 하는 것에 대한 일체의 인센티브가 없다는 비판이 많이 이어졌다. 이번 초능력 논문 게재 사건에서도, 너도 나도 단순 재현성 연구를 해서 JPSP에 실어 보려고 애썼지만 결국 무위로 돌아가고, 그것들을 정리한 메타분석 연구만이 게재에 성공했을 뿐이었다. 그런데 학계에서 출판에 실패했다는 얘기는 곧 그 학자의 커리어나 연구 업적에 대해서 아무런 영양가가 없다는 얘기랑 마찬가지다. 연구비는 연구비대로 들고 시간은 시간대로 드는데, 대학교는 정교수직을 위해, 테뉴어를 위해 연구자들을 한없이 몰아붙이고 있는 상황이다. 이런 분위기에서 재현성 연구가 제대로 이루어지기는 요원할 따름이다.
또한 이번 사건은 과연 "어떤 주제에서든 간에 통계적으로 유의한 결과가 나온다면 '데이터가 말하는 것'을 따라가야 하는가?"에 대한 궁금증을 불러일으킨다. 실제로 Wagenmakers 등이 지적한 바가 바로 그것이었다. 우선, 학계에 어느 정도의 패러다임이라는 것은 존재하고, 그런 거는 우리에게는 있을 리가 없다고 생각되어서 그 존재를 주장했다간 오히려 연구자가 을 먹는 경우도 존재한다. 그러나 (적어도 경험적으로 측정 가능한 주제이고, 연구자가 연구부정행위를 하지 않은 이상) 무엇이 일단 통계적으로 충분히 유의미해 보인다면, 어쩌면 그것에 기초하여 우리의 세계관을 뒤집을 필요가 있을지도 모른다. 여기서 학계의 많은 연구자들은 전자를 선택했고, 저널 편집위원들은 후자를 선택했다. 중요한 것은 'either-or'가 아니라 'both-and'일 수 있다는 것이다. 즉 둘 중에 어느 하나만을 취하고 다른 하나는 버리는 것이 아니라, 데이터에 대한 두 가지 관점 사이에서 '''절묘한 줄타기'''를 할 필요가 있을 수 있는 것이다.
마지막으로 문제의 논문은 흔히 학술계량에서 활용되는 '''피인용수'''(number of citation)'''의 한계'''를 지적하는 사례로 활용되기도 한다. 2016년 5월, 구글 스콜라 기준으로 확인되는 피인용수는 대략 500회에 좀 못 미치는 수준인데, 심리학 분야에서 이 정도는 많은 것은 아니지만 그래도 그 분야의 상당한 학자들에게 읽히고 있다는 얘기다. 그러나 피인용수의 결정적 한계점은 그것이 정말로 지지와 옹호를 위해 인용한 것인지,[15] 아니면 동일한 저자가 자기인용을 한 것인지, 아니면 도리어 비판하기 위해서 인용했거나 심지어 반면교사로 삼기 위해서 인용한 것인지 등을 구분할 수 없다는 것이다. 적어도 학계에서 벰의 의견에 찬동하며 나타난 동료 연구자는 딱히 없는 것 같다. 그 말인 즉슨, 이 논문은 400~500회 가량 줄기차게 비판받고 있다는 말이다.

5. 참고 사례


  • Leibovici(2001)의 신앙치료 효과 연구[16]
보통 의학에서 최상급 저널을 꼽는다면 The Lancet, NEJM, JAMA, BMJ를 꼽는데, 모두 게재 거절 비율이 90%를 넘는 무시무시한 저널들이다. BMJ는 매년 12월 크리스마스 이슈를 내는데, 여기에 실리는 논문들은 장난성이 강한 것들이다. 이 논문도 2001년 크리스마스 BMJ에 실렸다. 논문의 내용은 환자들을 위해 기도해 준 뒤 기도하지 않은 그룹과 치료결과를 비교하는 것이다. 문제는 이 기도가 '''원격(remote)[17]에서 소급적(retroactive)[18]으로 한 것'''이라는 점이다. 저자는 농담 반으로 신에게 시간이 무조건 선형적이라고 가정할 수 없으므로 상관 없다고 써놨다.
Leibovici는 장난성으로 제임스 린드괴혈병 드립을 치며 "야 우리 옛날에도 작용 기전 이딴 거 모르고 라임 먹었는데 기도 함 해봐도 되지 않겠냐??"하고 논문을 마무리 짓는데, 얼마 후에 논문 내용을 너무 진지하게 받아들이는 사람들 때문에 논란이 생기자 "말도 안 되는 가설을 엄밀하게 설명하는 논문이 있다면 어떻게 읽어야 할까요?"라며 본인의 의도를 설명하는 코멘트를 올렸다. 여기서 저자는 자신의 논문에 대해 'non-study'라면서, 아무리 방법론적으로 맞는 것처럼 보여도 실험 내용 자체가 현실과 동떨어져 개연성이 떨어진다면 처음부터 잘못된 실험이라고 설명하고 있다. 또한 마지막에 "이 논문은 종교와 아무 관련이 없습니다. 저는 기도가 종교를 믿는 분들께는 진정한 위로와 도움이 될 수 있다고 생각합니다. 그렇지만 그걸 가지고 임상실험을 진행해야 한다고는 생각치 않습니다."라고 덧붙였다. 한마디로 '''데이터나 실험 방법이 형식적으로 옳다고 해서 제대로 된 실험연구가 되는 것은 아니라는 것이다.'''
그렇지만 그 후로도 이 논문을 진지하게 받아들이는 사람들이 있어서, 진지하게 기도가 환자의 건강에 득이 될 수 있다는 주장을 하는 사람들이 줄기차게 인용하고 있다. 또한 이러한 일련의 사건들은 BMJ의 크리스마스 장난에 회의적인 시각을 불러오는 계기가 되기도 했는데, BMJ는 세계적으로 매우 권위가 높은 저널이고, 그런 저널에 이런 장난질을 영구적으로 남기면 불가피하게 오독이 생긴다는 주장이다. 여러모로 생각할 거리를 많이 던져주는 연구다.
사실 BMJ 크리스마스 이슈에 실리는 논문들은 종종 정치적/과학철학적 주장을 함의하고는 한다. 예를 들어 Smith & Pell(2003)은 증거 기반 의학(EBM)의 극단적인 신봉자들을 까며 "낙하산의 안전성을 검증하는 이중맹검을 통한 무작위의 임상시험이 없으니 낙하산의 안전성을 검증하기 위해서 '''너네들이 한 번 뛰어내려 봐라'''"라는 요지의 논문[19]을 게재한 바 있다. 물론 논문을 직접 보면 알겠지만, 정말로 무작위 임상 시험 없이 아무 치료법이나 쓸 수 있다는 소릴 하는 건 아니다. 그저 이중맹검 실험 같은 걸 항상 모든 경우에 실행할 수 있는 것은 아니며, 이런 실험이 불가능한 상황에선 관찰 데이터만으로도 치료법의 효과가 명백하다면 임상에서 써먹는 것이 이득이라는 이야기일 뿐이다.
어쨌든 이 사례는 본문의 초능력 논문과는 완전히 다른 경우다. 초능력은 저자가 정말로 진지하게 믿고 연구한 것이고, 신앙치료 쪽은 저자 자신도 장난으로 쓴 것이기 때문이다.

6. 관련 문서



[1] Bem, D. J. (2011). Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect. Journal of personality and social psychology, 100(3), 407. "미래 예측하기: 인지 및 정동에 관련된 비정상적인 소급적 영향의 실험적 근거"[2] Volume 100, Issue 3, 2011.[3] 단, 학계의 추앙과 후빨(…)까지는 없었으므로 "교과서적인" 사례라고는 하기 어렵다.[4] 2018년 11월 기준으로, 구글 스콜라에서 확인되는 Advances in Experimental Social Psychology에 실린 벰의 1972년 논문의 피인용수는 7500회가 넘는다.[5] 물론 이 이론을 오늘날 곧이곧대로 받아들이는 심리학자들은 더 이상 없다. 현재까지 미국심리학회(APA)에서 말하는 동성애의 원인은 "아마도 유전과 환경의 상호작용 뭐 그런 거겠지만 어쨌건 현재로썬 알 수 없음" 정도다.[6] 《Psychological Bulletin》 에 게재되었던 것으로, Bem & Honorton(1994) 참고. 물론 이것도 학계에 의해 탈탈 털렸다. 특히 리처드 와이즈먼에게.[7] Wagner & Monnet, 1979.[8] 물론 t-검정 자체가 데이터의 정규성을 가정하므로, 이를 보완하기 위해 비모수적 이항검정을 함께 실시하였다.[9] 연구자가 자기 가설을 입증해 주지 않는 데이터는 슬쩍 숨기고 출판하는 경향을 말한다. 이와 관련하여 p-해킹 문서도 함께 참고.[10] Galak, LeBoeuf, Nelson, & Simmons, 2012.[11] 벰의 연구에서 CI= .13~ .45, 재현 문헌에서 CI= -.02~ .07.[12] 벰의 SW에서 CI= .02~ .17, 다른 SW에서 CI= -.04~ .07.[13] Type 1 error. 영가설의 잘못된 기각을 의미한다.[14] 이쯤에서 노파심에 언급하지만 벰이 타락한 과학자라거나 재야과학자라거나 하는 인물은 절대 아니므로 절대로 오해하면 안된다.[15] 즉 이 연구가 옳다는 가정을 토대로 자신의 연구를 진행했다는 의미인지[16] Leibovici, L. (2001). Effects of remote, retroactive intercessory prayer on outcomes in patients with bloodstream infection: randomised controlled trial. BMJ, 323(7327), 1450-1451.[17] 환자 얼굴도 안 보고 진료 기록만 가지고 기도한 것.[18] 이미 치료가 끝나고 결과가 나온지 4~10년 후에 기도한 것.[19] Smith, G. C. S., & Pell, J. P. (2003). Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ, 327, 1459.