동료평가

 

  • 한자: 同僚評價
  • 영어: peer review
  • 일본어 : 査読(さどく)
1. 인사평가의 방법
1.1. 문제점
2. 학술 연구자들의 상호작용
2.1. 저자의 부담감
2.2. 기간
2.3. 심사 과정


1. 인사평가의 방법

평가의 한 방법으로 동기이거나 근접기수에 해당하는 사람들끼리 서로 평가하도록 하는 제도이다.
일반적으로 부서장이나 선임직원이 평가하는 근무평정과는 달리 동료들이 보기 때문에 상사가 보기 힘든 부분을 볼 수 있다는 장점이 있다.
간혹 대학 조모임 등에서 동료평가를 실시하는 경우도 있다. 이런 경우 무임승차자를 가차없이 공격한다. 그리고 각 조별 발표를 조장들이 서로 점수를 매기게 하는 경우도 있는데 이 경우도 동료평가의 일종이다.

1.1. 문제점

  • 친목질
친목질을 잘 하는 사람이 높은 평가를 받을 수 있고 비슷한 승진 시기가 걸린 사람들이면 서로 악의적인 평가를 내릴 수도 있다. 때문에 기여도와 관계없는 개인적인 감정으로 직무 평가를 할 위험이 있다.
대학교 조별평가만 하더라도 외모가 훌륭한 이성에게 좋은 점수를 주고 외모가 훌륭한 동성일수록 나쁜 점수를 준다든지, 성적이 높을 것 같은 학생에게는 학점을 잘 받지 못하게 하려고 나쁜 점수를 준다든지 등등 온갖 기상천외한 기준으로 제멋대로 평가하는 경우가 빈번하다. 당연히 직장 내 동료평가라 해서 다를 것은 없다. 대학생들이 대학 졸업하고 직장 들어오면 대학교에서 하던 짓을 직장에서도 똑같이 반복하기 때문.
물론 자신의 편이거나 신세를 졌거나 상대를 자신들의 아군으로 인식하는 경우 서로 동료평가에 어떻게 쓸지는 설명할 필요조차도 없다. 당연히 니편 내편 논리가 적용된다.
때문에 동료평가 도입시기 광적인 열풍이 몰아치던 초기면 몰라도 현재는 동료평가에 큰 비중을 두는 조직은 거의 없다고 봐도 무방하다. 어차피 조직은 어지간히 막장이 아닌 이상 성과가 최우선이기 때문.
치열한 승진, 이권 경쟁이 오가는 조직 특성상, 상대방을 조금이라도 깎아내릴 수 있는 수단과 방법을 가리지 않고 행하는 것이 빈번하다. 때문에 동료평가는 한마디로 고양이에 생선가게를 맡기는 격이다. 당연히 부작용들이 속출하였고 결국 공무원 조직 등에서도 동료평가 등 다면평가 등의 폐해를 자각, 이를 폐지하거나 축소하였다. 최근 대한민국 학교 교사들도 동료평가 폐지를 주장하며, 동료평가를 거부하기도 했다.
동료평가 과정에서 자신의 잘못에 대해 남탓을 시전하며, 남에게 책임을 떠넘기며 남이 책임을 지려 하지 않는다고 정치질이 나오기도 한다.
한국에서 동료평가 도입을 주장하는 측에서도 인정하는 사안이다. 같이 몰려다니는 패거리, 계파들에게 후한 점수를 주고, 자신과 어울리지 않거나 사이가 나쁠 경우 제대로 판단해보지도 않고 바로 사정없이 평가를 긁어버리기 때문.
때문에 동료평가를 도입한 곳중 많은 곳은 이러한 갈등을 피하기 위해 서로의 입을 맞추어 서로에게 무난한 평가를 주어, 동료평가가 인사고과 등에 영향을 미치지 않게 하거나, 순번을 정해 돌아가면서 좋은 평가를 몰아주기도 한다.
  • 주관적인 잣대
둉료평가의 가장 큰 문제점임과 동시에 동료 평가가 신뢰성이 전무한 이유. 객관적인 시험이나 실적등의 업무 평가를 통한 기여도 측정에 의한 평가가 아닌, 사람이 사람을 주관적으로 평가하는 것이 허다하다. 이거 때문에 업무 실적이 좋은 사람보다 업무 실적은 적당하면서도 사내정치, 정치질, 동기들 인맥 관리를 더 잘하는 사람이 승진이 더 잘되는 경우가 비일비재한 것이다. 어차피 평가는 사람이 하는 것이니 지적 안당할 정도로만 업무에 신경쓰고 나머지는 회사내 인맥관리 하며 사는게 업무 성과 낼려고 골머리를 썩는거 보다 훨씬 더 효율적인 것이다.
동료 평가의 내용들을 보면 대부분이 개인적 반감과 악감정을 완곡어법으로 써서 돌려서 특정인을 까는 경우가 허다하다. 보통 그냥 뭉뜽그려서 책임감이 없다, 책임을 회피한다, 무책임하다 등의 표현들을 쓴다. 물론 왜 자신이 어떤 것을 근거로 상대를 무책임하다 책임을 회피한다고 생각했는지 이유 설명은 전혀 없다.
참고로 직장에서 책임지는 것은 결코 만만한 게 아니다. 문제 사안의 경우 인사 고과 감점에다가 사안이 클 경우 윗사람에게 찍히는 것은 덤. 당연히 사실 근거들을 기반으로 누가 무엇을 잘못해서 그랬는지 인과관계를 명확하게 따져야 하는 사안이다. 참고로 회사에서 책임 사안에 대해 책임질 경우 보통 사유서를 받는데 이것이 이후 인사고과나 퇴직 해임등 불이익을 줄 때 사측의 근거로 사용된다.
따져보면 결국 기존의 주관적인 기준잣대에 의한 인사고과 평과와 성과 측정들을 하는 주체들이 단지 직장내 상급자들에서 직장 동료들로 바뀐 것일 뿐이다.
  • 역할의 충돌
직원들이 동료이자 동시에 서로간의 평가자가 되기 때문에 역할의 충돌이 불가피하다.

2. 학술 연구자들의 상호작용

"논문 투고가 받아들여지기 위해 충족되어야 할 첫 번째 기준은 논문 내용에 충분한 타당성이 있어야 한다는 것이다. 과학 논문은 괴짜나 사기꾼, 실력 없는 엉터리들에게 끊임없이 시달리는데, 학술지가 그런 사람들로 인해 수렁에 빠지지 않으려면 그들이 투고한 논문에 퇴짜를 놓아야 한다."

― 마이클 폴라니(M.Polanyi)

"학문은 상처 투성이의 논쟁을 통해서 발전한다."

― 프랜시스 베이컨

[image]
(출처)
같은 학자들끼리 논문을 돌려보며 평가한다고 해서 동료평가다.
학술세계에서 동료평가는 대략 두 가지로 구분될 수 있는데, 하나는 과학자 동료들 사이에 서로의 연구 아이디어나 방법론을 접해보고 나름대로의 의견을 교류하는 코멘트(comment) 또는 비평(criticism)이고, 다른 하나는 실제로 저널에서 특정 연구자의 논문을 출판하기 전에 그 질적 수준을 평가하는 과정이다. 전자는 좀 더 캐주얼한 느낌이지만, 후자는 정말로 하드코어한 과정이다.
비유하자면, 길거리 클럽들에서 출입자를 관리하는 과정이 바로 저널의 동료평가라고 할 수 있다. 클럽들이 이를 통해서 자기네 클럽의 "물" 을 관리하듯이, 저널들도 엄격한 동료평가를 통해서 자기 저널의 "물" 을 관리한다. 만일 어떤 클럽이 유독 입구에서 까다롭게 굴면서 정말 그럴싸한 사람들만 들여보내 준다면, 그 클럽 안에 있는 사람들은 일단 기본적으로 어지간히 차려입고 매력적인 사람이라고 봐도 될 것이다. 마찬가지로, 어떤 저널이 동료평가를 엄청나게 까다롭게 하면서 짜게 평가한다면, 그 저널에 실린 논문들의 가치는 그만큼 높을 것이라고 믿어도 될 것이다.
저널의 동료평가를 하는 사람들은 다시 두 종류로 나누어진다. 하나는 편집장(editor)이고, 다른 하나는 심사위원(reviewer)이다. 편집장은 자기 저널의 질적인 수준이나 내용적 측면에 대해서 책임을 지게 된다. 물론 그만큼 권한도 막강해서, 심사위원들의 의견과는 다른 결정을 내릴 수 있다. 저널이 영세할 경우 편집장이 직접 심사하기도 하고, 거대할 경우에는 부편집장(associate editor)을 두어서 역할을 분담하기도 한다. 만일 투고된 논문이 너무 쓰레기거나 반대로 세상을 놀라게 할 희대의 논문이라고 생각되면[1] 편집장은 심사위원들의 도움을 거치지 않고 독자적으로 채택(accept) 혹은 거부(reject)할 수 있다.
그러나 편집장들이 현실적으로 자기 전공분야라 하더라도 모든 논의주제에 통달하기는 힘들다. 학문의 외연은 엄청나게 넓고, 비록 편집장이 ○○학을 전공한다고 해도 ○○학 내부에서 진행되는 수많은 논의주제에서 벌어지는 최신의 흐름을 모두 이해하기란 쉽지 않다. 여기서 심사위원들의 활약이 필요하다. 심사위원들은 편집장이 적절하다고 생각되는 인물로 찾아서 요청하게 되는데, 투고된 논문과 일치하는 세부분야를 전공한 다수의 학자들이 심사위원이 된다. 심사위원들은 그 논문을 읽어보고 그 가치에 대해서 편집장에게 정보를 제공하게 되는데, 이들은 그 논문을 채택 혹은 거부할 권한까지는 없으며, 단지 채택 혹은 거부에 필요한 조언만을 해줄 수 있을 뿐이다. 가끔이긴 하지만, 마이너한 분야 혹은 막 생겨난 신생분야에서는 편집장이 그 분야 심사위원을 구하지 못해 논문이 거부되는 안습한 상황도 있긴 있다고 한다. 그래서 일부 저널들은 투고자가 원할 경우 자신이 희망하는 심사위원을 지명하여 추천할 수 있도록 배려하기도 한다.[2]
SagePub 등에서 명시하는 추천 리뷰어의 조건은 다음의 세 가지다.
  • 당신이 제출하는 원고에 대해서 사전 지식을 갖고 있지 않을 것
(The reviewer should have no prior knowledge of your submission)
  • 저자들 중의 누구와도 최근에 협업했던 경험이 없을 것
(The reviewer should not have recently collaborated with any of the authors)
  • 저자들 중의 누구와도 같은 기관에 소속되어 있지 않을 것
(Reviewer nominees from the same institution as any of the authors are not permitted)
이처럼 동료평가는 그 저널의 생명과도 같고 핵심적인 요체이기 때문에, 그 저널의 품질에 있어 결정적인 요소다. 따라서 새 논문을 발표하는 연구자는 자기 연구주제에 대해서 전세계에서 뛰는 그 분야 석학들의 파상적인 공격을 온몸으로 막아내며 방어해야 한다는 얘기가 나오는 것이다. 이것을 실패하면 백발이 성성한 최종보스급 노학자들에게서 뿜어져 나오는 내공과 포스가 여러분의 논문을 탈곡기마냥 탈탈 털어버리게 된다.[3][4] 보다 소프트하게 보자면 오래된 속담인 "머리 두 개가 하나보다 낫다"(Two heads are better than one)는 말처럼, 다른 연구자의 시선에서는 내가 놓쳤을 수 있는 결함이나 약점이 의외로 많이 발견된다. 당장 석사과정 대학원생들끼리 각자의 학위논문 주제를 놓고 난상토론을 벌여 봐도 숱하게 쏟아져나온다.
심사위원들이 논문의 저자명을 알 수도 있고 아닌 경우도 있다. 논문의 저자명을 알게 되는 경우 심사위원이 아는 사람이라고 관대하게 봐주거나 더 씹어버릴 수 있기 때문에, 논문의 저자이름은 저널의 정책에 따라 심사위원에게 전해지기도 하고 아닌 경우도 있다. 다만 논문의 저자 쪽에 심사위원을 알려주는 법은 절대 없다. 대신에 에디터는 저자들에게 각 심사위원들을 R1, R2, R3 같은 식으로 지칭하도록 안내한다.
예외적으로 특집호의 경우 거기에 실리는 논문들은 동료평가의 대상이 되지 않는다. 대신 저널 측에서 운영하는 편집위원회가 자신들이 생각하는 방향으로 특집호를 꾸리기 위해서 자체적으로 저자를 초빙하고 논문의 주제에 대해 협의한다. 한 예로, 저 유명한 앨런 소칼의 지적 사기 사건이 바로 이 특집호 논문이었는데, 이 때문에 소칼의 논문은 동료평가를 받지 않았고 그 대신 편집위원회에게서 내용이 지나치게 난해하다는 지적을 받았던 것. 물론 소칼은 자신의 계획대로 출판을 원했기에 그냥 씹었지만.
심사가 끝나고 게재가 결정되어 출판이 되었다고 해서 동료평가도 끝나는 건 아니다. 이제부터는 본격적인 오프라인에서의 대면 말싸움(…), 즉 게재 후 동료평가(post-publication peer review)라는 것이 시작된다. 대표적으로 저널 클럽(journal club) 같은 데서 그 저널을 애독하는 학자들이 모여서 비평을 하게 되고, 게재는 되었어도 의구심이 가시지 않는 문헌에 대해서는 여기서 한번 더 뒷담화를 당한다. 차후 피인용수를 높이는 데 하등 도움이 되지 않는 것. 반대로 정말 희대의 논문이다 싶을 경우에는 게재 후에 이런 과정을 거쳐서 상당한 인기를 얻을 수도 있다.
물론 저널에 있어서의 동료평가가 중요함은 부정할 수 없으나, 앞서 언급했던 코멘트나 비평 역시 그 못지않게 중요하다. 즉 저널에서 이루어지는 동료평가는 상당히 좁은 의미의 "체계화된" 절차라면, 코멘트나 비평은 보다 넓은 의미의 캐주얼한 상호작용이라고 봐도 되겠다. 특히 학술대회의 프로시딩과 같은 물건들이 포스터 발표를 할 때 중요하다. 포스터를 걸어놓고 다른 연구자들의 열람과 즉석 코멘트를 받는 것은 저널에서 받는 동료평가와는 사뭇 다르다. 실제로 그 목적부터가 저널은 이 논문이 실릴지 말지 에 대한 조언을 제공하기 위함이라면, 즉석 코멘트의 경우 그냥 말 그대로 궁금한 게 뭔지, 생각난 게 뭔지, 유사한 연구가 뭔지에 대해 질문하거나 언급할 수도 있으며 필요하다면 칭찬이나 격려도 당연히 할 수 있다. 괜히 학술세계에서 과학 공동체 활동이 중요한 게 아니다. 연구는 절대 혼자서 하는 게 아니라는 것이다.
과학적 회의주의를 다루는 사이트 한국의사과학연구소에서 강건일 교수는 과학과 과학이 아닌 것을 구분하는 기준으로서 대등한 과학자의 심사 를 거쳤는지를 확인할 것을 제안하고 있다. 동료평가가 업계에서 얼마나 중요하게 작용하는지 알 수 있는 부분 중 하나. 물론 꼭 과학분야가 아니더라도 인문학과 같은 다른 분야에서도 동료 연구자들의 평가는 매우 중요한 건 마찬가지다.
동료평가도 셀프로 할 수 있다고 한다. 이메일 계정을 잔뜩 만들어 그 계정들로 다중이짓을 하는건데 그 시초가 한국이라고... 게다가 국내에서는 상호간 익명성이 보장되는 경우도 많지 않은데다, 심사위원이 일부러 사소한 것까지 잔뜩 트집잡아서 투고자를 가혹하게 몰아붙인 뒤 조용히 술자리로 불러서 편집장에게 해당 논문을 추천해주는 대가로 200~300을 요구하는(!) 터무니없는 관행도 일부 잔존한다고 한다. 출판윤리 개념이 미숙한 나라의 과학자사회일수록 이런 경향이 심하며, 세계적으로는 이 문제로 중국 학계가 악명이 높다고.
또한 가끔이지만 국내에서는 동료평가의 전문성이 역전되는 경우도 있다. 방법론이 그다지 강조되지 않고 학문의 여건도 부족할 당시에 학위를 받은 사람들이 원로 석학이 되어 논문에 대한 평가를 하는 건데, 젊은 신진 연구자들은 해외 동향에도 빠르고 첨단 통계분석 기법에도 개방적이다 보니 간혹 리뷰어들이 듣도보도 못한 고급 연구방법을 내세우게 되곤 한다. 그러다 보니 리뷰어는 이게 왜 이렇게 분석되는 건지 이해를 못한 채 분석방법이 틀렸다고만 하고, 투고자는 이걸 일일이 가르쳐줄 수도 없고 결국 억울하게 리젝당하게 되는 황당한 일들도 종종 벌어지기도 한다.
2015년에 테일러 앤 프랜시스 그룹(Taylor & Francis Group)에서 동료평가에 대한 보고서를 냈다. (보고서 전문 보기) 많은 연구자들이 동료평가의 기능과 목적, 내용에 대해 합의하고 있었으며 소소한 개선이 필요하다는 보수적인 관점을 내놨다. 일반적으로 사회과학보다는 자연과학과 의학 등이 동료평가의 가치를 높게 평가했으며, 동료평가를 통해 방법론과 연구의 중요성, 저널이 추구하는 방향과의 합치성 등을 확인하는 것을 가장 기대하고 있다는 답변이 많았다.
동료평가도 많이 하면 상을 받을 수 있다고 한다. 2016년부터 새로 제정된 "과학의 수호자"(Sentinels of Science) 상이라는데, 상금 자체는 1,000달러 상품권 정도로 소소한(?) 편. 그러나 이는 동료평가의 중요성을 공식적으로 인정해 주기 위해 도입된 상으로, 자기 연구시간 쪼개기도 바쁜 교수들과 연구원들이 굳이 시간을 내어 타인의 연구에 대해 비평하고 도와주는 것에 자부심을 느끼게 하기 위해서라고 한다. #
꼭 상 때문이 아니더라도 젊은 연구자들이나 심지어 포닥들은 자신이 동료평가 리뷰어로 선정되기를 원하는 경우가 많은데, 눈코 뜰 새 없이 바쁜 일정임에도 굳이 리뷰어를 역임하려는 이유는 이것이 자신의 경력이 되기 때문이다. 실제로 연구자들의 이력서(CV)를 보면 동료평가 리뷰어로 뛰었던 기록들이 줄줄이 남겨져 있다. 또한 이는 아직 학계에서 기초가 부실한 이들이 확고한 인정을 받기 위한 수단이기도 하고, 또 자신이 이 분야의 전문가라고 과학자사회에서 공적으로 인정받는다는 자부심도 있기 때문에 상당히 매력적이다. 게다가 리뷰어로 뛰면서 상세하고 균형잡혀 있으며 건설적인 제안을 남기게 되면 (이미 그 분야의 석학의 위상을 누리는) 저널 에디터가 이 사람의 전문성에 대해서 눈여겨보게 되고, 이는 곧 학계에서의 명성으로 이어진다. 그래서 일부는 각종 저널들에 열심히 러브콜을 보내기도 한다고. 관련 블로그 포스트
동료평가를 믿을 수 없다면 다른 저널에 내는 게 좋다. 국내 SCI-E에서는 '연구로 인해 도출된 학술적 의미가 미흡하다'는 이유로 거절당했지만 해외 SCI에서는 '참신한 연구설계를 바탕으로 새로운 학술적 사실을 밝혀내어 기초미생물학적 의미가 크다'라고 평가하는 경우도 있다. 국내에서는 가끔 대학원생에게 리뷰를 대신 시키는 교수들이 있어서 생기는 일일수도 있다.

2.1. 저자의 부담감

이처럼 하드코어한 동료평가의 과정은 그 분야에 막 발을 들여놓는 대학원생들뿐만 아니라 테뉴어를 노리는 노련한 중진 교수들에게까지 상당한 심리적 부담감을 준다. 그러나 동료평가에서 별 지적을 받지 않고 게재 승인 (accept) 된다면 나중에 오류가 밝혀지면서 더 큰 망신을 당할 수 있다. 자신의 논문에 대해 비판이 하나도 없다면 완전무결하다며 좋아하기보다는 심사의 부실함에 대해 찝찝한 감정이 앞선다. 따라서 논문의 저자들에게는 자기 논문에 대한 전문적인 비판을 받을 권리가 있다고 관점을 바꾸어 생각할 수도 있다. 그리고 망신을 당하는 것 외에도, 발견되지 않은 오류로 인해 동료 연구자들을 엉뚱한 길로 몰아가게 될 수도 있다. 따라서 마냥 비판이 없다거나 비판을 피해갈 기회가 주어졌다는 것이 좋은 일만은 아닌 것이다. 학회에서 발표를 하더라도 아무도 궁금해하지 않는 것보다는 많은 이들이 적극적으로 논박하고 대안적 설명들을 제시할 때 자신의 연구가 급물살을 타게 되는 법이다.
여기서 유념할 것은, 연구자가 동료평가에 대해서 지나치게 겁을 먹거나 스트레스를 받을 필요는 없다는 점이다. 특히 대학원생 입장이라면 더욱 그렇다. 자신의 원고를 지도교수님께 보여드릴 때의 긴장감 정도면 충분하다. 막상 실제로 동료평가를 받아보면 셋 중 하나 정도의 비율만 정말 피가 되고 살이 되는 조언이 되고, 약간 그냥저냥하고 적당히 참고할 수 있는 리뷰가 다른 하나, 그리고 마지막으로 꼰대기질을 보이거나 오픈 마인드가 아닌 등의 이유로 인해 여러분이 봐도 좀 뭣같은(…) 리뷰가 하나쯤 된다. 분야마다 각각의 비율은 다를 수 있지만, 의외로 정말 내 연구에 당장 도움이 되는 리뷰는 생각만큼 많이 보기 어렵다. #
단적으로 말하면, 좋은 동료평가는 원고를 가혹하게 쪼아대고 탈탈 털어서 좋은 것이 아니라, 그 연구를 촉진하고 개선할 수 있기 때문에 좋은 것이다. 동료평가의 일차적 목적은 물론 에디터의 판단을 돕기 위함이지만, 실상 리뷰어에게는 어떤 판단을 할 수 있는 권력이 전혀 없다. 심하게 말하면 그냥 감상문 정도에 불과하다(…). 동료평가가 진짜로 가치 있는 이유는 그 이차적 목적에 있는데, 원고의 저자들을 도와준다는 점이 바로 그것이다. 흔한 학술대회에서 포스터 발표를 할 경우조차도, 정말로 도움 되는 코멘트는 포스터의 내용을 신랄하게 비판하는 것이 아니라, 이 연구자가 뭘 의도하고 연구를 시작했으며, 이 연구가 어떤 점에서 그 의도를 담아내는 데 실패했는지, 그리고 이를 개선하려면 어떻게 해야 할지까지 이끌어내는 코멘트인 경우가 대부분이다.[5] 동료평가 결과를 읽으면서 차후 보완방향에 대해 큰 그림이 그려지고 감을 잡게 되었다면, 그 리뷰어에게는 마땅히 감사를 표할 만하다. 반면 리뷰어가 뭐라고 비판을 잔뜩 했는데도 읽고 나서 머리에 남은 게 없다면, 그건 여러분의 문제가 아니라 그 리뷰어의 문제다. 좋은 리뷰어는 비판점이 많다 싶을 때 반드시 그 이면에 있는 근본적인 원인을 찾아내서 이를 바탕으로 그 비판점들을 묶어낸다. 각 비판 항목들이 'Relatedly, ...' 식의 문두로 엮여 있는 게 그 대표적인 사례다.
소위 '가혹한' 리뷰라고 해도 학문 공동체는 기본적으로 어느 정도씩은 완곡어법이 통하는 동네고, 거기도 다 사람 사는 곳이다. 흔히 걱정할 법한 그런 '가혹한' 평가들은 오히려 드물며, 그런 표현들을 동원하는 것 자체가 거꾸로 에디터에 대한 도전으로 받아들여질 수도 있다. 에디터는 분명히 그 원고에서 최소한의 학문적 가치를 읽어냈기 때문에 그걸 리뷰어에게 넘긴 것이기 때문이다. 싸늘한 리뷰는 에디터에게는 오히려 그 원고의 가치를 부당하게 저평가하는 잘못된 리뷰라고 여겨져, 최종 판단에서 철저히 배제될 수도 있고 심지어는 저널 측에서 그 리뷰어에게 다시는 리뷰를 맡기지 않을 수도 있다. 현실적으로 기대할 수 있는 가장 혹독한 평가라고 해 봐야 대충 'some serious concerns', 아니면 'substantial limitations' 같은 표현이 전부다. 그 이상으로는 저널에게도 저자에게도 하등 좋을 게 없다. 설령 과거 몇십 년 전에는 그런 관행이 있었던 학문분야라도 대개의 현대 학문 공동체에서는 연구의 생산성 차원에서 점차 지양하고 있으며, 일부 훈훈한(?) 분야에서는 비판이 많다 싶으면 오히려 에디터가 (최종 판단과 별개로) 저자를 격려해 주기도 한다.
간혹가다 글의 논리를 문제삼으면서 'difficult to follow' 류의 비판을 심하게 늘어놓는 리뷰가 있다면 자신 있게 거르자. 특히나 그 리뷰어가 구체적으로 어떤 문장이나 단락이 이해가 되지 않았는지 명시하지 않았다면 더더욱 마음에 담아 둘 필요가 없다. 물론 한국의 고등교육의 현실이 학술적 글쓰기(academic writing)에 대한 규율이 취약하다는 문제가 있긴 해도, 해외 대학원생들도 글쓰기 때문에 고생하는 건 마찬가지다. 거기서도 일부 랩에서는 아예 교수가 Lit Review 전용 템플릿(…)을 만들어서 대대로 공유하기도 하는 실정. 오히려 문제는 논리전개 실력보다는 퇴고 과정에서 생긴 결함 때문일 수 있다.[6]
하지만 더 큰 문제는 이 경우에도 리뷰어에게 있다. 리뷰어 하는 일이 원래 알아듣지 못할 논리를 어떻게든 알아듣고서 그걸 알아들을 수 있게 다시 쓰도록 도와주는 것이기 때문이다(…). 저자가 개떡처럼 말했을 때 리뷰어는 저자가 찰떡을 떠올렸다는 걸 찰떡같이 캐치해서 찰떡처럼 읽힐 수 있는 방법을 알려줘야 한다. 이건 현역 학자들에게도 버거운 지적 활동이다. 학부생 수준에서 예를 들자면, 수업 중에 이 말 저 말 주워섬기면서 질문했을 때 교수가 "아, 그러니까 자네는 ○○주의의 ●●성이 항상 유효할지 궁금하다는 얘기지? 그거 자네가 암묵적으로 ××접근을 가정하고 있어서 그래" 라고 대신 정리해 주고 원인까지 짚어 주었다면, 리뷰 또한 굉장히 잘 하는 유능한 학자일 가능성이 높다. 반대로 회사생활을 배경으로 다른 예를 들자면, 기껏 보고서를 써서 올렸는데 상사가 "이게 죄다 뭔 소리야, 좀 알아들을 수 있는 말로 처음부터 다시 써 와" 라고 한다면, 그 상사는 아마도 무능력한 상사일 가능성이 있다. 심지어 동료평가의 본질을 생각한다면, 보고서를 잘 쓰기 위해 직장 선배나 사수에게 조언을 구했는데 그런 식으로 반응하는 어처구니없는 상황에 오히려 더 가깝다!
물론 바쁜 시간을 쪼개어서 굳이 남의 논문까지 읽고 이해하고 비평하는 고단한 작업을 하는 것에 대해서 모든 리뷰어는 마땅히 감사를 받을 자격이 있다. 그것은 분명히 사실이다. 하지만 저자 입장에서는 그 리뷰어가 비판하는 것을 보면 그 이면에 고단함으로 인한 짜증이 있는지 아니면 동료를 위한 선의가 있는지 느낄 수 있는 것도 사실이다. 어떤 리뷰어들은 특별히 더 큰 감탄과 존경심을 자아내며, 후학들이 자신도 이렇게 리뷰해 주고 싶다는 생각이 절로 들게 만들지만, 전혀 그렇지 않은 리뷰어들도 있다. 여기서의 요지는, 동료평가라는 것이 대부분 가혹한 과정이라기보다는 건설적이고 도움이 되고 연구가 급물살을 타게 되는 계기가 된다는 것이고, 동료평가에 임할 때는 지레 겁먹기보다는 내 연구에 전환점을 만들어 줄 좋은 리뷰어와의 인연을 기대해 봐도 괜찮다는 것이다. 투고 전에는 남부끄러운 누더기 원고라고 생각했다가 좋은 비판을 받고 나서 거꾸로 자신감이 확 올라가는 경우도 분명히 존재한다.

2.2. 기간

심사에 오랜 시간이 걸린다면 심사위원이 게을러서 그렇거나(…), 혹은 의견을 주기가 너무 애매해서 준비시간이 오래 걸리거나 하는 이유인 경우가 많다. 또 품질이 나쁘고 가독성이 떨어지는 논문의 경우에는 리뷰어들이 읽기 싫어하기 때문에 리뷰가 오래 걸리는 경우가 많다. 자신의 논문이 이상하게 지체되는 것 같다고 느껴지면[7] 정중히 문의해 볼 수도 있다. #문의 메일 견본(영어)
논문의 품질이 매우 나쁘면 광탈하기 때문에 심사가 짧게 끝난다. 그리고 거절률이 높은 저널에서는 투고된 논문의 50~70% 정도는 내용을 읽어보지도 않은 채 버리기 때문에 심사가 짧게 끝난다.
학문분야에 따라 기간이 차이나는 데 대한 연구가 있는데 탑저널 기준 1999년에 투고-Final Resubmission까지 Physical Rev. B (물리학) 1.3개월, 생물학 '셀' 2.2개월, 재료공학,전기공학,수학,철학 약 5개월, 통계학, 심리학 약 18개월, 경제학 약 26개월이 소요되었다. 1975년보다 1999년이 훨씬 심사기간이 길어진 것도 확인할 수 있다. 2017년에는 더욱 길어졌을 것이다.

2.3. 심사 과정

단순한 논문 형식상의 문제는 IMRaD Format 문서 참조.
심사과정이 완전히 블라인드일 경우 교수든 동네 초등학생이든 간에 논문을 제출하기만 했다면 동등한 기준으로 판단한다. 이 때문에 황당한 일도 일어나는데, 자기가 특정 학술지에 제출한 논문이 reject됨과 동시에 자신을 해당 저널의 심사위원으로 위촉하고 싶다는 요청을 받은 경우도 있다고 한다.
이하의 서술에서 참조한 부분은 다음과 같다. 의약화학 분야의 심사 체계는 고훈영, 『SCIENCE』의 함정 수사(sting operation): Bulletin of the Korean Chemical Society(BKCS)의 대처, 화학세계 2013.11을 참조하였다. 이비인후과 분야(임상의학)의 심사는 동헌종 (1999)이 한국이비인후과학회지 6개월 심사위원 경험을 바탕으로 저술한 워크숍 자료집을 참조하였다. 기술경영 분야의 학위논문 심사는 한양사이버대학교 이지은 교수 (IT MBA, 기술경영 강의자)의 강의를 참조하였다. 산부인과(임상의학)의 심사 코멘트는 심사평을 참조하였다. 원고 편집인이 손 대는 범위에 대해서는 2009 워크숍 참조.
원고편집인 선에서 탈락[8]
1. 표절 방지 프로그램: Copy Killer, CrossCheck, iParadigm 등 프로그램을 일단 한 번 돌린다. 이 단계에서 걸리면 심사위원 손에 가지도 않는다. 특히, 문제가 커진 경우 이 표절 저자의 논문은 그 저널에 영원히 등재가 안 되는 블랙리스트에 오를 수도 있다. 적절한 인용 양식에 대해서는 인용/스타일 문서 참조.
2. 중복 게재 확인
주저자, 논문 제목, 연구실, 주저자가 그동안 투고한 유사 연구 논문 등을 구글링 하여 다른 저널에 동시에 투고하였거나 이미 발간된 것은 아닌지 확인한다. 1차 검증을 통과한 논문을 검색하였더니 다른 국가의 저널에 투고된 것으로 나온다면 거절된다.
첫번째 심사위원 선에서 탈락
1. 커버레터, 제목, 초록, 키워드 단계에서 사전심사 탈락(desk rejection)[9]
유명한 학회지에는 수많은 심사 요청이 들어온다. 네이처의 경우 연간 11,000건 들어오면 2/3은 '전문성 부족, 협소한 분야의 성과, 참신함 부족, 자료의 과대해석' 등의 이유로 빠르게 거절하고, 남은 1/3을 심사해 최종적으로 8% 정도를 수락한다. Lancet 역시 50% 정도는 심사 없이 바로 거절하고 최종적으로 10% 정도만 받는다. 따라서 이런 곳에서는 커버레터, 제목, 초록이 부실하면 본문은 읽어보지도 않고 며칠만에 탈락시킨다. 탈락 이유는 '기존 문헌에서 뚜렷이 발전된 부분이 없다' 등 두루뭉실한 이유를 댄다. 이 때 심사위원보고 '아니다! 분명히 발전된 부분이 있다! 그러니 제발 한 번만 본문을 읽어달라'고 간청하는 것은 전혀 의미가 없다.
초록에는 '연구의 목적과 목표에 대한 설명', '연구 방법 및 결과', '연구에서 도출된 결과' 등이 빠짐없이 기술되어야 하며 설득력있게 연결되어 있어야 한다. 그리고 커버레터는 단순히 요약에 그쳐서는 안 되며 '참신성, 연구의 가치, 그것이 저널 독자들에게 흥미를 끌 이유 (유용성 등)'을 설명해야 한다. 초록과 커버레터는 가장 마지막 단계에 작성되는 경우가 많은데, 투고를 서두를 경우 대충 작성되는 경우가 있다.
이전에 실렸던 연구와 굉장히 비슷한 연구를 새로 내놓을 경우, 차이점에 대해 커버레터에 언급해 주는 것이 좋다.
꼭 사전심사 탈락이 아니더라도 커버레터, 제목, 초록은 중요하다. 적절한 심사위원에게 논문을 건네주어야 논문의 진가를 알아볼 수 있는데, 별 관련 없는 분야의 심사위원에게 넘겨주면 '쓸모없다'는 이유로 거절될 수 있다.
2. 논문 분야의 적합성
특정 분야만 다루는 저널의 경우 그 분야의 논문인지 타당성 검토를 한다. 저널에서 다루지 않는 분야는 우수한 논문이든 뭐든 접수를 하지 않는다. 논문 심사를 담당할 만한 전문분야의 인력을 가지고 있지 않기 때문이다. 이 문제를 일으키지 않기 위해서는 평소에 그 저널에 실린 논문들을 조사해서 관련 분야가 맞는지 확인해야 한다.
의약화학 분야에서는 의약과 관련된 유기화학 합성 분야, 유기 합성으로 만들어진 화합물의 생물 활성에 관한 부분들을 검토한다. 천연물의 구조가 그림으로 제시되어 있으면 Scifinder로 검색을 해서 실제 구조를 확인한다. 이 단계에서 실제 구조와 논문에 제시된 구조가 전혀 다르면 그 단계에서 심사를 중단한다.
  • 논문에서 기술한 생물 활성 합성 화합물이 화학적인 면 (구조, 합성) 및 생물학적 활성 시험 결과가 있는지 검토한다.
  • 논문이 생물활성 천연물일 경우 논문에 생물활성 데이터가 기술되었는지 확인하고, 합성 화합물의 구조와 1차적인 구조 활성 연구가 수행되었는지 검토한다. 예를 들어 유기화학적인 부분 말고도 화합물의 구조, 생물활성과의 QSAR, 분자 모델링, 화학정보학 등을 같이 심사하게 된다.
    • 생물활성 천연물이 새로운 구조의 화합물이고 단지 구조 확인만 하는 논문인 경우 비합성 유기화학 분야 편집위원에게 전달한다.
  • 일부 생물활성 고분자는 고분자화학 분야 편집위원에게 전달한다.
3. 신규성(독창성) 검증
일단 관련분야 논문으로 검증이 되면 논문을 읽는다. 참고 문헌에 기존 관련 논문이 인용되었는지 살펴본다.
독창성의 기준이라면 논문의 목적, 연구대상, 재료의 크기, 방법, 결론, 결과 등을 들 수 있다.
의약화학 분야의 경우 Scifinder를 이용하여 유사 화합물 구조, 합성 방법의 유사성, 그런 구조 화합물의 기존 생물활성 데이터, 관련 논문 검색 등을 통해 1차 검증을 해서 많은 논문들을 걸러낸다.
임상의학(이비인후과)의 경우 게재불가되는 가장 흔한 유형은 증례보고에서 희귀성이 결여된 경우이다. 흔한 질환이나 특별히 새로운 치료법이 아닌 증례를 보고하면 기존에 발표된 논문을 근거로 하여 불가 판정을 내린다.
경영학, 간호학 등 현실과의 관련이 높은 학문분야에서는 연구결과가 실무, 연구, 교육 및 정책 반영에 기여하는지 역시 심사 요건이다.
독창성에 대한 기준은 심사위원마다 차이가 크기 때문에 한 곳에서 게재불가인 것이 다른 곳에서는 괜찮은 경우도 많다. BKCS의 의약화학 분야의 분자 모델링의 경우 저자들이 직접 합성을 하지 않은 것, 생물활성 시험 데이터가 포함되지 않은 것, '남이 이미 논문으로 발표한 화학구조나 생물활성 데이터를 가지고 만든 것이지 저자가 직접 실험하여 얻은 것이 아닌 것'은 거절되고 있다. 임상의학의 경우 외국에서 기존에 발표된 임상결과나 수술기법을 국내에서 처음 시도한 경우, 외국에서는 수술기구를 이미 사용하고 있지만 국내에서는 새로운 기구를 처음 사용한 경우, 외국에서는 결과가 논문으로 발표되었지만 국내에서는 보고가 없는 경우 등은 거절하는 사람도 있고 accept하는 사람도 있다.
4. 형식 및 영문
영문의 경우 원어민에게 교정을 거치는 것이 좋다. 논문/형식의 경우 형식을 잘 맞춰서 쓰되 논문 전문 편집인에게 맡기는 것이 좋다.
5. 진실성 검증
데이터가 미비한 경우, 데이터가 절대 나올 수 없는 경우 (데이터가 실험을 거친 것이 아니라 손으로 쓴 것이 의심되는 경우) 진실성 검증을 통과하지 못한다. 가령, 실험 결과 사이에 일부 서로 배치되는 부분이 있다면, 통계적인 유의함을 만들기 위해 grouping을 자의적으로 만들었거나 사기를 치고 있을 가능성이 있다.
의약화학 분야의 생물활성 데이터의 경우 어떤 생물체에 대해서 하였는지, 방법이 구체적으로 기술되었는지 보게 된다. 생물 활성 시험은 특정 질환 관련 효소나 수용체에 대한 활성 시험을 해야 하며, 특정 질환에 활성이 있다고 주장하지만 관련 목표 단백질에 대한 데이터가 없을 경우 거절된다.
이비인후과의 경우 흔히 사용되는 내시경의 직경이 4mm나 2.7mm인데 뜬금없이 3mm를 사용한 것을 들고 오면 진실성에 대한 의심을 사게 된다. 어느 회사의 어느 제품인지 질의하여 의심스러우면 거절된다.
사람을 대상으로 한 연구는 연구목적에 맞는 연구대상자를 선정하였는가가 중요한 기준이다. 이비인후과의 경우 임상환자를 대상으로 한 경우에 선택기준(inclusion criteria), 제외기준 (exclusion criteria)가 불명확하거나 대상선정이 논문의 목적에 맞지 않을 때 반드시 거절한다. 이는 연구방법 상의 중요한 오류이기 때문에 조금 수정하는 정도로는 통과하기 어렵다.
의료 관련 학문에서는 연구윤리를 어기면 심사 대상이 아니다.
그 외에 조금 애매한 부분도 있을 수 있다. 이비인후과의 경우 primer를 그릇되게 선택하거나 antibody가 비특이적인 경우 등 재현성이 떨어지는 경우 고심끝에 불가 판정이 내려질 수 있다. 이는 심사위원마다 다르므로 다른 저널에 제출하는 것이 좋다.
실험 결과를 잘못 해석하거나 과대 해석한 경우 revision 정도로 게재할 수 있는 경우가 많다.
매우 새로운 내용, 매우 어려운 내용의 경우 심사위원도 이해하기 어려운 경우가 있다. 아주 중요한 주제라서 반드시 이해해야만 하는 내용이라면 그리고리 페렐만의 케이스처럼 몇 년의 시간을 두고 검증하겠지만, 시덥잖은 주제로 보인다면 그런 정성을 들이기보다는 'Introduction이나 Discussion이 부실하다'는 이유로 거절하는 게 손쉽다. 그래서 특이한 방법론을 쓸 때는 왜 그걸 써야만 하는지 설명해주고 그 방법의 사용에 대해 자세히 설명해줄 필요가 있다.
6. 이론적 조망
사회과학 저널에서 "어떤 이론을 배경으로 하겠다는 건지 잘 모르겠다" 거나 "이론적 바탕과 무관한 가설이 포함되어 있다" 는 비평은 리젝을 불러오는 경우가 많다. 정책 보고서 같다는 비판을 받게 된다.
다른 심사위원들과 함께 판단
7. 첫 심사위원이 심사하였을 때 여기까지 통과한 경우 다른 심사위원에게 보낸다. 이 때 첫 심사위원의 의견, Scifinder를 통해 얻은 관련 논문 제목 등을 함께 첨부한다.
8. 수정
  • 설문조사에서 selection bias나 small sample로 인해 논문 결과를 일반화할 수 없다고 판단하는 경우가 있다. 표본 수를 늘리라는 요구를 한다. 실증적 연구방법을 쓸 때는 충분한 데이터, 설문조사를 할 수 있는 대상을 충분히 확보하는 것이 문제가 된다. 이 경우 G Power 프로그램을 활용하여 선험적 검정력 분석(a priori power analysis)을 수행하고, 요구되는 크기에 맞는 새로운 표본을 확보, 동일한 연구를 재실시하여 결과가 재현되는지 확인할 수 있다.
  • 적절한 단어의 사용.
  • 어떤 방법에 중요한 문제점이 있다면, 새로운 방법은 그 문제점을 고려해서 만들어져야 한다.
    • 특수한 조건 없이는 할 수 없다면, 일반화해서 말하기에는 무리가 있다.
  • 새로운 방법에 대해서 구체적으로 기술해야 한다.
  • 핵심적인 문제에 대해서는 길게 써야 하고, 필수적인 사진은 꼭 들어가야 한다. 반대로, 중심 문제와 관계없는 문단의 양은 짧게 줄여야 한다.
  • 의학 분과에서는 사례 수가 지나치게 적을 경우 review article로 출간하는 것은 부적절하고 case study로 분류를 바꿔서 출간해야 한다.

[1] 예: 제임스 듀이 왓슨 과 프랜시스 크릭의 DNA 발견 논문[2] 사실 이것은 투고자 입장에서는 좋은 제도이지만, 동료평가를 해주는 심사위원들에게는 가혹할 수 있다. 투고자들의 입장에서 동료평가를 해 주었으면 하는 연구자는 대개 그 분야의 유망하거나 이미 유명한 인물인 경우가 많고, 결국 한정된 수의 유명한 일부 연구자들이 더욱 혹사당하게 되기 때문이다. 이는 투고자가 그 분야 연구자들을 전부 알지 못한다는 한계 때문이기도 하지만, "기왕이면 실력과 명망이 있는 분이 내 논문을 첨삭 지도해 주었으면" 하는 심리 때문인 것이 더 크다.[3] 사실, 연구자들끼리 부둥부둥해주고 뭘 해도 잘했어요 잘했어요 하는 것보다는 이 편이 바람직할 것이다.[4] 연구 역사가 깊은데다 한창 인기가 있어서 엄청나게 많은 학자들과 연구자들이 갈려들어가는 유명한 분야들에서 이런 극악한 사례가 있을 확률이 높다.[5] 보통 석사 1~2학기차 즈음의 대학원생들이 교내 세미나에서 학술적 비판을 할 때 착각하기 쉬운 부분이다. 석사 1학기차 학생도 흔한 연구의 문제점은 얼마든지 집어낼 수 있다. 하지만 그 연구를 체계화시켜 주는 것은 아무나 하는 게 아니라는 것을 직접 논문을 쓰며 뒤늦게 깨닫게 되는 것이다.[6] 논문은 각 내용들의 내적 논리가 극단적으로 정교하게 짜여진 글이기 때문에, 원고 초안을 아무리 멋들어지게 썼더라도 저자들 사이를 오가며 이곳저곳 뜯어고치는 걸 반복하다 보면 반드시 어딘가에서 아귀가 안 맞는 지점이 발생한다. 그건 정말로 어쩔 수 없다. 마치 아무리 검토해도 어딘가에서 꼭 오류를 뱉어낸다는 프로그래밍의 고충과도 유사한 점이다.[7] 분야마다 다르겠지만 계절 하나 지나가도록 under review 상태인 경우.[8] 저널의 수준이 낮을 경우 이런 절차 역시 첫 심사위원이 담당한다. 형식적으로는 그렇고, 실제로는 해당 심사위원이 교수일 경우 그 교수 밑의 대학원생이 원고편집인의 역할을 대신하게 된다.[9] 에디티지: 초록의 중요성

분류