자료 수집
'''data collection'''
연구에 직간접적으로 필요한 일체의 정보를 얻기 위한 수집 활동 및 이를 지원하는 모든 과정.[1] 자료수집은 사회과학의 연구를 하기 위해서 대단히 중요한 부분이며, 실제로 어떤 연구가 받아들여지지 않을 경우에는 이것이 잘못되어 학계의 비판을 받는 것인 경우도 많다.
이 바닥에서 꽤 유명한 말이 있는데, '''"쓰레기를 집어넣으면 쓰레기가 나온다"'''(Garbage in, garbage out)이다. 다시 말해, 자료수집이 제대로 되지 않으면 이후에 아무리 실험설계가 좋아도, 아무리 훌륭한 질문지를 만든다고 해도, 아무리 이상적인 면접을 진행한다고 해도, 그렇게 해서 얻어진 데이터의 가치는 그저 쓰레기일 뿐이라는 뜻이다. 그래서 사회과학 분야의 수많은 연구자들은 자료수집을 세심하게 준비하고 설계하는 경우가 많다.
이하의 종류 중에서 문헌연구법을 제외한 모든 수집방법들은 공통적으로 하나 이상의 표본을 구해서 연구하게 되는데, 이 경우 표본조사의 통계적 신뢰성과 진실성도 마찬가지로 중요해지게 된다. 만일 표본을 추출할 필요가 없는 연구는 모집단 전체를 대상으로 하게 되므로 가장 정확하게 현실을 알려주지만, 그만큼 시간과 비용이 기하급수적으로 증가하게 되기에 인구학이나 정책학, 국정운영의 일부 분야에서만 쓰이고 있을 뿐이다.
연구자는 반드시 하나의 자료수집 방법을 고집할 필요는 없으며, 가능한 한 다각도의 여러 자료들을 수집하여, 그것들이 모두 같은 방향을 가리키고 있는지를 확인해야 한다. 소수를 대상으로 중점적인 연구를 시행했다면, 다른 한편으로는 대규모 표본을 대상으로 다소 피상적인 연구를 병행하는 것도 좋다. 정성적 데이터를 확보했다면 이제 정량적 데이터를 확보하기 위해 발바닥에 불이 나도록 뛰어야 한다. 이처럼 다양한 자료수집 방법을 동원해야 하는 이유는, 어느 하나의 방법이 무조건 옳은 것은 없으며, 각각 장점과 단점이 굉장히 명확하기 때문에 서로가 서로를 보완할 수 있도록 해야 하기 때문. 삼각검증 항목도 함께 참고.
이하의 내용은 고등학교 교과과정 중 사회문화 과목에서도 첫 단원에서 간략하게 접해보게 된다. 사회조사분석사 자격증을 준비하는 사람들도 열심히 익히는 내용이다.
(가나다순)
해당 항목 참고.
타인의 기존 연구를 통해서 이미 축적되어 있는 데이터를 수집하는 방법.
'''거의 모든 연구는 일단 이것부터 시작한다.''' 일단 어느 연구주제를 설정했다면, 그것이 인류 역사상 최초로(…) 관심을 끈 주제가 아닌 이상, 누군가는 분명히 여러분보다 먼저 그 주제에 관심을 갖고 뭔가 연구를 해 놓은 흔적이 있다. 아이작 뉴턴의 유명 어록을 약간 변형해서 설명하자면, 어떤 분야의 거인이 되기 위해서는 먼저 거인의 어깨 위에 올라서야만 한다. 남의 연구와 기여의 내용은 싹 무시하고 자기 혼자만의 이론체계를 세우는 걸 두고 보통 독자연구라고 부른다.(…) 엄밀한 과학 분야에서 이런 짓을 했다가는 유사과학이라는 딱지가 붙을 수도 있다.
예를 들어 여러분이 광고의 특성에 관련된 소비자 반응의 차이를 연구하고자 한다면, 광고에 대해서 연구한 경영학 관련 분야나 심리학의 몇몇 분야들을 우선 찾아다니면서 그 분야 권위자들의 연구를 찾아볼 필요가 있는 것이다. 그리고 그것들을 모두 섭렵한 후, 그들의 책더미 위에 올라앉아서, 비로소 "어라, 이거 이상하군. 그렇다면 이건 왜 이렇지?" 라고 혼잣말을 중얼거려야 하는 것이다. 반대로 만약 여러분이 전혀 뜬금없는 주제, 이를테면 외계인심리학(…) 같은 것에 흥미가 생겼다면?[2] 그래도 문헌연구를 해야 한다. 왜냐하면 인간과 외계인의 심리 사이에 차이가 없을 것이라고 전제하는 영가설(null hypothesis)이 필요하기 때문. 인간과 외계인이 어떻게 다른지를 이해하려면 먼저 인간의 심리가 어떤지를 알아야 하기 때문에 여전히 심리학 관련 연구성과들에 통달해야만 한다.
물론 여러분이 논문을 쓰는 게 목적이 아니라 저널리즘이나 공무수행 등으로 뛰고 있다면, 그 대상이 꼭 학술연구 관련 문헌일 필요는 없다. 기존에 존재하는 신문기사, 인터넷 기사, 서적, 간행물, 잡지, 동영상, 인터넷 덧글(…)까지도 연구주제에 따라서는 얼마든지 문헌연구법의 대상이 된다. 이쯤되면 일반인 수준에서도 웬만큼 지식축적에 관심과 흥미가 있는 사람이라면 늘상 하는 것일 따름. 어떤 연구에 필요한 사전 배경지식 확충의 성격이 강하기 때문에, 이것만 하고 끝내는 연구는 연구가 아니라 그냥 일반인들의 약간은 하드(?)한 취미생활이라 불러야 할지도 모르겠다.
문헌연구법은 연구자가 즉시로 1차자료를 수집하기 어려운 여건이거나, 연구자에게 당장 시간과 예산이 주어지지 않은 상태이거나, 연구자가 그 분야에 대한 사전지식을 충분히 확보하지 못한 상황에서 필수적이다. 무엇보다도, '''자신의 관심분야와 실제 그 학문의 큰 흐름(트렌드)을 함께 파악하여 연결하기 위해서도 필요하다.''' 한편 문헌연구법의 한계는, 각 문헌들의 신뢰도를 개별적으로 측정할 필요가 있으며,[3] 교차검증 없이 신뢰도가 낮은 문헌을 연구의 기반으로 삼을 경우 자신의 연구도 함께 쓸모없어진다는 점이다. 더불어, 문헌의 내용을 고스란히 받아들이는 것이 아니라 연구자가 주관적으로 해석할 여지가 생긴다는 문제도 있다.
문헌연구법에 있어서 주로 활용되는 것은 각종 학술 데이터베이스 및 구글 스콜라, 서지관리 소프트웨어 등이다. 대학원에 입학하면 도서관에서 상세하게 설명해 줄 것이다.
특정 사례에 대하여 연구목적에 부합하도록 자료를 측정하는 방법. 영어로는 "case study" 라고도 불린다.
일반적으로 사회과학이나 자연과학 모두 사례연구법은 별로 좋아하지도 않고 잘 쓰지도 않는다. 반면 교육학이나 임상심리학과 같은 일부 분야에서는 나름대로의 가치가 있는 듯. 짐작하듯이 사례연구법의 한계는 매우 명확해서, 표본추출의 한계로 인해 해당 특정 사례를 일반화하는 것도 불가능한 데다, 인과관계를 밝히는 것도 불가능하고, 일반적으로 질적 자료로 간주되기 때문에 계량화 역시 막막하다는 점이다. 게다가 연구자의 주관이나 편견이 반영될 위험도 존재한다!
간혹가다 뇌과학 분야에서는 사례연구가 쓰이기도 한다. 물론 이런 분야에서는 일반화의 문제가 좀 더 수월하며, 연구윤리로 인해 실험과 같은 다른 연구방법들이 크게 제약을 받는다는 점도 감안해야 한다.[4] 예를 들어 어떤 사람이 정말정말 우연한 사고로 인해서 정말정말 우연히 측두엽 내측 손상이 발생했다고 가정하자. 이 환자가 병원에 발을 들여놓은 결과로 인류의 뇌전증 지식은 크게 발전하게 된다.(…) 또는 뇌의 다른 문제로 인해(ex.뇌종양) 뇌의 일부를 잘랐더니 전혀 예상치 못한 이상한 부작용이 발생할 수도 있다. 분리뇌에 대한 연구성과도 이것에 상당 부분 의존한 바 있다.[5]
일반인들 사이에서는 나름대로 자주 볼 수 있다. 당장 성형외과 광고가 흔히 이렇고 개미들도 주식시장의 특정 주의 추세를 예측하기 위해 동원하는 경우가 있다.
해당 문서 참고.
해당 문서 참고.
질문지법의 한 종류. 사전에 준비한 질문지를 표본추출된 피조사자에게 우편으로 보내서 답안을 회신하도록 하는 방식이다.
어찌 보면 복잡할 것 같지만, 의외로 편한 방법이다. 우선 우편조사법은 연구자가 연구의 주제와 목적, 성격에 대해서 차분하게 준비해서 잘 정리할 여유가 있다. 게다가 우편 비용과 종이값, 잉크값만 빼면 연구자가 실제로 연구비를 들일 만한 건덕지가 별로 없어서 경제적이기도 하다.[6] 또한 일반적인 질문지법에 비해서 지리적 한계를 더 잘 극복할 수 있는데, 예를 들어 균일한 표본추출을 위해 전국 팔도에 있는 피조사자들에게 우편을 보내야 한다면, 각지에 흩어진 소수의 피조사자들을 일일이 쫓아다니며 질문지를 주는 것보다는 훨씬 수월하다. 또한 연구자와 피조사자가 얼굴을 마주 볼 일도 없어서 "태도 변인" 을 무시할 수 있게 된다.
피조사자 입장에서도 꽤 편한데, 익명성이 보장되는 것이 가능하며, 가만히 앉아있기만 해도 우편 배달부가 알아서 집으로 찾아와서 친히 질문지를 건네주게 되므로(…) 수고롭게 연구자를 찾아갈 필요가 없다. 또한 우편조사법은 일반적인 질문지법보다 응답에 필요한 시간이 더 넉넉해서, 시간적 여유를 갖고 응답할 수 있게 된다.
그러나 우편조사법은 역시 나름의 단점을 갖고 있다. 가장 큰 문제는 '''처참할 정도로 낮은 회수율.''' 일반적으로 10~25% 정도의 회수율을 자랑(?)하며, 그 이상 회수되었다면 운이 좋은 것이다. 피조사자가 막상 우편을 받아보고 나서 "뭐야 이건" 하고 던져버릴 수도 있고, 개인적으로 바쁜 일이 생겨서 응답을 못 할 수도 있고, 한동안 출타중이어서 우편을 제때 확인하지 못할 수도 있고, 보내는 것을 깜박하고 잊어버릴 수도 있으니... 그 외에도 문제점은 수두룩한데, 주변 사람들이 피조사자 대신 질문지를 완성하거나 주변 사람들의 압력이나 부추김이 반영될 우려가 있다.[7] 더불어, 발송으로부터 오랜 시간이 지난 후에 회신되는 자료를 처리하기가 곤란하다는 점, 질문지 각 질문 항들의 독립성을 보장하기가 어렵다는 점[8]도 있다. 현대 대한민국에는 별 의미가 없지만, 질문지법이 다 그렇듯이 문맹자에게 쓸 수 없는 방법이기도 하다.[9]
우편 회수율을 높이는 방법은 몇 가지가 있는데, 조사를 실시하는 연구자나 연구기관의 권위를 강조하는 방법,(…) 질문지를 뭔가 고급스럽게 만들어서 시선을 사로잡는 방법, 질문지를 길고 장황하게 만들기보다는 짧고 쉬워 보이게 만드는 방법, 익명성을 보장한다는 약속을 하는 방법, 질문지 겉봉에 연구자의 연락처를 공개하는 방법, 반송용 봉투와 우표를 동봉해서 발송하는 방법, 피조사자가 바쁠 것으로 여겨지는 날짜는 피하는 방법 등이 있다. 이래도 안 될 것 같다 싶으면 별도로 자잘한 사례나 기념품을 주겠다고 약속할 수도 있고,(…) 정 안 되겠다 싶으면 편지나 전화로 독촉(follow-up)을 할 수도 있다.
질문지법과 면접법이 섞인 형태로, 위의 우편조사법에서 조금 더 장단점이 명확하게 드러나는 방법이다. 일반적으로 컴퓨터의 보조를 받는 자료수집(CADAC; Computer Assisted Data Collection)이라는 수집방법의 한 종류에 속하지만, 대중적으로는 사실상 서로 의미가 통하는 모양. CADAC의 다른 수집방법을 일부 들자면 다음이 있다.
인터넷조사법에 장점이 없다고는 할 수 없는데, 가뜩이나 편리한 우편조사법의 장점이 더욱 극대화되었다고 보면 된다. 게다가 작성하는 것도 일일이 손으로 글씨를 써야 하는 우편조사법에 비해 훨씬 빠르고 쉬우며, 클릭 몇 번이면 발송이 완료된다! 연구자 입장에서도 별도의 코딩작업 따위는 필요없이 컴퓨터가 알아서 취합해서 데이터를 산출하고, 필요하다면 응답빈도 등의 통계까지 내 준다!
이 때문에 일부 인터넷조사법은 아예 특정 네티즌들을 패널 자격으로 세워서 패널조사법과 결합하여 운용하기도 한다. 인터넷조사법의 단점들을 최대한 보완하고, 장점을 최대화시키면서 패널조사법의 장점도 함께 살리는 것. 이런 인터넷 조사기관의 패널들은 다양한 혜택을 받게 되는데, 설문 한 건당 참여시 포인트 얼마, 월간 설문 몇 건 이상 참여시 마일리지 얼마, 신규 패널에게는 문화상품권 얼마, 설문참여 1등 패널에게는 제주도 여행 상품권, 이런 식으로 인센티브를 제도화하여 더 많은 참여를 유도하게 된다. 이렇게 한다고 하더라도 질문지법 특유의 한계점들 중 상당수는 만회할 수 없어서, 여전히 패널의 대리응답 가능성이나 불성실한 응답의 가능성은 배제하기 어렵다.
인터넷조사법의 대표적인 예로는 Amazon Mechanical Turk(MTurk)가 있는데,[12] 나름대로 표본대표성을 보장하면서 신속하고 정직한 답변들을 받아볼 수 있다는 장점으로 인해 사회과학자들의 각광을 받았다. 그러나 곧 이들이 알고보니 죽치고 MTurk 에 앉아서 연구참가자로 뛰며 대충대충 응답하고는 사례비만 낼름 받아 챙기는 "프로패널러"(...)가 아니냐는 의혹이 제기되었고,[13] 그 때문에 집중력 확인 설문지(ACQ)가 개발된다거나[14] 또는 CrowdFlower, Prolific Academic 같은 다른 사이트를 새로 알아본다거나[15] 하는 노력들이 이어지고 있는 중이다.
해당 문서 참고.
질문지법의 한 종류로, 일정한 장소에 피조사자들을 모아 놓고 사전에 준비한 질문지를 배포하여 작성하도록 하는 방식이다. 흔히 말하는 폴(poll)과도 의미가 통한다.
특정 집단이나 조직, 특정 동질적인 구성원들을 대상으로 자료를 얻는 것인데, 예를 들어 대학교에서 교수가 학기 마지막 즈음에 자신의 강의를 평가할 수 있도록 설문지를 나누어 주고 피드백을 받는 것을 들 수 있다.[16] 여기서 연구의 주제가 되는 모집단은 그 집단의 전체 혹은 조직의 전체가 되며, 특정 장소에 모인 소수의 피조사자들이 표본집단이 된다. 즉 이렇게 취합된 데이터는 그 집단 내부에서만 의미가 있으며 외부에까지 활용될 수 없다.
다른 질문지법들이 으레 그렇듯, 집단조사법의 장점은 비용을 절감할 수 있다는 것이다. 연구자가 가가호호 방문하는 것이 아니라 피조사자들이 직접 모인다는 점에서 시간을 줄일 수도 있긴 하지만, 여전히 코딩 절차 자체는 남아있으므로 아주 많이 절감된다고 하긴 어렵다. 더불어, 질문지의 내용 중 이해가 안 되는 것에 대해서는 연구자가 직접적으로 피드백을 줄 수 있으며, 무엇보다도 회수율이 대단히 높다! 작성을 완료한 사람만 제출 후 퇴실할 수 있도록 한다면 사실상 100% 회수.(…)
집단조사법의 단점은, 각 피조사자끼리 서로의 존재에 의해 영향을 받을 수 있다는 점,[17] 태도 변인이 개입할 수 있다는 점, 조사를 진행하는 장소의 영향을 심하게 받을 수 있다는 점,[18] 피조사자를 모으기 위해서는 우선 소속 단체나 기관에 협조를 구해야 하는데 이것이 쉽지 않을 수 있다는 점 등이 있다.
가장 유서 깊은 자료수집 방법이자 질적 연구의 터줏대감.[19] 현장 조사(field research)라고도 하며, 일정한 시간 동안 오감을 이용하여 연구 대상을 관찰하고, 그 결과를 상세히 기록하여 자료를 생성하는 것을 말한다.
참여관찰법은 꽤 다양한 기준들에 따라서 분류될 수 있는데, 우선 '''환경의 통제여부'''에 대해서 두 가지로 구분할 수 있다. 첫째는 통제적 관찰법으로, 실험법의 장점과 참여관찰법의 장점을 조합한 것이다. 일체의 외생변인들은 통제되며, 모든 다른 상황들이 일정한 환경에서 연구 대상의 행태나 반응을 관찰하게 된다. 심리학, 특히 발달심리학 분야에서 굉장히 자주 쓰이는데, 당장 저 유명한 마시멜로 실험이나, 장 피아제의 절벽 실험, 밀그램의 복종 실험 등등은 연구자가 실험실에서 참가자와 상호작용하면서 그 반응을 체크하는 방식으로 이루어지고 있다. 둘째는 비통제적 관찰법으로, 정성적 연구를 중시하는 현장 인류학자들 및 종교학자, 그리고 동물행동학을 위시한 여러 현장 생물학자들이 애용한다.[20] 인류학의 간판 연구법쯤으로 인식되고 있기는 한데, 사실 인류학이 "인류학적 연구가치가 있는 사회" 를 찾는다는 것이 갈수록 힘들어지고 있는데다, 인류학의 외연이 갈수록 넓어져서 서구 도시인들의 생활이나 인류의 진화, 전통문화 등등도 함께 연구하게 된 탓에 이제는 그냥 다양한 연구방법 중 하나로 간주되고 있는 듯.
그리고 '''관찰자의 역할'''에 따라서도 네 가지로 구분할 수 있다. 이를 정리하면 다음과 같다.
참여관찰법의 일반적인 장점으로는 몇 가지가 있다. 우선, 어떤 질문과 그에 대한 응답 사이에서 나타나는 왜곡이 존재하지 않는다. 즉 "태도 변인" 이 무시될 수 있다. 또한 참여관찰법은 문맹자나 유아, 동물 등 자신의 상태나 감정, 행위를 문자나 언어로 표현하지 못하는 대상에게 쓸 수 있다.[27] 더불어, 일반적으로 질문지법이 입장이 확고하지 않은 사람들에게는 회수가 잘 되지 않거나 불성실하게 응답하게 되는 반면에, 참여관찰법은 입장이 확고하지 않은 모습을 보이는 것 그 자체가 하나의 데이터가 될 수 있다. 마지막으로, 참여관찰법은 피조사자가 의식적으로 인지하지 못하는 연구주제에 대해서도 관찰 및 측정이 가능하다.
그러나 참여관찰법은 단점 역시 존재하는데, 피조사자가 자신이 관찰되고 있다는 것을 알게 되면 연구결과의 왜곡이 발생할 수 있다. 참여자적 관찰자나 관찰자적 참여자는 이러한 연구결과의 왜곡을 감수하는 방법론. 그리고, 참여관찰법은 연구자 본인의 주관이나 편견, 개인적 성향 등이 개입될 여지가 있다.[28] 또한 참여관찰법은 타인에게 공개하고 싶지 않으려는 부분까지는 관찰할 수 없다. 예를 들어, 허락되지 않은 인원에게는 공개가 금지된 비밀 의식(…)이나, 연구대상 집단 내에서 벌어지는 범죄, 연구대상의 성생활(…) 같은 민감한 주제에 대해서는 연구할 수 없으며, 설령 무리해서 데이터를 얻는다고 하더라도 연구윤리 논란에 시달리게 된다. 더불어, 참여관찰을 통해 얻은 데이터는 정성적이기 때문에 일반화에 제약이 있으며,[29] 연구자가 항상 현장에서 함께해야 하기 때문에 연구 도중에 자리를 비우거나 다른 곳으로 이동하는 것이 불가능하다. 마지막으로, 연구 도중에 예상치 못한 뜻밖의 사태가 발생할 위험이 있으며 이럴 경우 연구자가 대처하기가 힘들 수 있다.[30]
조사대상을 특정 표본집단으로 고정시키고, 동일한 질문을 그들 "패널" 들에게 반복적으로 실시하면서 시계열적 변화 데이터를 추출하는 방법이다. 정성적이면서 동시에 시계열적인 측면이 포함되어 있는 것이 특징.
패널조사법은 조사대상자의 태도 및 행동변화에 대한 정확한 분석이 가능하고, 얻어진 데이터가 불분명할 경우 추가적인 데이터를 확보하는 것이 비교적 쉽다. 이런 장점이 있는 반면, 다른 한편으로는 초기 연구비용이 상당히 많이 들어간다는 단점이 있고, 시간이 지나면서 표본 수가 점차 감소할 수 있으며,[31] 시계열 연구가 보통 그렇듯이 반복적인 질문에 익숙해지게 된다는 문제도 있다. 물론 가장 근본적인 통계적 한계, 표본추출의 대표성 역시 간과할 수 없으며, 영 좋지 않은 패널이 섞였다는 게 뒤늦게 밝혀지더라도 연구 도중에 패널을 바꾸는 것이 불가능하다.
패널조사법의 패널들을 어떤 동질적인 분야의 전문가들로 구성할 경우는 따로 델파이 기법이라고 불린다. 하단의 링크 참고.
해당 문서 참고.
1. 간략한 설명
연구에 직간접적으로 필요한 일체의 정보를 얻기 위한 수집 활동 및 이를 지원하는 모든 과정.[1] 자료수집은 사회과학의 연구를 하기 위해서 대단히 중요한 부분이며, 실제로 어떤 연구가 받아들여지지 않을 경우에는 이것이 잘못되어 학계의 비판을 받는 것인 경우도 많다.
이 바닥에서 꽤 유명한 말이 있는데, '''"쓰레기를 집어넣으면 쓰레기가 나온다"'''(Garbage in, garbage out)이다. 다시 말해, 자료수집이 제대로 되지 않으면 이후에 아무리 실험설계가 좋아도, 아무리 훌륭한 질문지를 만든다고 해도, 아무리 이상적인 면접을 진행한다고 해도, 그렇게 해서 얻어진 데이터의 가치는 그저 쓰레기일 뿐이라는 뜻이다. 그래서 사회과학 분야의 수많은 연구자들은 자료수집을 세심하게 준비하고 설계하는 경우가 많다.
이하의 종류 중에서 문헌연구법을 제외한 모든 수집방법들은 공통적으로 하나 이상의 표본을 구해서 연구하게 되는데, 이 경우 표본조사의 통계적 신뢰성과 진실성도 마찬가지로 중요해지게 된다. 만일 표본을 추출할 필요가 없는 연구는 모집단 전체를 대상으로 하게 되므로 가장 정확하게 현실을 알려주지만, 그만큼 시간과 비용이 기하급수적으로 증가하게 되기에 인구학이나 정책학, 국정운영의 일부 분야에서만 쓰이고 있을 뿐이다.
연구자는 반드시 하나의 자료수집 방법을 고집할 필요는 없으며, 가능한 한 다각도의 여러 자료들을 수집하여, 그것들이 모두 같은 방향을 가리키고 있는지를 확인해야 한다. 소수를 대상으로 중점적인 연구를 시행했다면, 다른 한편으로는 대규모 표본을 대상으로 다소 피상적인 연구를 병행하는 것도 좋다. 정성적 데이터를 확보했다면 이제 정량적 데이터를 확보하기 위해 발바닥에 불이 나도록 뛰어야 한다. 이처럼 다양한 자료수집 방법을 동원해야 하는 이유는, 어느 하나의 방법이 무조건 옳은 것은 없으며, 각각 장점과 단점이 굉장히 명확하기 때문에 서로가 서로를 보완할 수 있도록 해야 하기 때문. 삼각검증 항목도 함께 참고.
이하의 내용은 고등학교 교과과정 중 사회문화 과목에서도 첫 단원에서 간략하게 접해보게 된다. 사회조사분석사 자격증을 준비하는 사람들도 열심히 익히는 내용이다.
2. 종류
(가나다순)
2.1. 면접법
해당 항목 참고.
2.2. 문헌연구법
타인의 기존 연구를 통해서 이미 축적되어 있는 데이터를 수집하는 방법.
'''거의 모든 연구는 일단 이것부터 시작한다.''' 일단 어느 연구주제를 설정했다면, 그것이 인류 역사상 최초로(…) 관심을 끈 주제가 아닌 이상, 누군가는 분명히 여러분보다 먼저 그 주제에 관심을 갖고 뭔가 연구를 해 놓은 흔적이 있다. 아이작 뉴턴의 유명 어록을 약간 변형해서 설명하자면, 어떤 분야의 거인이 되기 위해서는 먼저 거인의 어깨 위에 올라서야만 한다. 남의 연구와 기여의 내용은 싹 무시하고 자기 혼자만의 이론체계를 세우는 걸 두고 보통 독자연구라고 부른다.(…) 엄밀한 과학 분야에서 이런 짓을 했다가는 유사과학이라는 딱지가 붙을 수도 있다.
예를 들어 여러분이 광고의 특성에 관련된 소비자 반응의 차이를 연구하고자 한다면, 광고에 대해서 연구한 경영학 관련 분야나 심리학의 몇몇 분야들을 우선 찾아다니면서 그 분야 권위자들의 연구를 찾아볼 필요가 있는 것이다. 그리고 그것들을 모두 섭렵한 후, 그들의 책더미 위에 올라앉아서, 비로소 "어라, 이거 이상하군. 그렇다면 이건 왜 이렇지?" 라고 혼잣말을 중얼거려야 하는 것이다. 반대로 만약 여러분이 전혀 뜬금없는 주제, 이를테면 외계인심리학(…) 같은 것에 흥미가 생겼다면?[2] 그래도 문헌연구를 해야 한다. 왜냐하면 인간과 외계인의 심리 사이에 차이가 없을 것이라고 전제하는 영가설(null hypothesis)이 필요하기 때문. 인간과 외계인이 어떻게 다른지를 이해하려면 먼저 인간의 심리가 어떤지를 알아야 하기 때문에 여전히 심리학 관련 연구성과들에 통달해야만 한다.
물론 여러분이 논문을 쓰는 게 목적이 아니라 저널리즘이나 공무수행 등으로 뛰고 있다면, 그 대상이 꼭 학술연구 관련 문헌일 필요는 없다. 기존에 존재하는 신문기사, 인터넷 기사, 서적, 간행물, 잡지, 동영상, 인터넷 덧글(…)까지도 연구주제에 따라서는 얼마든지 문헌연구법의 대상이 된다. 이쯤되면 일반인 수준에서도 웬만큼 지식축적에 관심과 흥미가 있는 사람이라면 늘상 하는 것일 따름. 어떤 연구에 필요한 사전 배경지식 확충의 성격이 강하기 때문에, 이것만 하고 끝내는 연구는 연구가 아니라 그냥 일반인들의 약간은 하드(?)한 취미생활이라 불러야 할지도 모르겠다.
문헌연구법은 연구자가 즉시로 1차자료를 수집하기 어려운 여건이거나, 연구자에게 당장 시간과 예산이 주어지지 않은 상태이거나, 연구자가 그 분야에 대한 사전지식을 충분히 확보하지 못한 상황에서 필수적이다. 무엇보다도, '''자신의 관심분야와 실제 그 학문의 큰 흐름(트렌드)을 함께 파악하여 연결하기 위해서도 필요하다.''' 한편 문헌연구법의 한계는, 각 문헌들의 신뢰도를 개별적으로 측정할 필요가 있으며,[3] 교차검증 없이 신뢰도가 낮은 문헌을 연구의 기반으로 삼을 경우 자신의 연구도 함께 쓸모없어진다는 점이다. 더불어, 문헌의 내용을 고스란히 받아들이는 것이 아니라 연구자가 주관적으로 해석할 여지가 생긴다는 문제도 있다.
문헌연구법에 있어서 주로 활용되는 것은 각종 학술 데이터베이스 및 구글 스콜라, 서지관리 소프트웨어 등이다. 대학원에 입학하면 도서관에서 상세하게 설명해 줄 것이다.
2.3. 사례연구법
특정 사례에 대하여 연구목적에 부합하도록 자료를 측정하는 방법. 영어로는 "case study" 라고도 불린다.
일반적으로 사회과학이나 자연과학 모두 사례연구법은 별로 좋아하지도 않고 잘 쓰지도 않는다. 반면 교육학이나 임상심리학과 같은 일부 분야에서는 나름대로의 가치가 있는 듯. 짐작하듯이 사례연구법의 한계는 매우 명확해서, 표본추출의 한계로 인해 해당 특정 사례를 일반화하는 것도 불가능한 데다, 인과관계를 밝히는 것도 불가능하고, 일반적으로 질적 자료로 간주되기 때문에 계량화 역시 막막하다는 점이다. 게다가 연구자의 주관이나 편견이 반영될 위험도 존재한다!
간혹가다 뇌과학 분야에서는 사례연구가 쓰이기도 한다. 물론 이런 분야에서는 일반화의 문제가 좀 더 수월하며, 연구윤리로 인해 실험과 같은 다른 연구방법들이 크게 제약을 받는다는 점도 감안해야 한다.[4] 예를 들어 어떤 사람이 정말정말 우연한 사고로 인해서 정말정말 우연히 측두엽 내측 손상이 발생했다고 가정하자. 이 환자가 병원에 발을 들여놓은 결과로 인류의 뇌전증 지식은 크게 발전하게 된다.(…) 또는 뇌의 다른 문제로 인해(ex.뇌종양) 뇌의 일부를 잘랐더니 전혀 예상치 못한 이상한 부작용이 발생할 수도 있다. 분리뇌에 대한 연구성과도 이것에 상당 부분 의존한 바 있다.[5]
일반인들 사이에서는 나름대로 자주 볼 수 있다. 당장 성형외과 광고가 흔히 이렇고 개미들도 주식시장의 특정 주의 추세를 예측하기 위해 동원하는 경우가 있다.
2.4. 실험법
해당 문서 참고.
2.5. 앙케트
해당 문서 참고.
2.6. 우편조사법
질문지법의 한 종류. 사전에 준비한 질문지를 표본추출된 피조사자에게 우편으로 보내서 답안을 회신하도록 하는 방식이다.
어찌 보면 복잡할 것 같지만, 의외로 편한 방법이다. 우선 우편조사법은 연구자가 연구의 주제와 목적, 성격에 대해서 차분하게 준비해서 잘 정리할 여유가 있다. 게다가 우편 비용과 종이값, 잉크값만 빼면 연구자가 실제로 연구비를 들일 만한 건덕지가 별로 없어서 경제적이기도 하다.[6] 또한 일반적인 질문지법에 비해서 지리적 한계를 더 잘 극복할 수 있는데, 예를 들어 균일한 표본추출을 위해 전국 팔도에 있는 피조사자들에게 우편을 보내야 한다면, 각지에 흩어진 소수의 피조사자들을 일일이 쫓아다니며 질문지를 주는 것보다는 훨씬 수월하다. 또한 연구자와 피조사자가 얼굴을 마주 볼 일도 없어서 "태도 변인" 을 무시할 수 있게 된다.
피조사자 입장에서도 꽤 편한데, 익명성이 보장되는 것이 가능하며, 가만히 앉아있기만 해도 우편 배달부가 알아서 집으로 찾아와서 친히 질문지를 건네주게 되므로(…) 수고롭게 연구자를 찾아갈 필요가 없다. 또한 우편조사법은 일반적인 질문지법보다 응답에 필요한 시간이 더 넉넉해서, 시간적 여유를 갖고 응답할 수 있게 된다.
그러나 우편조사법은 역시 나름의 단점을 갖고 있다. 가장 큰 문제는 '''처참할 정도로 낮은 회수율.''' 일반적으로 10~25% 정도의 회수율을 자랑(?)하며, 그 이상 회수되었다면 운이 좋은 것이다. 피조사자가 막상 우편을 받아보고 나서 "뭐야 이건" 하고 던져버릴 수도 있고, 개인적으로 바쁜 일이 생겨서 응답을 못 할 수도 있고, 한동안 출타중이어서 우편을 제때 확인하지 못할 수도 있고, 보내는 것을 깜박하고 잊어버릴 수도 있으니... 그 외에도 문제점은 수두룩한데, 주변 사람들이 피조사자 대신 질문지를 완성하거나 주변 사람들의 압력이나 부추김이 반영될 우려가 있다.[7] 더불어, 발송으로부터 오랜 시간이 지난 후에 회신되는 자료를 처리하기가 곤란하다는 점, 질문지 각 질문 항들의 독립성을 보장하기가 어렵다는 점[8]도 있다. 현대 대한민국에는 별 의미가 없지만, 질문지법이 다 그렇듯이 문맹자에게 쓸 수 없는 방법이기도 하다.[9]
우편 회수율을 높이는 방법은 몇 가지가 있는데, 조사를 실시하는 연구자나 연구기관의 권위를 강조하는 방법,(…) 질문지를 뭔가 고급스럽게 만들어서 시선을 사로잡는 방법, 질문지를 길고 장황하게 만들기보다는 짧고 쉬워 보이게 만드는 방법, 익명성을 보장한다는 약속을 하는 방법, 질문지 겉봉에 연구자의 연락처를 공개하는 방법, 반송용 봉투와 우표를 동봉해서 발송하는 방법, 피조사자가 바쁠 것으로 여겨지는 날짜는 피하는 방법 등이 있다. 이래도 안 될 것 같다 싶으면 별도로 자잘한 사례나 기념품을 주겠다고 약속할 수도 있고,(…) 정 안 되겠다 싶으면 편지나 전화로 독촉(follow-up)을 할 수도 있다.
2.7. 인터넷조사법
질문지법과 면접법이 섞인 형태로, 위의 우편조사법에서 조금 더 장단점이 명확하게 드러나는 방법이다. 일반적으로 컴퓨터의 보조를 받는 자료수집(CADAC; Computer Assisted Data Collection)이라는 수집방법의 한 종류에 속하지만, 대중적으로는 사실상 서로 의미가 통하는 모양. CADAC의 다른 수집방법을 일부 들자면 다음이 있다.
- CATI: Computer Assisted Telephone Interview - 컴퓨터의 보조를 받는 전화면접법
- CAPI: Computer Assisted Personal Interview - 컴퓨터의 보조를 받는 일대일 면접법
- CASI: Computer Assisted Self Interview - 컴퓨터의 보조를 받는 자기면접법
인터넷조사법에 장점이 없다고는 할 수 없는데, 가뜩이나 편리한 우편조사법의 장점이 더욱 극대화되었다고 보면 된다. 게다가 작성하는 것도 일일이 손으로 글씨를 써야 하는 우편조사법에 비해 훨씬 빠르고 쉬우며, 클릭 몇 번이면 발송이 완료된다! 연구자 입장에서도 별도의 코딩작업 따위는 필요없이 컴퓨터가 알아서 취합해서 데이터를 산출하고, 필요하다면 응답빈도 등의 통계까지 내 준다!
이 때문에 일부 인터넷조사법은 아예 특정 네티즌들을 패널 자격으로 세워서 패널조사법과 결합하여 운용하기도 한다. 인터넷조사법의 단점들을 최대한 보완하고, 장점을 최대화시키면서 패널조사법의 장점도 함께 살리는 것. 이런 인터넷 조사기관의 패널들은 다양한 혜택을 받게 되는데, 설문 한 건당 참여시 포인트 얼마, 월간 설문 몇 건 이상 참여시 마일리지 얼마, 신규 패널에게는 문화상품권 얼마, 설문참여 1등 패널에게는 제주도 여행 상품권, 이런 식으로 인센티브를 제도화하여 더 많은 참여를 유도하게 된다. 이렇게 한다고 하더라도 질문지법 특유의 한계점들 중 상당수는 만회할 수 없어서, 여전히 패널의 대리응답 가능성이나 불성실한 응답의 가능성은 배제하기 어렵다.
인터넷조사법의 대표적인 예로는 Amazon Mechanical Turk(MTurk)가 있는데,[12] 나름대로 표본대표성을 보장하면서 신속하고 정직한 답변들을 받아볼 수 있다는 장점으로 인해 사회과학자들의 각광을 받았다. 그러나 곧 이들이 알고보니 죽치고 MTurk 에 앉아서 연구참가자로 뛰며 대충대충 응답하고는 사례비만 낼름 받아 챙기는 "프로패널러"(...)가 아니냐는 의혹이 제기되었고,[13] 그 때문에 집중력 확인 설문지(ACQ)가 개발된다거나[14] 또는 CrowdFlower, Prolific Academic 같은 다른 사이트를 새로 알아본다거나[15] 하는 노력들이 이어지고 있는 중이다.
2.8. 일지연구법
해당 문서 참고.
2.9. 집단조사법 (폴)
질문지법의 한 종류로, 일정한 장소에 피조사자들을 모아 놓고 사전에 준비한 질문지를 배포하여 작성하도록 하는 방식이다. 흔히 말하는 폴(poll)과도 의미가 통한다.
특정 집단이나 조직, 특정 동질적인 구성원들을 대상으로 자료를 얻는 것인데, 예를 들어 대학교에서 교수가 학기 마지막 즈음에 자신의 강의를 평가할 수 있도록 설문지를 나누어 주고 피드백을 받는 것을 들 수 있다.[16] 여기서 연구의 주제가 되는 모집단은 그 집단의 전체 혹은 조직의 전체가 되며, 특정 장소에 모인 소수의 피조사자들이 표본집단이 된다. 즉 이렇게 취합된 데이터는 그 집단 내부에서만 의미가 있으며 외부에까지 활용될 수 없다.
다른 질문지법들이 으레 그렇듯, 집단조사법의 장점은 비용을 절감할 수 있다는 것이다. 연구자가 가가호호 방문하는 것이 아니라 피조사자들이 직접 모인다는 점에서 시간을 줄일 수도 있긴 하지만, 여전히 코딩 절차 자체는 남아있으므로 아주 많이 절감된다고 하긴 어렵다. 더불어, 질문지의 내용 중 이해가 안 되는 것에 대해서는 연구자가 직접적으로 피드백을 줄 수 있으며, 무엇보다도 회수율이 대단히 높다! 작성을 완료한 사람만 제출 후 퇴실할 수 있도록 한다면 사실상 100% 회수.(…)
집단조사법의 단점은, 각 피조사자끼리 서로의 존재에 의해 영향을 받을 수 있다는 점,[17] 태도 변인이 개입할 수 있다는 점, 조사를 진행하는 장소의 영향을 심하게 받을 수 있다는 점,[18] 피조사자를 모으기 위해서는 우선 소속 단체나 기관에 협조를 구해야 하는데 이것이 쉽지 않을 수 있다는 점 등이 있다.
2.10. 참여관찰법
가장 유서 깊은 자료수집 방법이자 질적 연구의 터줏대감.[19] 현장 조사(field research)라고도 하며, 일정한 시간 동안 오감을 이용하여 연구 대상을 관찰하고, 그 결과를 상세히 기록하여 자료를 생성하는 것을 말한다.
참여관찰법은 꽤 다양한 기준들에 따라서 분류될 수 있는데, 우선 '''환경의 통제여부'''에 대해서 두 가지로 구분할 수 있다. 첫째는 통제적 관찰법으로, 실험법의 장점과 참여관찰법의 장점을 조합한 것이다. 일체의 외생변인들은 통제되며, 모든 다른 상황들이 일정한 환경에서 연구 대상의 행태나 반응을 관찰하게 된다. 심리학, 특히 발달심리학 분야에서 굉장히 자주 쓰이는데, 당장 저 유명한 마시멜로 실험이나, 장 피아제의 절벽 실험, 밀그램의 복종 실험 등등은 연구자가 실험실에서 참가자와 상호작용하면서 그 반응을 체크하는 방식으로 이루어지고 있다. 둘째는 비통제적 관찰법으로, 정성적 연구를 중시하는 현장 인류학자들 및 종교학자, 그리고 동물행동학을 위시한 여러 현장 생물학자들이 애용한다.[20] 인류학의 간판 연구법쯤으로 인식되고 있기는 한데, 사실 인류학이 "인류학적 연구가치가 있는 사회" 를 찾는다는 것이 갈수록 힘들어지고 있는데다, 인류학의 외연이 갈수록 넓어져서 서구 도시인들의 생활이나 인류의 진화, 전통문화 등등도 함께 연구하게 된 탓에 이제는 그냥 다양한 연구방법 중 하나로 간주되고 있는 듯.
그리고 '''관찰자의 역할'''에 따라서도 네 가지로 구분할 수 있다. 이를 정리하면 다음과 같다.
- 완전한 참여자 (complete participant): 연구자가 연구 대상으로 설정한 집단, 지역, 조직 내에서 자신의 정체를 드러내지 않고 실제 그들 속에 섞여들어가서 관찰하는 방법이다. 마거릿 미드(M.Mead)의 사모아 섬에서의 인류학 연구가 대표적이며, 악마 숭배자들을 연구하거나 길거리 흑인들을 연구하는 학자들,[21] 언론인들 등등이 채택한다. 그 외에도 예를 들자면 일본 넷 우익들의 행태를 이해하기 위해 다큐멘터리 팀에서 정체를 숨기고 그들의 집단에 가입하는 등의 활동을 할 수 있다. 다른 방법에 비해서 더 심층적이고 더 내면적인 정보를 얻을 수 있다는 장점이 있지만, 연구 최후반부에는 어쨌든 자신의 정체를 밝히고, 연구 출판에 대한 허락을 받아야 한다는 조건이 붙는다.[22] 게다가 연구 대상과 동질화하거나 연구 대상에 대해서 최대한 실드(?)를 치려는 식으로 편향을 일으킬 위험도 있다. 심할 경우 연구자의 이데올로기 자체가 바뀌기도 한다. 쉽게 말해서 주화입마의 위험이 있다는 것.(…)
- 완전한 관찰자 (complete observer): 연구자가 연구 대상으로 설정한 집단, 지역, 조직에게 자신의 정체를 드러내지 않고 어떤 접촉이나 역할도 없이 관찰자의 성격으로만 머무르고 있는 것이다. 그 이름대로 스타크래프트의 관측선이라고 보면 딱 알맞다.(…) 이 방법은 연구윤리의 문제를 최소화할 수 있다는 장점이 있지만, 어디까지나 피상적인 데이터에 그친다는 단점도 있다. 연구자는 처음부터 끝까지 자신의 존재와 정체를 드러내지 않고 그냥 겉으로 보이는 모습만을 지켜볼 뿐이며, 그 이상의 접촉이나 교류는 절대 허가되지 않는다. 이 방법을 취할 때 관찰자는 자신이 관찰하고 있다는 사실을 최대한 숨겨야만 한다. 심리학에서의 애착(attachment)실험[23]이 대표적인 사례다.
- 참여자적 관찰자 (observer as participant): 연구자가 연구 대상으로 설정한 집단, 지역, 조직에게 자신의 정체를 드러낸 상태로 그들 속에 섞여들어가서 관찰하는 방법. 인류학자들이 애용하는 방식이기도 하지만 기자들도 많이 활용하고 있다. 예를 들어, 어떤 회사가 노사갈등으로 인해 시끄러울 때, 시사고발 프로그램의 촬영팀은 그들의 정체(?)를 노조측 간부들에게 정식으로 밝히고, 노조의 파업 현장에서 그들과 함께하면서 현장의 분위기를 전달할 수 있다. 절충형 연구법이기 때문에 장단점이 극명하지는 않지만, 어쨌든 이 방법은 위의 호손 실험과 마찬가지로 신뢰하기 어려운 데이터를 얻게 될 가능성이 크며,[24] 그와 동시에 주화입마의 가능성까지 함께 갖고 있다. 양자의 장점만 취한다고는 했는데 단점도 함께 취해버린 것.
- 관찰자적 참여자 (participant as observer): 연구자가 연구 대상으로 설정한 집단, 지역, 조직에게 자신의 정체를 드러낸 상태로 그들과 교류하지 않고 관찰하는 방법. 위의 참여자적 관찰자가 "존재를 알리고, 연구대상에 참여한다" 면, 관찰자적 참여자는 "존재를 알리고, 연구대상을 관찰한다" 고 볼 수 있다. 호손 실험이 결과적으로는 이 범주에 속한다. 유명한 사례로는 경영학 분야의 호손 실험이 꼽히는데, 불행히도 이 실험은 원래는 관찰자적 참여자로 설계된 게 아니었다. 즉, 완전한 관찰자 상태에서 연구 대상이 "어라, 누군가가 우리를 지켜보고 있는 듯?" 라고 의식하게 될 경우 데이터가 쓸모없어지게 된다는 반면교사가 된 것이다.[25] TV프로그램 〈우리 아이가 달라졌어요〉 에서도 자주 사용하는 방법이다.[26]
참여관찰법의 일반적인 장점으로는 몇 가지가 있다. 우선, 어떤 질문과 그에 대한 응답 사이에서 나타나는 왜곡이 존재하지 않는다. 즉 "태도 변인" 이 무시될 수 있다. 또한 참여관찰법은 문맹자나 유아, 동물 등 자신의 상태나 감정, 행위를 문자나 언어로 표현하지 못하는 대상에게 쓸 수 있다.[27] 더불어, 일반적으로 질문지법이 입장이 확고하지 않은 사람들에게는 회수가 잘 되지 않거나 불성실하게 응답하게 되는 반면에, 참여관찰법은 입장이 확고하지 않은 모습을 보이는 것 그 자체가 하나의 데이터가 될 수 있다. 마지막으로, 참여관찰법은 피조사자가 의식적으로 인지하지 못하는 연구주제에 대해서도 관찰 및 측정이 가능하다.
그러나 참여관찰법은 단점 역시 존재하는데, 피조사자가 자신이 관찰되고 있다는 것을 알게 되면 연구결과의 왜곡이 발생할 수 있다. 참여자적 관찰자나 관찰자적 참여자는 이러한 연구결과의 왜곡을 감수하는 방법론. 그리고, 참여관찰법은 연구자 본인의 주관이나 편견, 개인적 성향 등이 개입될 여지가 있다.[28] 또한 참여관찰법은 타인에게 공개하고 싶지 않으려는 부분까지는 관찰할 수 없다. 예를 들어, 허락되지 않은 인원에게는 공개가 금지된 비밀 의식(…)이나, 연구대상 집단 내에서 벌어지는 범죄, 연구대상의 성생활(…) 같은 민감한 주제에 대해서는 연구할 수 없으며, 설령 무리해서 데이터를 얻는다고 하더라도 연구윤리 논란에 시달리게 된다. 더불어, 참여관찰을 통해 얻은 데이터는 정성적이기 때문에 일반화에 제약이 있으며,[29] 연구자가 항상 현장에서 함께해야 하기 때문에 연구 도중에 자리를 비우거나 다른 곳으로 이동하는 것이 불가능하다. 마지막으로, 연구 도중에 예상치 못한 뜻밖의 사태가 발생할 위험이 있으며 이럴 경우 연구자가 대처하기가 힘들 수 있다.[30]
2.11. 패널조사법
조사대상을 특정 표본집단으로 고정시키고, 동일한 질문을 그들 "패널" 들에게 반복적으로 실시하면서 시계열적 변화 데이터를 추출하는 방법이다. 정성적이면서 동시에 시계열적인 측면이 포함되어 있는 것이 특징.
패널조사법은 조사대상자의 태도 및 행동변화에 대한 정확한 분석이 가능하고, 얻어진 데이터가 불분명할 경우 추가적인 데이터를 확보하는 것이 비교적 쉽다. 이런 장점이 있는 반면, 다른 한편으로는 초기 연구비용이 상당히 많이 들어간다는 단점이 있고, 시간이 지나면서 표본 수가 점차 감소할 수 있으며,[31] 시계열 연구가 보통 그렇듯이 반복적인 질문에 익숙해지게 된다는 문제도 있다. 물론 가장 근본적인 통계적 한계, 표본추출의 대표성 역시 간과할 수 없으며, 영 좋지 않은 패널이 섞였다는 게 뒤늦게 밝혀지더라도 연구 도중에 패널을 바꾸는 것이 불가능하다.
패널조사법의 패널들을 어떤 동질적인 분야의 전문가들로 구성할 경우는 따로 델파이 기법이라고 불린다. 하단의 링크 참고.
2.11.1. 델파이 기법
해당 문서 참고.
3. 관련 문서
[1] 한승준, 《조사방법의 이해와 SPSS 활용》, p.195.[2] 실제로 국제경제학자 폴 크루그먼은 조교수 시절에 《성간(星間) 무역 이론》(…)이라는 SF스러운 논문을 쓴 적이 있다. P.Krugman, 1978.[3] 예를 들어 인터넷에 떠도는 동성애 관련 썰들과 성심리학 논문들의 동성애 관련 연구내용은 다를 수밖에 없을 것이다.[4] 희귀한 뇌 손상 환자가 나타나면 연구자들이 반색하는 이유가 바로 이것이다. 실험을 하겠답시고 멀쩡한 사람 두개골을 열더니 뇌를 여기저기 잘라보거나(…) 지지거나 종양을 만들거나 하는 짓거리는 대중매체에서나 볼 수 있는 가상의 상황이다.(…)[5] 한때는 앞서 말한 뇌전증의 치료를 위해서 대뜸 뇌량을 잘라서(…) 이쪽 측두엽에서 발생한 과도한 뇌파가 저쪽 뇌반구로 퍼져가는 걸 막았기 때문.[6] 시간적으로는 절대 경제적이지 않다. 회수된 답변들을 컴퓨터에 입력하고 코딩하는 절차가 기다리고 있기 때문.[7] 초등/중학생 미성년자들을 대상으로 자료를 수집한다고 가정하면 우편조사법은 사실상 최악의 수다. 어머니가 자녀를 학원에 보내놓고 본인이 대리로 작성해서 보내주거나, 설령 자녀가 직접 작성한다 해도 "모르는 질문이 있을까 봐서" 라는 명목으로 옆에 앉아서 이것저것 참견한다면...[8] 피조사자는 연구자가 없는 상태라는 것을 이용하여, 질문지 최후반부의 보충 설명이나 연구의 진정한 의도 등을 먼저 본 다음 질문지를 작성할 수도 있다. 피조사자를 처음에는 부득이 살짝 속였다가 마지막에 진실을 밝히는 형태의 연구에서는 쓸 수가 없는 수집방법.[9] 그 외에도 질문지법의 공통적인 단점으로, 해당 연구주제에 적극적이거나 흥미가 있거나 어느 쪽으로든 입장이 확고한 사람들이 주로 참여한다는 특징이 있어서, 입장이 보다 애매하거나 먹고사니즘에 지친 피조사자들은 잘 회수가 되질 않는다.[10] 최근에는 개별화된 설문 발신이 가능해 한 사람이 중복응답을 못하도록 막는 기법도 쓰인다: 예) http://www.nownsurvey.com[11] 예를 들어 어디 CNN 같은 곳에서 "일본이 위안부 성노예 문제에 대해 더 진심으로 사과해야 한다고 생각하십니까?" 와 같은 앙케이트가 올라오면, 사람들이 읽지도 않고 "무조건 YES 누르세요!" 만 반복적으로 퍼뜨리고 다니는 경우가 많다. 흔히 말하는 "퍼뜨려주세요".[12] Paolacci, Chandler, & Ipeirotis, 2010.[13] Chandler et al., 2015.[14] Peer et al., 2015.[15] Peer et al., 2017.[16] 이런 교수평가제는 대부분 인터넷조사법과 결합하여 각 학교 포털 등에서 운영되고 있다.[17] 민감한 질문(ex.성생활)의 경우 실제보다 과장되게 응답할 수 있고, 정치적인 이슈에 대해서는 실제보다 더 중도적으로 응답할 수 있다. 은근한 경쟁심이 발동해서인 듯.[18] 애초에 장소섭외가 안 되면 조사 자체가 불가능하고(…) 기껏 장소가 확보되어도 분위기가 시장 바닥 수준이거나 건물 공사를 하고 있다면 집중력이 흐트러질 수밖에 없다. 이런 경우 질문지가 길거나, 생각을 많이 해 봐야 하는 내용일 때, 연구에 무시하지 못할 변인이 될 수 있다.[19] 단, 관찰법 자체는 질적 연구이면서 동시에 과학적 연구의 최초 시작점이기도 하다. 인류가 초창기에 과학이라는 활동을 할 때, 자연에 대한 관찰을 하지 않았다면 천문학이, 물리학이, 생물학이 발전할 수 있었을까?[20] 물론 상술했듯이, 자연과학에서는 비통제적 관찰법이라고 하더라도 일반화가 용이하다. 그래서, 열대 정글의 희귀한 개미의 생태를 관찰하기 위해 어떤 생물학자들은 실험실에서 개미를 키우지만(통제적 관찰법), 현지로 직접 들어가 자연 상태에서 그대로 관찰하는 생물학자들도 있다.(비통제적 관찰법) 대략 이 정도 차이라고 생각하면 좋을 듯.[21] 흑인의 사회적 차별을 연구한 것으로 유명한 존 그리핀(J.H.Griffin)의 경우는 좀 애매하다. 백인인 그는 일부러 몸에 검은 물감을 칠하고 흑인처럼 생활하면서 구직활동을 하고 사회생활을 했는데, 이를 두고 흑인 집단과 교류했다고 보기에는 좀 어려운 감이 있다.[22] 자료수집 도중에 정체를 드러내면 그때부터는 이하의 참여자적 관찰자가 되어 버린다. 연구 최후반부에 정체를 드러내는 것은 연구윤리의 문제 때문.[23] 이 실험을 통해 안정/불안정 애착, 혼란애착 등의 유형화가 이루어졌다. 처음부터 끝까지, 연구의 대상인 영아들은 연구자가 자신을 지켜보고 있다는 사실을 알지 못한다.[24] 예를 들어 어떤 소대장이 이등병의 고충을 체험한답시고 이등병 행세를 하면서 신병들 사이에 섞여들어갔다고 가정을 해 보자.(…) 그 소대장이 끝까지 정체를 드러내지 않는 경우와, 처음부터 "나 사실 소대장인데 이등병 생활 좀 해 보겠음 데헷♡" 이라고 대놓고 밝히고 이등병 생활을 하는 경우, 선임들의 행동패턴에 얼마나 차이가 날지 예상되지 않는가?[25] 연구자들의 본의는 완전한 관찰자를 유지하는 것이었지만, 실험설계의 한계 탓에 그만 이하의 관찰자적 참여자가 되어버려서 연구결과가 왜곡된 것.[26] 촬영 스탭들이 집 곳곳에 카메라를 설치하고 PD와 작가들이 들락날락하면서, 유아교육 전문가가 보게 될 내담자의 양육 모습은 실제와 조금 달라질 가능성이 생긴다.[27] 이 때문에 유아의 발달을 연구하는 발달심리학자들이 참여관찰법을 즐겨 사용한다.[28] 이 때문에 일부 연구에서는 가능하다면 CCTV를 동원하여, 그 찍힌 영상을 결론의 근거로 내세우기도 한다.[29] 이에 대해서는 충분히 오랜 시간 동안 장기 데이터를 수집하는 식으로 어느 정도 극복이 가능하다.[30] 극단적인 사례로, 한 저널리스트가 노숙자들의 삶을 취재하겠다고 길바닥에 나앉아서 생활한 적이 있는데, 얼마 못 가서 그만 저체온증으로 얼어죽고 말았다.(…) 이 인물은 언론인으로서의 사명감과는 별개로 그 해의 다윈상에 오르기도 했다.[31] 연구대상의 성숙(maturation) 및 중도탈락(mortality) 때문이다.