질문지법
1. 일반적인 의미
'''질문지법'''(質問紙法)은 특정 집단에 어떤 주제에 대한 의견을 묻고 그 통계를 내는 것을 말한다. 흔히 말하는 '''설문조사'''가 이에 해당하며 의견이 대립하는 경우에 대한 찬반을 묻거나 혹은 서로 대립하지 않는 주제에 대한 선호도를 물을 때도 자주 사용된다. 또한 종합 커뮤니티 같은 데서 뜬금없이 설문조사 글이 올라올 때가 있는데, 이 경우는 딱히 뭐에 활용하고자 만든 설문이 아니라 그냥 심심해서 올린 뻘글인 경우가 많다(...).
적절히 왜곡해서 증거로 제시하면 아무리 터무니없는 것이라도 갑자기 설득력이 생긴다. 대표적으로 일본을 공격한다 같은 경우(…). 일본에선 아직도 믿고 있는 사람도 있다.
기업, 연구소, 방송국 등이 주최해서 플래카드와 홍보용품을 동원한 설문조사이거나, 대학 안에서 소속을 미리 밝히고 실시하는 설문조사가 아닌 '''일반인과 같은 옷차림의 조사자가 말을 걸어서 실시하는 설문조사'''는 대부분 사이비 종교 단체의 포교행위로 보면 된다. 대학이나 길거리, 주택가, 신도림역 같은 유동인구가 많은 곳이 타깃이다. 이런 종류의 사이비 종교단체의 포교는 가면 갈수록 절묘해지기 때문에 더욱 조심해야 한다. 설문조사하는 여대생이 자신에게 관심이 있는 줄 알고(…) 전화번호를 주고 연락을 주고받다가 갑자기 경전 공부를 하자며 덤비는 경우도 가끔 보인다. 사이비 종교나 이단들이 포교할 때에는 실제 유명 대학의 유명 학과를 거론하면서 "그곳 교수님과 함께 연구를 진행중이다", "논문을 쓸 때 필요한 자료를 모으고 있다", "무료 심리상담 및 치료를 준비중이다"[1] 같은 식으로 접근한다. 대학 연구실에서는 '''거의 길거리 보행자들을 상대로 연구를 진행하지 않는다. 기레기라면 모를까.'''[2] 자료수집 문서 참고.
그래도 의심스러운 경우에는, 다음과 같은 몇몇 기준들을 고려해 보는 것이 좋다. 이하에 걸리는 것이 있다면 사이비 종교 전도를 의심해 봐야 한다.
- 연구가 체계적이고 계획적인 느낌이 부족하다. 그러나 실제 학술연구는 극도로 계획적이며, 자신이 왜 이 연구에 참여할 자격이 있는지가 정확히 안내된다.[3] 또한 연구자와 참가자 간의 정보공유가 활발해서, 하다못해 생동성 알바만 하더라도 정말 쓸데없는 것까지 전부 알려주려고 든다(…). 참가자는 전체 일정의 상세 내용을 안내받고, 설령 일부 비밀로 하거나 부득이 기만한 것이 있을지라도 마지막에는 반드시 정확하게 안내받는다. 이를 디브리핑(debriefing)이라고 한다.
- 자신의 소속을 명확히 밝히지 않고 둘러댄다. 교수의 이름을 대지 않거나 참여 저자들에 대해 언급하기를 회피한다.[4] 그러면서 대학에서 보자는 게 아니라 자신이 직접 찾아가겠다고 하거나 엉뚱한 곳에서 중간에 만나자고 한다. 즉, 상대방의 개인정보에 대해서는 세세하게 요구하지만, 자신의 정체와 소속에 대해서는 있는 힘을 다해 숨기려고 든다.
- 자칭 연구라면서 연구동의서를 작성하게 하지 않는다. 사실 이것이 제일 중요하다. 참가자에게 연구동의서를 받아내지 못한 연구는 대학의 연구윤리위원회(IRB)에서 승인받지 못하므로, 정상적인 연구자라면 서류 작성에 초점을 기울인다. 더불어 참가자의 모든 개인정보가 관련 법률에 의거하여 철저하게 보호된다는 사실이 정확히 안내된다.
- 연구가 끝날 때 소정의 사례비를 지급한다는 약속이 없다. 의외일 것 같지만 이것 역시 연구윤리의 중요한 기준이다.[5] 사이비 종교들은 사례비 준다는 얘기는 안 한다. 도리어 자기네 책을 사라거나 약팔이를 한다거나 하지 않으면 다행. 그러나 실제 학계에서는 30분짜리 설문조사라도 하다못해 커피 쿠폰이라도 들려서 보내며, 최소한 비타500 기프티콘이라도 쏴 준다.[6]
2. 연구방법론에서 자료수집 방식의 일종
어떤 개념을 측정할 수 있는 척도를 바탕으로 구성된 질문들을 통해서 자료를 수집하는 방법. 각 질문들은 상호 관련성을 갖고 있으며, 특정 연구목적에 부합하는 방향으로 논리적으로 연결되어 있어야 한다. 잘 만든 질문지는 그만큼 우수한 데이터를 산출하지만, 못 만든 질문지는 그냥 쓰레기만 뱉어낼 뿐이다. 형태는 위의 설문지와 큰 차이는 없다. 설문지도 학술적으로는 질문지법의 일종이다.
질문지는 모든 응답자에게 동일한 양식과 형태를 갖춘 '''정형화된''' 질문을 함으로써 측정오차를 최소화한다. 흔히 생각하기로 질문지를 배포하고 응답을 회수하는 과정이 가장 힘들 것 같지만, 실제 연구자들에게 있어서 가장 힘든 과정은 질문지를 구상하고 비평한 뒤 배치하는 과정이다. 일반인들이 보기에는 "아니, 그게 뭐가 어렵다고? 질문 문장 만드는 것 정도라면 별로 어렵지 않을 텐데..." 와 같이 생각하기도 하지만, 실제로 그 질문지의 성패 여부는 제대로 된 질문 문항이 만들어졌는가 아닌가에서 성패가 갈리기 때문에 굉장히, 매우 중요한 작업이다.
실제로 사회과학 계열의 학문 전공수업을 들을때 연구방법론은 첫 학년에 거의 반드시 포함되어 있을 정도로 보편적이고 기본적인 내용인데, 그 기본적 내용 안에서 또 거의 첫번째로 나오는 내용. 그만큼 질문지법은 흔하면서도 중요한 방법이라 하겠다. 의외로 질문지를 내 놓고 어떤 요소가 미흡하거나 잘못되었는지 찾는 건 상당히 어렵다. 수능에서 사회문화를 공부한다면 맛보기로 배울 수 있다.
2.1. 적절한 질문 문항이란?
질문 문항들을 준비하면서 중요한 판단기준이 몇 가지 있는데, 우선 '''연구주제에 필요한 질문들이 빠짐없이 포함되었으며, 무관한 질문은 배제되었는가'''를 살펴봐야 한다. 연구자는 연구의 목적을 달성하기 위한 질문들을 모두 포함함과 동시에, 전체 질문의 수를 최소화해야만 한다. 자칫 불필요한 질문들이 포함될 경우, 그 자체로서도 아무런 의미가 없거니와 응답자의 시간과 수고를 공연히 들이게 하고 불성실한 응답을 초래하게 한다.[9] 더불어, '''연구와는 무관한 인구학적 문항''' 역시 존재할 이유가 없다.[10] 게다가 그것이 응답자의 거주지역, 자택 전화번호, 심지어 주민등록번호라면... 그거 전부 개인정보다! 응답자들에게 개인정보의 취급에 관련된 약관(…)을 읽히게 할 게 아니라면 그런 정보들을 모으려 하지는 말자.
일부 질문 문항들은 연구자의 주관적인 가치가 개입된 편향적인 질문이 나오거나,[11] 응답자의 성향 등을 불필요하게 추적하려는 식으로 유도신문을 하기도 한다. 또한 교묘하게 질문의 순서를 조작해 특정 답변을 유도하기도 한다.[12][13] 이처럼 '''중립적이지 못한 질문이 존재하는지'''를 확인하는 것도 필요하다. 답안 속에는 응답자가 선택할 자유를 충분히 확보하고, 응답하지 않으려는 사람들을 위해 "판단 유보" 나 "의견 없음", "생각해 본 적 없음" 등의 값(value)을 배치하는 것이 좋다. 더불어 '''이 질문 문항에서 사용된 척도가 측정의 목적에 잘 부합하는지''' 확인하는 것도 중요하다. 이에 대한 자세한 내용은 척도 문서 참고.
좋은 질문 문항은 또한 '''간단 명료하면서도 응답자가 자의적으로 해석할 여지가 최소화되어야 한다.'''[14] 예를 들어, "귀하의 수입은 얼마입니까?" 의 개방형 질문 문항에 대해서 응답자들은 월급으로 응답하는 쪽과 연봉으로 응답하는 쪽으로 나누어지게 될 것이다. 그나마 이 경우는 환산을 하면 해결이 가능하지만, 다른 예로 "귀하의 연령은 어떻게 되십니까?" 의 질문은 세는나이인지 만 나이인지 헷갈리는 사람들이 발생할 수 있으며, 이것이 제대로 탐지되기도 힘드므로 주의가 필요하다. 더불어, '''응답자가 충분히 이해할 것으로 기대되는 질문인지''' 확인하는 것도 중요한데, 예를 들어 초등학생 어린이들을 대상으로 한 질문지 조사에서는 초등학생들이 모를 것으로 생각되는 질문 문항을 가급적 포함시키지 않는 것이 좋다. 전문 용어가 부득이 삽입되어야 한다면, 각주와 같은 방식으로 별도의 설명을 기입할 수도 있다.[15]
일부 질문은 하나의 질문 문항 속에 둘 이상의 서로 다른 질문 내용을 담고 있는 경우가 있다. 이를 이중 질문(double-barreled question)이라고 하는데, '''이중 질문을 배제하고 한 질문 문항에는 하나의 질문만을 담도록 할 필요가 있다.''' 예를 들어, "우리나라 청년들의 일자리를 창출하기 위해서는 청년들의 해외 진출을 확대하고 이주노동자들의 유입을 차단해야 한다는 주장에 동의하십니까?" 의 질문을 보자. 이 질문은 "청년들의 해외 진출을 확대함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문과 "이주노동자들의 유입을 차단함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문이 겹쳐져 있다. 이 경우 전자와 후자에 대해 서로 다르게 판단하는 응답자는 혼란을 느끼게 되고, 차후 분석에 있어서도 연구자를 골치아프게 할 것이다.
마지막으로, 질문 문항의 문장은 '''가능한 한 긍정형으로 하는 것이 좋다.''' 사람들은 흔히 부정형으로 된 문장을 오독하거나 불성실하게 읽는 경향이 있기 때문에, 필요하다면 가급적 긍정형으로 문장을 바꾸어야 한다. 부득이 부정형 질문을 포함시켜야 한다면, 가능한 한 오독이나 혼란의 가능성을 줄이기 위해서 굵게 표시하거나 밑줄, 기울임 등을 복합적으로 적용하는 것이 좋다. 당장 다양한 영어능력증명 시험들에서도 유독 "NOT" 단어에는 밑줄을 치거나 대문자로 표시하고 있음을 볼 수 있다.
2.2. 사전조사
사전조사(pretest)는 쉽게 말해서 질문지의 '''알파테스트'''다. 본격적인 설문을 진행하기에 앞서서 질문지가 제대로 만들어졌는지 확인하는 단계. 소규모의 사전조사용 집단을 만들어서 그들을 대상으로 우선 조사를 실시하고, 그들에게 피드백을 받은 결과를 토대로 질문지를 보완하는 데 활용한다. 이걸 안 하고 넘어가 버리면 자칫 실제 설문 도중에 예상치 못한 문제점이 발생할 수 있다.
사전조사 단계에서 연구자가 확보해야 할 정보는 다음과 같다.
- 이 질문지의 전체적인 난이도는 적절한가?
- 이 질문지가 예상 응답자들의 관심과 흥미를 끌 수 있을까?
- 이 질문지를 작성하는 데 예상보다 지나치게 적거나 많은 시간이 소요되지는 않는가?
- 이 질문지의 예상 응답자가 편안한 마음으로 작성할 수 있을까?
- 질문 문항들에서 "모름", "무응답", "기타" 와 같은 반응이 얼마나 수집되는가?
- 사전조사 응답자들이 유독 어려움을 토로하거나 이해하지 못하는 질문 문항이 있는가?
2.3. 왜곡된 반응 세트
모든 응답자들이 성실하고 진실된 마음가짐으로 질문지에 응답해 준다면 참 좋겠지만, 불행히도 연구자가 기껏 낑낑대며 좋은 질문지를 만들어 놓아도 꼭 이상하게 반응하려는 사람들이 나온다(…). 연구자들은 응답자들로부터 수검된 반응 패턴에서 데이터를 왜곡하는 방향으로 문제가 될 수 있는 사례들을 찾았고, 이들의 세트를 유형화하고 분류하였다. 예상 가능한 반응의 세트를 거론하자면 다음과 같다.
- 개인이 보이고 싶어하는 방향으로 반응을 왜곡하는 경우
- 긍정적 허위반응(faking good): 질문지 상에서 더 좋은 사람으로 보이도록 거짓된 모습으로 반응하는 것. 이들은 자신이 실제보다 더 유능하거나, 심리적으로 건강하거나, 올바르거나, 균형잡힌 가치관을 갖고 있거나, 바람직하다고 여겨지는 등의 모습으로 보이고 싶어한다. 그 근저에는 사회적 바람직성 편향이라는 개념이 원인으로 작동하기 때문이라고 여겨진다.
- 부정적 허위반응(faking bad): 질문지 상에서 더 나쁜 사람으로 보이도록 거짓된 모습으로 반응하는 것. 쉽게 말해서 꾀병 부리기. 일반적인 질문지 조사에서는 발견되기 힘들지만, 심리검사와 같은 일부 질문지에서는 흔하게 발견된다. 이것은 연구자로부터 자신에게 더 동정적이고 지지적인 반응을 조장하기 위한 전략이라고 여겨진다.
- 개인의 반응에서 데이터에 해로운 특징이 발견되는 경우
- 극단적 반응(extreme responding): 응답자가 문항 척도의 중간을 피해서 극단적 값을 선택하려는 반응 경향성. 이들에게 있어서 중간은 없다. 전부 모 아니면 도(…). 특이하게도, 아래의 중간 반응과 같이, 이것은 문화적인 차이가 존재함이 밝혀져 있다. 즉, 동양 문화권에 비해서 서양 문화권의 응답자들이 더 많은 극단적 반응을 보인다.
- 중간 반응(moderate responding): 응답자가 문항 척도의 극단을 피해서 중간 값을 선택하려는 반응 경향성. 이들은 이것도 애매하게, 저것도 애매하게 응답하고, 자신의 선호나 입장을 분명하게 밝히지 않는다. 잘해봐야 "일부 동의" 내지는 "일부 반대"(…). 이 경우 서양 문화권에 비해서 동양 문화권의 응답자들이 더 많은 중간 반응을 보인다.[16][17]
- 응답자가 진정성이 부족한 태도로 응답하는 경우
- 묵인 반응(acquiscent responding): 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 YES 로만 밀어붙이는 경향성.(…) 많은 경우는 레알 진정성이 부족하기 때문에 반쯤 장난치듯이 응답하는 사례이지만, 간혹가다가 정말로 성격 자체가 이런 식이라서(…) 정말로 진지하게 모두 "YES" 라고 생각하는 사람들도 있을 수 있겠다.
- 저항 반응(reactant responding): 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 NO 로만 밀어붙이는 경향성. 이것 역시 위의 묵인 반응과 비슷하게 간주될 수 있다. 연구자는 응답자가 질문지를 작성할 동기가 충분한지에 대해 다시 한 번 확인할 필요가 있다.
- 패턴 반응(patterned responding): 응답자가 전체 문항들에 걸쳐서 일정한 패턴을 그리면서 응답하는 경향성. 가장 대표적인 사례는 1-2-3-4-5-1-2-3-4-5-... 같은 경우다(…). 물론 정말로 응답을 이런 식으로 하는 사람이 흔한 것은 아니다. 당장 학교에서 시험을 보더라도 답안이 저런 식으로 나오면 괜히 불안해지게 되는 게 일반적이니(…).
묵인 반응, 저항 반응, 패턴 반응의 경우 보통은 연구 데이터에 포함시키지 않고 배제한다. 특히 이는 소표본일 경우에 더욱 치명적인 오염을 초래하므로 아까워할 필요 없이 반드시 빼야 한다. 대신 "총 ~건 중에서 불성실하게 응답한 ~건의 설문지를 제외한 ~건을 최종적으로 취합" 했다는 점을 명시하기 위해서 별도의 카운트를 해야 한다. 애매해 보이는 경우는 지도교수나 책임연구원, 연구실의 박사급 선배들에게 물어보자.
2.4. 질문지 작성기법
질문지의 양식은 크게 1) 협조 요청, 2) 식별 데이터, 3) 지시문(instruction), 4) 질문 문항, 5) 인구학적 문항 순서로 구성되어 있다. '''협조 요청''' 단락에서는 조사자와 조사기관을 소개하고, 필요하다면 신상과 연락처를 공개한다. 또한 필요하다면, 응답 결과에 대한 비밀 보장을 포함할 수 있고, 설문에 응할 시 혜택을 줄 계획이라면 이 역시 여기서 언급하면 좋다. '''식별 데이터''' 단락에서는 차후 코딩작업을 위해 설문지 식별번호 및 후속조치(follow-up)용 정보, 조사자 데이터와 조사일시 데이터를 기록하는데, 특히 우편조사법에서 꼭 필요하다. '''지시문''' 단락에서는 응답 요령과 주의 사항, 행동지시 사항 등을 기입하게 된다. '''질문 문항'''은 질문지에서 본격적으로 질문을 실시하는 단계이고, 마지막 '''인구학적 문항''' 단락은 응답자의 인구학적, 통계학적 변인들을 명목측정 수준에서 확인하게 된다. 이때 질문은 응답자의 사생활을 침해하지 않도록 조심스럽게 이루어져야 하며, 설문지의 최후반부에 작성하는 것이 일반적이다.
각 질문 문항들은 기준에 따라 여러 종류로 구분될 수 있다. 우선 '''개방형 질문'''(open-ended question)은 쉽게 말해서 '''주관식'''이라고 보면 된다. 응답의 범주를 지정하지 않고 그냥 밑줄이나 공백을 두어서, 응답자가 자신의 생각을 자유롭게 기술할 수 있도록 보장하는 질문 방법이다. 이것은 다시 "제한 개방형 질문" 과 "무제한 개방형 질문" 으로 나누어지는데, 전자는 두 가지 혹은 세 가지만 순서대로 기입해 달라고 요청하는 것이고, 후자는 생각나는 대로 전부 적어 달라고 요청하는 것이다. 이것의 장점은 연구 초기단계에 활용하기가 쉽고, 이 질문에 대해 나올 수 있는 응답의 범주가 어느 정도일지 연구자가 예측하기 힘들 때 쓸 수 있다는 것이다. 또한, 연구자가 의도적으로 창의적이거나 예상치 못한 응답을 수집할 필요가 있을 때 효과적이며, 응답자에게 응답의 자유를 최대한 보장한다는 점도 있다. 반면 단점으로는 계량적 비교와 분석이 어렵고, 요약 정리 과정에서 연구자의 주관이 개입할 가능성이 있으며, 응답자들이 불필요하게 길거나 지나친 단문 형태로 응답하는 데 그칠 가능성도 있다. 또한 자기표현 능력이 부족한 일부 응답자 집단에게는 사용이 부적절하며, 대규모 표본을 대상으로 하는 경우에도 쓰기 힘들다.
다음으로 '''폐쇄형 질문'''(closed-ended question)은 쉽게 말해서 '''객관식'''이라고 보면 되는데, 응답의 범주를 지정하여 그 속에서 응답자가 하나를 선택할 수 있도록 값을 나열하는 질문 방법이다. 이것은 다시 "단일선택 질문" 과 "다중선택 질문" 으로 나누어지는데, 전자는 하나만 골라 달라고 요청하는 것이고, 후자는 여러 개를 골라 달라고 요청하는 것이다. 폐쇄형 질문의 가장 대표적인 형태가 바로 척도를 활용하는 것인데, 그 중에서도 서열 수준, 등간 수준, 비율 수준에서의 척도가 자주 쓰인다. 이것의 장점은 응답자가 답하기가 쉽고,[21] 계량적 분석이 용이하다는 것이다. 또한 코딩작업의 어려움이 절감될 수 있으며, 응답자가 대답하기 부담스러워하는 주제에도 적절하다.[22] 반면 단점으로는 빠뜨린 응답의 범주가 생길 수 있다는 점,[23] 응답자에게 연구자가 만든 응답 범주를 강요할 수 있다는 문제가 있다.
폐쇄형 질문의 특이한 형태로는 '''필터링'''(filtering)을 통한 부수적 질문(contingency question)이 있다. 이것은 특정 질문 문항에 대해서 일부 응답자만 선별적으로 응답하게 하는 방법으로, 앞선 질문 문항의 응답방향에 따라서 일부는 그냥 뛰어넘게 하고 일부는 부수적 질문에 응답하게 하는 식으로 지시할 수 있다. 이것은 몇 가지 경우에 적합한데, 애초에 일부 응답자들은 아예 응답이 불가능한 종류의 질문이 있거나, 특히 이런 질문이 반복될 때 효과적이다.[24] 또한, 일부 응답자들이 해당 질문에 대해 잘 모를 것으로 여겨질 때, 무지를 숨기기 위해 적당히 답하려는 경향을 막기 위해서도 필터링을 가할 수 있다.
질문 순서에 관련된 테크닉은 보통 '''쉽고 흥미로운 질문은 앞에, 어렵고 부담스러운 질문은 뒤에''' 배치하는 것이다. 흥미를 유발할 수 있거나, 동기를 부여시키거나, 언뜻 보기에 쉽다고 느껴지거나, 무난해 보이거나, 폐쇄형 질문들은 질문들은 앞쪽에 두어서 응답자의 참여를 독려하는 것이 바람직하다. 반대로, 생각을 많이 해야 하거나, 대답을 회피할 가능성이 높거나, 개인의 신념이나 사생활 또는 이데올로기에 관련된 민감한 질문이거나, 개방형 질문인 경우에는 뒤에다 배치함이 좋다. 의외로 사람들은 뒤에서 고전하게 되더라도 질문지 작성 자체를 포기하지는 않는데, 이는 문간에 발 들여놓기 기법(foot-in-the-door technique)의 원리와도 유사할 것으로 여겨진다. 종종 '''꼬리 끝 효과'''(tail-end effect)라고 불리는 것 역시 이와 유사하다.
2.5. 질문지 작성의 예시: 나무위키
이하는 나무위키를 주제로 가상의 질문지 작성 사례를 구상한 것이다. 각각의 각주들은 어떤 질문지 작성기법이 쓰였는지 보여주고 있다. 실제 링크에 구현한 사례나[25] 응답 결과도 등장한다.
(이하는 모바일 환경이나 일부 모니터에서는 제대로 보이지 않을 수 있다.)
물론 이 예시는 상당히 작위적이고 어색해 보일 수도 있다. 그 이유는 이 설문지가 (당연하게도) 사전조사를 거치지 않은 것이기 때문이다. 질문지를 작성했을 때 본격적인 자료수집에 앞서서 사전조사를 거쳐야 하는 이유가 바로 이것이다.
이 조사를 통해 논문을 쓴다면 측정 방법에 대한 신뢰도와 타당도는 다음과 같은 형식으로 기술된다.
본 연구는 나무위키 이용자 총 xxx명을 연구대상으로 하여 질문지법을 통해 조사하였다. 조사대상자의 일반적 사항으로는 성별, 이용연수, 이용자가 생각하는 나무위키의 장점, 주로 기여하는 콘텐츠 등 4개 항목을 조사하였다. 나무위키 이용자들의 토론 관련 특성을 알아보기 위하여 a, b, c, 토론 탭을 이용하지 않는 이유, e 등 5개 항목...
2.6. 관련 문서
3. 크레딧 설문조사
모바일 게임 등에서 설문조사에 참여하면 게임 아이템을 준다며 꼬시는 경우가 있는데, 정보를 다 빼내고는 "죄송합니다. 귀하에게 알맞은 설문이 아니었습니다" 라며 발빼기 일쑤다. 시간낭비니까 하지 말자.
4. 기타
4.1. 웹 오피스
많은 사용자들이 유용하게 쓰고 있다. 직접 만들면 주소가 생기고, 참여자가 주소로 찾아와서 답변하여 집계가 되는 방식.
다음과 같은 곳에서 지원한다.
[1] 세상에 공짜 점심은 없다. 공짜 심리상담 따위는 절대 바라지 말 것. 흔히 10회 정도의 세션에 수만~수십만 원 정도 깨지는 경우가 많다. 공짜를 강조한다는 건 이쪽에게 뭔가 다른 원하는 것이 있는 것이다.[2] 단 2010년대 중반 들어서는 연세대학교 등에서 신촌, 홍대 등지의 행인들을 대상으로 종종 현장연구를 수행하기도 한다.[3] 일반적으로 학계에서는 통계적 가공에 따라서 무선적으로 표집된 단순무선추출(SRS)을 통해 대표성을 보장받는다. 그러나 포교꾼들에게 여러분이 걸려든 이유는 그냥 만만해 보여서일 가능성이 높다.[4] 이 경우 "교수님이 이 연구가 대외적으로 알려지는 것을 꺼리신다" 는 애드립이 붙는다. 세상에 자기 연구 참가자를 외부의 제3자인 마냥 취급하는 연구는 없다. 무슨 매드 사이언티스트의 비밀 실험도 아니고(…) 그리고 학자 입장에서는 이 연구를 바탕으로 자기 이름을 알리고 성과를 내야 지위가 높아지는데 대외적으로 알리는 걸 꺼릴 리가. 물론 정부나 기업에서 의뢰하는 연구 중에는 극비리에 수행하는 것도 있긴 하지만 그걸 길 가는 사람 붙잡고 연구하진 않는다.[5] 예외적으로 심리학개론 같은 수업 중에 들어와서 설문지 쫙 뿌리고 다시 쫙 걷어가는 식의 연구는 사례비가 따로 나오지 않는다. 대신 이런 경우는 수업 시작 때 미리 강사 혹은 교수가 이런 연구에 참여하는 것에 관련된 공지를 하며, 참여 시 가산점을 준다는 점을 미리 약속한다. 우리나라의 경우 이게 이상하게 왜곡되어 참여 자체가 수업의 일부인 것마냥 취급되기도 하지만... 피험자 문서도 참고.[6] 현재는 사이비 종교 역시 설문조사를 하면서 기프티콘을 돌린다고 하는 경우가 많아, 사용하기 힘들다.[7] 생각해 보자. 당장 자기 주위에 잠재적 응답자들이 널리고 널렸는데 뭐하러 길거리까지 나가는 수고를 할까? 물론 표본대표성 같은 걸 생각한다면 나갈 수도 있겠지만, 학부생 레벨에서 그 정도까지 요구하는 경우는 극히 드물다.[8] 인터넷에 사용방법이 많이 소개되어 있는 데다, 만드는 과정도 크게 어렵지 않고 직관적이다. 다만 조사대상을 대면할 수가 없어서 양질의 정보를 얻기 어려울 수도 있다는 게 함정.[9] 반면 몇몇 분야들, 특히 심리검사와 같은 주제에서는 인위적으로 더미 데이터를 만들기 위해 의미없는 문항을 규칙적으로 삽입하기도 한다. 한 예를 들면, 총 40개의 질문들 속에서 5n+2 에 해당하는 문항들(2, 7, 12, 17, 22, ..., 37)은 전혀 상관없는 질문을 하게 할 수 있다. 이런 데이터의 존재의의는 그 질문지가 무엇을 의도하고 있는지 응답자가 간파하지 못하게 하기 위함이다.[10] 응답자의 성생활에 대해 조사하려는 연구자가 기명 질문지를 만들었다면, 응답자가 자신의 이름을 기입하게 하는 것 자체가 연구와는 전혀 무관할뿐더러 공연히 응답 결과를 왜곡시킬 수 있다.[11] 질문지에서 "귀하는 현 정부가 추진중에 있는 FTA에 대해서 어떤 입장을 갖고 계십니까?"와, "귀하는 현 정부가 야당과 국민의 반발을 무릅쓰고 강행하고 있는 FTA의 망국적인 위험성에 대해서 어떤 입장을 갖고 계십니까?"는 분명히 서로 다른 것이다(…). #관련기사 극단적인 사례로는 이런 경우도 가능하다.[12] 한 연구에 따르면 질문을 제시하는 순서도 응답에 영향을 줄 수 있다. 그 연구에서는 개인의 행복도와 데이트 횟수를 질문했는데, 데이트 횟수를 먼저 물어본 경우 사람들이 '아, 나는 데이트를 많이 하니까 행복하구나.'처럼 데이트 횟수를 행복도와 관련지어 생각해서 데이트 횟수와 행복도가 상관이 있는 것처럼 나타났다.[13] Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and communication: Social determinants of information use in judgments of life satisfaction. European journal of social psychology, 18(5), 429-442.[14] "가끔", "종종", "자주", "빈번히" 와 같은 빈도부사는 서열적인 관계는 성립하겠지만 사람마다 각각의 단어의 의미를 다르게 받아들일 가능성이 있다. 예를 들면, 어디까지가 "운동을 가끔 한다" 이고, 어디부터가 "운동을 자주 한다" 일까? 여기에 정답은 없다. 즉, 이런 류의 질문에서는 서열 수준보다는 등간 수준이나 비율 수준을 활용함이 바람직하다. 측정 항목도 참고.[15] 물론 학계 관련 인물들이나 전문가들을 상대로 실시하는 질문지라면, 전문 용어의 사용은 물론이고 약어나 외국어 단어의 사용도 가능할 것이다. 어떤 경우에든 중요한 것은, 예상 응답자의 수준에 맞게 질문 문항을 만드는 것이다.[16] Chen, Lee, & Stevenson, 1995.[17] 이 때문에 과거 많은 사회학자들과 심리학자들이 일본인들을 대상으로 한 연구에서 꽤나 애먹었다(…). 항상 물에 물 탄 것 같은 애매한 반응으로 일관되게 나오는 바람에 환장하겠다는 것. 물론 우리나라의 응답자들도 한때 그 못지않게 심한 중간 반응을 보였지만, 시간이 지나며 점차 극단반응 쪽으로 변화해 가고 있는 추세이고 오히려 외국인 유학생들이 중간값을 많이 고르는 경향을 보인다. 이 경우 질문지의 언어를 얼마나 독해했는지의 여부가 영향을 끼쳤을 수 있다.[18] 반대로 중간 반응을 막기 위해서는, 리커트 척도와 같은 몇몇 척도에서 "보통" 의 값 자체를 아예 빼 버리는 것이 있다.[19] 예를 들어 빨랫감이나 설거지가 밀린 경험이 있다거나, 누군가를 증오해 본 경험이 있다거나, 뜬소문에 부화뇌동한 적이 있다거나 하는 문항이 배치될 수 있다. 어지간히 특이한 사람이 아닌 이상, 이런 경험은 살면서 한 번 이상은 겪어보게 되는 것들이다. 응답자가 이것을 부인하여 해당 척도에서 높은 점수를 얻으면 연구자는 사회적 선망 편향이 관여했다는 결론을 얻고, 해당 데이터의 가치를 자신 있게 절하할 수 있게 된다.[20] 이 경우에는 "귀하는 오세아니아의 솔로몬 제도 출신이십니까?" 와 같은(…) 문항을 삽입하는데, 이런 문항에도 YES로 응답할 경우 묵인 반응이 관여했을 가능성이 증가한다. 물론, 그런데 그것이 실제로 일어났습니다 같은 가능성도 있으니(…) 희귀한 반응 척도는 다양한 희귀 질문들을 준비해놓고 있으며, 어느 하나에 우연히 YES 가 나온다고 해도 큰 문제가 되진 않는다.[21] 개방형 질문을 많이 배치하면 당장 응답자의 손목이 아플 뿐만 아니라(…) 시간도 오래 걸리게 된다. 일부 응답자들은 뜻밖에도 적벽가 뺨치도록(…) 한없이 길게 뭔가를 끄적이고 있는 모습을 보일 수도 있다.[22] 예를 들어 공공보건 관련 설문을 하면서 "귀하의 몸무게는 몇 kg입니까?" 라고 묻는다면 적잖은 20대 여성들은 당황할 것이다(…). 이것을 개방형 질문으로 묻게 되면 응답자는 자신의 몸무게를 고스란히 적어 낼 수밖에 없지만, 만일 10kg 단위로 폐쇄형 범주를 구성해서 41~50, 51~60, 61~70 이런 식으로 값을 정한다면 응답에 한결 수월함을 느낄 것이다. 실제로 민감한 주제에 대해서 이렇게 약간의 연막을 치는 테크닉은 많은 질문지들에서 활용되고 있다.[23] 물론 이것은 연구자 역량에 따라 최소화할 수 있는 부분이다.[24] 예를 들어 앞 문항에서 "귀하는 현재 흡연 중이시거나, 한 번이라도 과거에 흡연하신 적이 있습니까?" 를 물었다면, 여기에 그렇다고 응답한 응답자를 따로 떼어내어 "귀하께서 선호하시는 브랜드에 대해 세 가지만 적어주시기 바랍니다." 라고 요청할 수 있을 것이다.[25] 질문지를 저작 도구를 사용하여 작성하는 경우 툴에 따라 일부 제약이 있을 수 있다. 본 구현은 나우앤서베이를 사용하였다.[26] 협조 요청 단락이다. 오프라인에서는 한 가지 더 추가된다. 문지 작성에 대한 동의가 반드시 친필 서명으로 포함되어야 한다.[27] 식별 데이터 단락이다.[28] 지시문 단락이다.[29] 질문 문항 단락이다. 젠더학 관련 문제 때문에 성(sex)이라고 질문하거나 남, 녀, 인터섹스에 대해서만 물으면 성적 지향성을 배려하지 못했다는 종류의 항의가 들어올 수 있다. 그래서 성별이나 젠더가 딱히 중요한 연구가 아니라면 '남, 녀, 밝히고 싶지 않음'으로 나누는 경우가 늘어나고 있다.[30] 정확하게 기억하지 못하는 이용자들에게 배려했다.[31] 단일선택 폐쇄형 질문이다.[32] 나무위키에 장점이 존재하지 않는다고 생각하는 응답자들을 배려함으로써 편향성을 방지하는 값이다.[33] 다중선택 폐쇄형 질문이다.[34] 각주를 통해 부연설명을 하고 있다.[35] 의미 차별화 척도를 사용하고 있다.[36] 필터링을 사용하고 있다.[37] 제한된 개방형 질문이다.[38] 묵인 반응의 측정을 위해[39] 사회적 선망 반응의 측정을 위해[40] 무제한 개방형 질문이다.[41] 인구학적 문항의 단락이지만, 전형적인 형태는 아니다. 그래도 개인정보나 사적 범위에 있는 정보들을 이렇게 최후반부에 떼어서 배치하는 건 일반적이다.