킬러 문제
1. 의미
유래는 킬러. 문제를 어떻게든 틀리게 하려는 의도가 다분하여 응시생들의 정신을 '''Kill'''한다는 뜻으로 통한다. 보통 '''최고난도 문제'''를 가리키며, 대다수가 ‘맞추라고 낸 문제가 아닌 것 같다’ 등의 공감이 오고가면 킬러 문제로 통한다.
일러둘 게 있다면, 단순히 '어려운 문항'만을 의미하지 않는다. 오히려 '''적당히''' 어려운 문항은 사고력과 문제 해결력(추론력) 등을 높여 긍정적인 교육장치로 활용되고 있다. 다만, 여기서 말하는 '킬러 문제'는 '''필요 이상'''으로 난도를 높인다는 조건이 붙는다. 후술하겠지만 시험 범위 축소 및 교과 내용 감축 등으로 인해 '''적당히 어려운 문제로도 변별이 불가능할 경우''' 필요 이상으로 난도를 높이게 되는데, 이러한 킬러 문제는 공교육만으로 해결하기 힘들고 사교육에 의존해야 효율적이다.[1]
주로 대학수학능력시험에서 쓰였으며, 여기에 후속적으로 영향을 받은 사람들이 내신, 대학교, 공무원 시험, TOEIC, TEPS, 인적성 등의 다른 시험에서도 오가는 용어가 되었다.
2. 특징
- 절대평가보다는 상대평가에서 두드러지게 나타난다. 상대평가 특성상 상위권의 변별력을 높여야 하기 때문이다.
- 보통 정답률이 매우 낮은 양상을 보이지만 역은 성립하지 않는다.[2] 수준만 보면 '확실히 풀지 말라고 낸 문제'이고 응시자들 역시 거기에 공감하는 데 비해 정답률이 의외로 매우 높게 나오는 경우(예: 2016 수능 생명과학Ⅱ)도 간간이 있기 때문이다.
- 배점이 균일한 경우도 있지만, 그렇지 않다면 대부분 다른 문항에 비해 상대적으로 높은 배점을 부여한다.
- 일반적으로 시험지 맨 뒷 문항 부근에 포진해 있다.
2.1. '문항 수'와의 관계
정확히 '''반비례''' 관계다. 문항 수가 많을수록 굳이 킬러 문제를 등장시키지 않아도 알아서 변별되므로 안정적인 수준으로 낼 수 있다. 예컨대, 아무리 평이한 문제라 할지라도 문항 수가 수백 개라면 정답률 100%를 맞추는 것도 예삿일이 아니다(불포화 상태). 그런데 여기서 난도를 유지한 채 문항 수를 낮추게 되면 정답률이 100%에 근접해질 수 있으므로 이와 동시에 문제 수준들을 전반적으로 높이는 방법을 채택한다(포화 상태 또는 적정 상태). 이 과정에서 문항 수가 '''필요 이하로 줄어들 경우''' 상대평가의 특성상 킬러 문제를 늘리거나 킬러의 수준을 매우 높인다(과포화 상태). (괄호는 킬러 문항에 대한 상태)
- 사례 1) 가장 극단적인 경우가 논술이다. 문항 수는 한 손에 꼽을 만큼 적지만[3] 그만큼 엄청나게 어려운 난도를 선보인다.
- 사례 2) 반대로 TOEIC 시험은 LC 100문제, RC 100문제 합쳐 200문제가 나오기 때문에 평이한 난도 만으로 저절로 변별력이 갖춰지게 되어있다.
- 사례 3) 대학수학능력시험 국어 영역과 영어 영역이 초창기 각각 65문항, 50문항이었으나 2014 수능부터 각각 45문항으로 줄어들었다. 이에 맞춰 배점 폭도 커져 변별력이 예전보다 많이 떨어졌고 등급 커트라인도 올라갔다.
- 사례 4) 대학수학능력시험 '상대평가 총 문항 수'가 점점 떨어짐에 따라 킬러 문제의 출현 빈도가 그만큼 높아졌다. 대표적으로 수능 사회탐구 영역, 과학탐구 영역에서는 선택 과목 상한선이 줄자(4과목 선택→2과목 선택) 킬러 문제의 수를 늘었고, 국어 영역은 2018 수능부터 영어 영역이 절대평가(즉, 상대평가 45문항 삭제)로 전환되자 당해 문제 난도를 상당 수준으로 높였고 그 다음해 절정에 달했다.
- 사례 5) 김상곤 전 교육부장관 임기 시절 교육부에서는 아예 국어, 수학, 영어를 25문항으로 줄이려는 방안을 검토 단계까지 갔었다고 한다. 만약 이것이 반영됐다면 상대평가 문항 수는 90 문항으로 줄어 거의 모든 문제가 킬러화되었을 것이다.
- 사례 6) 초기 수능 당시 '킬러 문제 특강' 같은 사교육 콘텐츠조차 매우 적거나 인기가 없었다.
2.2. '응시자 수' · '응시자들 실력'과의 관계
응시자 수와 킬러 문항 수의 상관관계는 모호하나 확실한 건 응시자 수가 적어지면 통계적 방법에 한계가 생긴다. 일단 인원 수가 많으면 큰 수의 법칙에 의해 상위권, 중상위권, 중위권, 중하위권, 하위권이 골고루 분포할 가능성이 크다. 반대로, 응시 인원 수가 필요 이하로 적어지게 된다면 실력 분포(응시자 간 편차)를 가늠하기 힘들어져, 시험을 아예 어렵게 출제해버린다든지 혹은 아예 쉽게 출제해버리는 극단적 양상을 띤다.
- 사례 1) 수능 탐구 영역에서 시행하는 '선택 과목 제도'처럼 과목 간 유·불리를 유발하는 경우(근거 2014 수능 경제·화학Ⅱ 선택 학생들, 국·영·수 성적 높았다).[5] '특정 공통 응시 과목'을 비교준거로 두어, 특정 선택 과목에 상위권이 몰렸으면 킬러 문제가 다수 출제되고, 하위권이 몰렸다면 킬러 문제가 소수 출제되는 경향을 보인다. '수능 제2외국어/한문 (아랍어Ⅰ)'는 국·수·영 평균 최하위권들만 집중적으로 모여들어 매우 쉽게 출제되지만(2018 수능 기준), '수능 화학Ⅱ'는 최상위권이 포진하여 거의 모든 문항이 킬러 문제로 출제된다.
- 사례 2) 7급 공개경쟁채용시험 비인기 부서의 경우, 응시자들의 실력이 전반적으로 낮기 때문에 킬러 문제가 거의 없는 블루 오션을 경험할 수 있게 된다.
- 사례 3) 대학수학능력시험 경제와 물리학 II의 경우, 응시자 수가 극도로 적어 통계적 방법에 한계를 대표적으로 보여준다. 실제로 6월 모의평가까지는 응시자들의 국어·수학 실력 케이스가 최상위권, 중하위권 딱 두 가지로 극단화되어있기 때문에 표준편차가 매우 높다. 이러한 성적 통계를 본 출제위원 입장에서는 응시자 분포가 최상위권, 중하위권뿐이기 때문에 최상위권만을 위한 킬러 문제를 단 1개를 출제하는 게 낫다는 판단을 내린다. 그리고 실제로 이 성적 분포가 9월 모의평가까지 이어지게 된다면 수능 당일 킬러 문제 수는 아예 없거나 1개 내지 2개를 출제한다. 하지만 이렇게 응시자 수가 적다보니 변수가 커지게 된다. 실제 수능 당일엔 상당한 미응시자가 생기고, 이 미응시자들이 대부분 하위권으로 예상되기 때문에 상위권끼리의 대결이 이루어지는 상황이 연출된다. 결국 2016 수능 물리Ⅱ 2등급 증발 사태가, 2018 수능 경제 2등급 증발 사태가 일어나게 된 적이 있고, 이후 한국교육과정평가원 입장에서는 응시자 변수에 대한 갈피를 전혀 못 잡게 되자 '아예 어렵게' 혹은 '아예 쉽게'라는 두 가지 패턴을 골고루 보이고 있다.
- 사례 4)
화학Ⅱ에서 2011 수능 대비 응시자 수가 -92%p로 급감한 2019 수능 문제를 보면 알겠지만, 응시자 수가 적어지니 문제 수준이 비교적 어려워졌음에도 불구하고 두 문항의 정답률이 비슷하다.
- 사례 5) 수능 수학 영역의 경우, 2009 개정 교육과정이 적용된 시험(2017~2020 수능)에서 이전보다 킬러 문제 수를 줄여 얼핏 부담 완화 정책처럼 보이겠으나 이는 조삼모사에 불과하다. 쉬운 문항과 어려운 문항의 편차를 극도로 높인 것. 안 그래도 킬러 문제였던 30번 문항의 수준을 이전보다 극악으로 높였다.
2.3. '교과 내용' · '시험 범위'와의 관계
- 자세한 건 대학수학능력시험/문제점 및 해결 방안 #s-2 문서를 참조하자.
- 한 가지 일러둘 게 있다면, '교과 내용 부담'이 '학습량 부담'과 무조건 일치되는 것이 아니다. 오히려 교과 내용과 시험 범위가 줄어들면 킬러 문제가 그만큼 많아지기 때문에 오히려 '학습량' 자체는 늘어날 수도 있다. 이는 시험 범위나 교과 학습 수준이 줄어들수록 학생들의 공부 투자 시간에 여유성을 갖게 되자 다같이 '실력 상향평준화'를 이루게 되고, 이윽고 내용적인 부분만으로 변별하기가 어려워져 킬러 문제가 증가하게 되는 것이다.
2.4. '교육 콘텐츠' · '대중성'과의 관계
요즘은 스마트폰의 발달로 정보 교류가 활발해지고, 입시3대포탈만 며칠 기웃거려도 킬러 문제의 존재와 기출문제의 중요성을 각인시킬 수 있게 되었다. 시험 고득점과 당락을 좌우하는 게 킬러 문제라는 사실만 각인해도 당장 어떤 방향으로 공부해야 할지 갈피가 잡히는 요즘이지만, 2010년 이전의 옛 수능 시대만 해도 '''이러한 콘텐츠나 정보의 존재가 전혀 대중화되어있지 않았으며 시험 과목 또한 지금보다 훨씬 많았다.''' 따라서 킬러 문제를 풀이할 수 있는 응시자도 한정되어있었고, 표준화 시험의 목적을 충실히 따를 수 있어 '실력대로 대학간다'는 말이 현재보다 더 통설로 자리매김할 때였다.
지금은 예전과 다르게 시험 과목수도 많이 줄어들고 입시 정보 및 콘텐츠 교류가 활발해지면서 응시자 실력이 다같이 상향되어 킬러 문제의 수준이나 그 수를 늘리게 되어온 게 현재의 수능이다. 이로써 '실력대로 대학간다'라는 말은 퇴색되었고 사실상 '고인대로 대학간다'로 변질된 지 오래이다. 특히 영어, 화학, 생명과학, 경제의 경우 이미 본래의 평가 목적은 틀어지고 그 상태가 과포화에 이르러 무슨 고인물이냐며 비아냥거리기도 한다. 그런데 평가원은 문제 수와 시험 과목 수를 늘려버리기는커녕 오히려 줄여버리는 등 이러한 상황을 고칠 기미도 안 보인다.
수능뿐만 아니라 다른 시험도 마찬가지일 것이다. 만약 심리학과 같은 비주류 특정 과목에 상대평가 및 필수화를 걸어둔다면, 온갖 학생, 교사, 강사 등 교육 이해 관계자들의 관심이 대폭 쏠리면서 심리학 관련 콘텐츠나 사교육이 우후죽순으로 쏟아져나오고 응시자들의 수준 또한 상향평준화되어 언젠가 킬러 문제가 등장하게 될 것이다.
- 사례1) 수능 지구과학Ⅰ의 경우, 2013학년도 당시까지만 해도 인기가 낮은 편인데다 상위권도 별로 없어 등급 따기가 유리했었으나, 2014학년도 수능 이후 쉽고 등급 따기에 유리하다는 소문이 퍼지면서, 2018학년도 수능에선 8개 과목 중 응시자 비율이 2배 가량 퍼센트포인트로 뛰어 응시자 수 1위라는 타이틀을 거머쥐게 되었다. 관련 콘텐츠도 쏟아져나오면서 (킬러 문항까진 아니어도) 어려운 문항이 많아졌다.
- 사례2) 지구과학Ⅱ 역시 그 인기가 8과목 중 꼴찌, Ⅱ과목 중에서도 단연 꼴찌였다. 그러나 위와 같이 지구과학 열풍이 불면서 2018 수능에서는 Ⅱ 과목 응시 비율 1위를 달성하게 되었다. 하지만 응시자 수가 여전히 적어 고인물 현상이 급속화되었고, 킬러 문제가 폭발적으로 증가할 수 있다는 예고를 계속 시사해와선지 이듬해 생명과학Ⅱ에 밀려 곧바로 2위로 내려앉게 된다.
3. 수능 킬러 문제에 대한 여러 말들
- 현재 킬러 문제가 늘어나고 불필요하게 어려워진 수능을 정상적으로 회귀시키려면, 다시 예전처럼 선택 과목 수를 늘리거나 필수화시키는 것이 필요하다. 현재는 2선택이지만 5차 교육과정 당시엔 거의 12선택에 맞먹는 분량이었다. 시험 범위를 늘려서 '개념을 아느냐' 여부로 변별 잣대가 갈리게끔 출제 유형을 유도할 수도 있으며, 문항 수를 늘려 배점을 좁혀 변별을 면밀히 할 수도 있다. 지금처럼 '풀이 기교'로 변별이 갈리게끔 상대평가 문항 수를 줄여온 정책은 그저 사교육과 교육과정 파행만 조장할 뿐이다.
4. 킬러 문제 사례
- 2012학년도~2021학년도 수능 및 모든 전국 모의고사[6]수학 영역의 모든 21, 30번 문제.[7]
- 1997학년도 수능 수리ㆍ탐구(I) 영역[8] 29번. 전국 정답률 1%대!!![9]
- 2009학년도 수능 사회탐구 영역 사회ㆍ문화 3번. 정답률 4% 미만![10][11]
- 2011학년도 이후 수능 영어 영역 EBS 비연계 빈칸추론 문제들 - 언어와 관계없이 글의 수준 자체가 높았다. 소위 말하는 '영어 원어민도 못 푸는 수능 문제' 따위의 기사에서 다루는 문제는 높은 확률로 이 문제였다. 2011학년도 수능부터 EBS 직접 연계가 확정되자 연계 체감이 가장 확실한 영어 과목 특성상 어떻게든 변별력을 가지려면 가장 난이도가 높은 유형인 빈칸추론 문제 + EBS 연계가 안 된 문제를 더럽게 낼 수 밖에 없었고 그 결과 난이도가 급격히 상승하고 말았다.[12] 그 이후 EBS연계를 통해 나머지 쉬운 문제를 최대한 빠르게 풀고 남은 시간을 빈칸 킬러 문제에 올인하는 것이 상위권 학생들의 정석적인 풀이법이 되었고, 사교육 시장에서도 빈칸 추론에 필요한 추론력을 기르는 강좌들이 인기를 얻기 시작했다.
- 2011학년도 수능 수리 가형 24번 문제 EBSi 기준 정답률 2.1 %
- 2017학년도 수능 수학 영역 30번 정답률 3.5%[13], 97수능과 달리 이 문제는 정말로 문제 자체가 어려웠다.
- 2019학년도 수능 국어 영역 31번. 정답률 18%
- 2009학년도 수능 수리 가형 25번 문제 10 %(기하와 벡터)[14]
- 2010학년도 수능 수리 가형 25번 문제 12 %(기하와 벡터)
5. 난이도 완화?
2020 수능이 치러진 이후의 분석으로는, 극강의 킬러 문제를 거의 준킬러 수준으로 내리고, 대신 '''준킬러 문항 자체를 3~4개나 더 늘려서''' 시험의 전체적인 난이도를 맞췄다는 평이다. 2021 수능에 적용되는 현행 체제와 새로운 체제가 섞인 과도기 수능과 2022 수능부터 2015 개정 교육과정이 반영된 새 수능에 맞춰서 기하와 벡터 파트의 문제를 자제하고 미적분에서 정석적인 문제들이 다수 흘러나왔다는 의견이 많다. 앞으로 치러질 2021 수능과 2022 수능의 동향을 파악하면 킬러 문제들을 내던 전통이 어떻게 변화할지 그 추이를 알 수 있을 듯 하다.
6. 참고 문서
[1] 물론 사교육 없이 해결이 불가능한 건 아니다. 7차 교육과정 역대 최강 불수능이었던 2011 수능의 언어/수리 나형/외국어 만점자인 충렬여고 임 양은 '공교육만으로도 충분히 해결이 가능했다'라고 입장을 내비친 바가 있다.(2011학년도 수능 언수외 만점 임수현 양 "학원 한번 안갔죠"(국민일보) 2018 이과 수능 만점자의 경우 지옥의 마경이라 불리는 과학탐구 화학Ⅱ를 선택했음에도 불구하고 학원 한 번 다니지 않았다고 한다. 사교육이 더 효율적일 순 있어도 사교육이 아니면 아예 불가능한 정도는 아니다.[2] 이는 응시자 수준이 매우 높은 사람들끼리 모인 시험에서는 의미가 없기 때문이다. 가령, 한국 영재들을 모두 불러모아 올림피아드를 경시하도록 시킨다면 정답률에 있어 킬러 문제에 갖는 척도는 떨어진다.[3] 심지어 단 한 문제일 수도 있다.[4] 일반계 고등학교 출신 응시생이 제2외국어/한문 영역을 제외하고 응시할 수 있는 최대치를 응시했을 때 기준이다. 또한 영역 명칭은 편의를 위해 현재의 명칭으로 통일한다.[5] 인문계열의 경우 '경제'를 선택한 응시자들의 국수영 백분위 합 평균은 181점이고, '생활과 윤리'를 선택한 응시자들은 134점으로 두 과목의 수준이 47점 차이가 난다. 자연계열의 경우에도 '화학Ⅱ'를 선택한 응시자들의 백분위 합 평균은 205점이고, '지구과학Ⅰ'을 선택한 백분위 합은 135점으로 무려 70점 차이.[6] 교육청, 평가원 모두[7] 가형(B형)은 29번도 포함. 예외적으로 2012학년도 나형 21번, 2013학년도 나형 21번, 2014학년도 A형 21, 30번, 2015학년도 A형 21, 30번, 2016학년도 A형 21번은 킬러문제치고는 난이도가 낮았다. 2016수능 이전까지 수능 수학은 나형 한정으로는 21번도 그리 어렵지 않았었다는 것. 하지만 2017학년도 수능부터는 나형 21번도 헬게이트가 열렸다. 수능의 경우는 아니지만, 2019학년도는 6월과 9월, (가형)두 모의평가의 21번 정답률이 역대급으로 최저치를 찍었다. EBSi 기준으로 두 문제 모두 22.3 %이다. 또한 고3은 아니지만 2019년 6월 고2 가형 모의평가의 30번 문제는 수1의 첫 단원인 지수단원 문제임에 불구하고 마더텅 기준 1%, 자이스토리 기준 3%에 해당하는 괴리한 난이도를 보였다. [8] 현 수학 영역[9] 수능 역사상 최저 정답률. 공식 정답률은 인문계 1.26%, 자연계 1.09%이며, 비공식 정답률은 0.08%이다. 현재 수학의 정석 실력편 집합 연습문제에서 볼 수 있다. 사실 이 문제 자체는 아주 어려운 문제는 아니었지만, 거의 모든 문제가 시간을 많이 써야하는 어려운 문제였기 때문에 뒤에 배치된 문항을 풀 시간이 부족했던 사람들이 많았다고 한다. 당시에는 킬러 문제라는 개념 자체가 거의 없었으니 더더욱 그럴 수밖에 없었을 것이다.[10] 객관식 최악의 정답률. 정답률 4%는 중상위권 기준이니 전체 기준으로는 더 낮았을 것이다. 이쯤되면 그냥 아예 문제를 읽지도 않고 찍는게 훨씬 나았다는 것이다. 5지선다형 객관식 1문제를 무작위로 찍을 경우 정답을 찍을 확률은 20%이니 참으로 경악할 만한 정답률이라 할 만하다.[11] 단 이 문제는 문제 자체가 고난이도라기보다는 정말 더러운 말장난을 쓴 문제라 크게 의미 있는 문제는 아니다.[12] 하지만 2011학년도 수능을 친 수험생들은 일부를 제외하고 EBS연계를 우습게 보아 등한시하였고 그 결과 1컷 90이라는 초유의 사태가 벌어졌다.[13] 초창기에는 EBSi 기준 정답률이 1.6%였으나 시간이 가면서 자료가 갱신되면서 정답률이 올라갔다.[14] 이 해부터 킬러 문제의 두각이 사실상 조금씩 나타나기 시작했다. 2010학년도 6월 모의 수능 가형 21번(방정식과 부등식), 2010학년도 9월 모의 수능 가형 23번(기하와 벡터)과 24번(미분과 적분), 2011학년도 9월 모의 수능 가형 24번(확률과 통계), 25번(기하와 벡터)이 그러한 문제들이었다.