TEPS/시험 특성
1. 개요
TEPS의 시험 특성을 기재하는 문서이다.
2. 시험 특성
텝스는 청해 영역을 약 40분 이내에 40문항을, 문법 및 어휘 영역은 각 영역별로 30문항을 통합으로 주어지는 25분 이내에, 독해 영역은 40분 이내에 35문항을 풀어야 하는 시험이다.
응시자는 총점 0 ~ 600점 사이의 점수를 받을 수 있고, 각 영역 별 만점은 영역 별 순서대로 '''청해 240점''', '''어휘 60점''', '''문법 60점''', '''독해 240점'''이다.
2.1. 영역별 제한 시간 구분
텝스는 응시자들의 요령을 방지하기 위하여 영역별 제한 시간을 준수할 것을 강조하고 있다. 해당 영역 시간에 다른 영역의 문제를 푸는 것은 부정행위로 간주되어 3년간 응시 자격이 제한된다. 그렇기 때문에 해당 영역의 문제를 다 풀었어도 해당 영역 종료 시각까지는 다음 영역의 문제를 풀면 안된다. 다 풀었다면 그 영역에서 실수가 없었는지 검토해보자.
2.2. 다양한 분야의 어휘와 제시문 출제
텝스에서는 회화 표현, 학술 및 전공 영어 등에서 등장하는 포괄적인 범위의 어휘를 다루고 난이도의 폭이 넓다. 청해 영역에서는 회화에 쓰이는 관용 표현과 담화문을 위한 전문 어휘가 자주 다루어진다. 독해 영역에서는 실용문에 자주 등장하는 빈출 어휘와 학술 어휘가 자주 다루어진다.
2.3. 응시자의 요령을 방지하는 시험 체계
응시자가 편법이나 요령으로 각 문항에 대한 정답을 유추하지 못하고 오직 제시문의 내용을 통해서만 정답을 도출하기 위하여 텝스 출제자들은 몇가지 원칙에 근거하여 문제를 출제한다. [논문] TEPS의 개정 배경과 기초 연구
2.3.1. 지역 독립성이 보장된 문항 구성
하나의 제시문에 여러개의 문항이 조합될 경우에는 응시자가 제시문을 정확하게 이해하지 못하더라도 문제 풀이 과정을 통해 관련 문항들에 대한 정답을 유추할 가능성이 높아진다. 텝스 시험에서는 이러한 요령을 방지하고자 텝스 시험에서는 '''지역 독립성 (Local Independance)''' 이론에 근거하여 1지문 1문항 (단문)과 1지문 2문항 (장문)의 문제만 등장한다. #
청해 영역의 파트5와 독해 영역의 파트4에서 출제되는 1지문 2문항 유형의 경우 두 문제가 내용상으로 상호 독립적이여야 한다는 출제 원칙이 존재한다. 해당 유형의 제시문에서 응시자가 한 문제를 통해 다른 한 문제의 답을 유추하는 것은 불가능하다. 텝스는 1지문 2문항 유형을 통해 응시자로 하여금 문제에서 요구하는 내용을 제시문에서 타게팅하여 찾을 수 있는지를 평가함으로써 장문에 대한 응시자들의 전략적인 문해력을 평가한다.
2.3.2. 제시문과 관련 문항 간의 높은 독립성
텝스 시험에서는 응시자가 제시문의 내용을 이해하지 못하고 단편적인 기억력으로만 정답을 유추하는 것을 방지하고자 각 문항별로 정답이 되는 선택지가 패러프레이징되어 등장한다. 반대로 오답이 되는 나머지 선택지에서는 제시문에서 사용된, 똑같거나 비슷한 생김새의 단어가 쓰인다.
또한, 텝스에서는 응시자가 제시문을 제대로 이해했는지를 평가하고자 선택지의 내용을 모호하게 패러프레이징하기도 한다. 지문에서 언급된 특정 대상을 선택지에서는 대명사로 바꿔서 표현하기도 하고 지문에서 언급된 내용을 선택지에서는 포괄적이거나 두리뭉실하게 표현하기도 한다.
청해 파트1과 파트2에서는 정답이 되는 선택지에서 정확한 수치가 언급되지 않기도 하며 구체적인 이름 대신에 대명사를 사용하여 돌려말하거나 접속사를 생략하기도 한다.
2.3.3. 배경 지식의 활용을 방지하는 제시문
텝스 시험에서는 응시자들이 배경 지식을 통해 제시문을 이해하는 것을 방지하는 출제 원리가 있다.
제시문에서는 전문용어를 제외하고는 주로 가상의 지명을 사용하고 실제 지명은 거의 언급하지 않는다. 또한, 텝스 제시문은 응시자들이 평균적으로 익숙한 통념과 다른 주장을 하는 경우가 빈번하다.
청해 영역에서는 난이도가 어려울 경우에는 법정, 사내회의 등의 전문적인 대화 상황이 종종 등장하거나 연애, 고민 상담 등 갑자기 뜬금포로 감성적인 대화 상황이 등장하기도 한다. 또한, 청해 파트1과 파트2에서는 확답을 주지 못하는 선택지가 정답이 되는 경우도 많다.
텝스를 단순히 암기식으로 공부한 응시자라면 이러한 출제 패턴에 대해서 유연하게 대처하기 어렵다. 결국, 텝스는 응시자로 하여금 배경지식의 활용을 방지하고 순수히 영어에 대한 문해력을 평가하려고 함을 알 수 있다.
2.3.4. 속도화된 문제 풀이 유도
청해 영역에서는 각 문항별 마킹 시간이 3초 밖에 주어지지 않는다. 독해 영역에서는 문항 별로 평균적인 제한 시간이 약 1분이고, 어휘 및 문법 영역에서는 약 25초 내외이다. 텝스는 응시자에게 신속한 문제 풀이를 유도함으로써 영어에 대한 숙련도를 평가한다는 것을 알 수 있다. 문제 풀이 시간을 많이 줄수록 응시자가 요령으로 문제를 맞출 가능성이 높아지기 때문이다.
결국 응시자는 제시문의 내용을 피상적으로 이해한 상태에서 문제를 풀어야만 한다. 그런 상태에서 제시문의 내용과 선택지에서 표현하는 내용을 대조해야하니 어려울 수 밖에 없다. 텝스의 문제들은 선택지에서 매력적인 오답이 많이 있기에 문제풀이를 빠르게 해야하는 응시자의 입장에서는 제시문을 이해한 바를 선택지와 연결시키지 못해서 틀리는 경우도 많다.
2.4. CEFR과 IRT를 통한 채점
텝스 출제진은 유럽언어기준 (CEFR)을 참조하여 각 영역별 파트와 문제 유형별로 평균적인 배점을 사전에 정한다. [텝스의 신] 텝스 20주년 기념 세미나 후기 (1부) (2부)
이후 채점 과정에서 응시자들의 성적 분포를 합산한 다음에 327점이 백분위 50%가 되도록 '''문항 반응 이론''' (Item Response Theory; IRT)을 통해 응시자들의 정답률을 반영하여 개별 문항에 대해서 정확한 배점을 확정한다. 정답률이 높은 문제는 가중치가 줄어들어 배점이 낮아지고 정답률이 낮은 문제는 가중치가 늘어나 배점이 높아진다.
그 결과 응시자들의 성적 분포는 회차별로 난이도가 어떻던간에 327점을 기준으로 하는 정규분포 곡선의 형태를 이루게 된다. 고득점자일수록 배점이 높은 문제만을 틀릴 가능성이 높고, 저득점자일수록 배점이 높은 문제와 더불어서 배점이 낮은 문제까지 같이 틀릴 가능성이 높다.
요약하자면, 텝스에서 문항별 배점은 CEFR에 근거한 문제 유형별 절대적인 난이도와 응시자들의 평균적인 실력, 그리고 문항별 정답률에 의해 결정된다고 할 수 있다.
2.4.1. 문제 유형별 배점 추정
'''컨설텝스'''가 유튜브 영상 및 '''텝스의 정석''' 교재에서 각각 공개한, 문항별 배점에 대한 추정 자료이다.
텝스에서는 CEFR에 근거하여 문제 유형별 대략적인 난이도와 그에 따른 평균적인 배점을 알 수 있으나 매회차마다 달라지는 응시자들의 수준이나 문항별 반응 특성이 반영되면서 쉬운 유형의 어려운 문제가 어려운 유형의 쉬운 문제보다 배점이 비슷하거나 높을 수 있다는 점이다.
2.4.1.1. 청해
2.4.1.2. 어휘
2.4.1.3. 문법
2.4.1.4. 독해
2.4.2. 영역별 틀린 개수에 따른 총점 추정
'''컨설텝스'''에 따르면 텝스에서는 영역별 백분위 50%[1]인 응시자들이 얼마나 많은 문제를 맞췄는지에 근거하여 영역별 배점이 정해진다고 하였다.
예를 들어, 만점이 각각 240점인 청해 및 독해 영역에서 백분위 50%인 사람들은 무조건 130점 내외의 점수를 받는다고 한다. 여기에는 거저주는 점수 20점과 쉬운 문제들의 전체 배점인 110점이 있다는 것이다. 백분위 50% 이내의 중위권과 상위권 응시자들은 여기에다가 추가로 110점을 얻을 수 있다. 즉, 매우 쉬운 문제들의 전체 배점 20점, 중간 난이도 문제들의 전체 배점 110점, 고난도의 문제들의 전체 배점 110점을 다 합하면 240점이 된다.
영역별 백분위 50%인 응시자들은 항상 일정한 점수를 받으며 이들의 실력을 기준으로 문항별 배점이 정해진다. 이들이 많이 맞추면 고난도 문제들의 배점이 올라라고 쉬운 문제들의 배점이 떨어지며, 이들이 적게 맞추면 고난도 문제들의 배점이 낮아지고 쉬운 문제들의 배점이 올라간다. 어려운 난이도는 최상위권에게 유리하고 쉬운 난이도는 중하위권에게 유리하다.
또한, 고득점자일수록 어려운 문제 위주로 틀릴 가능성이 높고 저득점자일수록 쉬운 문제도 같이 틀릴 가능성이 높다는 것을 알 수 있다.
다만, 남들이 쉽게 맞추는 문제를 틀리고 남들이 어려워하는 문제를 수월하게 맞추는 성향이 있는 비정상적인 응시자에게는 이러한 추정이 적용되지 않을 수 있다.
3. 총평
텝스는 쉬는 시간 없이 1시간 45분 동안 끊임없이 집중력과 사고력을 발휘하여, 빠른 속도로 영어 듣기 및 읽기를 할 수 있는지를 평가하는 시험이다. 당연히 영어 실력이 좋으면 영어에 부담을 덜 느낄 것이고 지치지 않아 점수가 더 잘 나올 것이다.
하지만 이것이 영어가 모국어가 아니고, 학습으로 영어를 익히는 사람들을 대상으로 하는 공인어학시험의 노림수여야 하는지는 고민해봐야할 여지가 있다는 비판이 존재한다.
[1] 총점이 327점인 총점 백분위 50%인 응시자라고 하더라도 영역별 득점은 다를 수 있다는 점을 감안해야 한다.