메타분석
[clearfix]
1. 개요
'''meta-analysis.'''
서로 다른 연구들의 양적인 효과크기 결과들을 통계적으로 통합하기 위한 방법. 출처
여러 연구 분야를 요약할 때 방법론 없이 요약하면 편향#s-2.4.4(bias)이 생기기 쉽다. 메타분석을 통해 결합하면 표본수가 개별 연구에 비해 월등히 증가하게 되므로 통계적인 검정력과 정밀성이 높아지게 된다.
한 그룹의 연구 결과들을 최초로 병합한 연구는 Pearson(1904)로, 표본의 수가 작은 연구들을 종합하여 검정력을 증가시키고자 했다. 동일한 연구 주제에 대한 여러 논문들을 종합한 최초의 분석은 1940년 듀크 대학교 심리학과에서 행해졌다. 우리나라 최초의 관련 문헌은 이종승(1983)의 '메타분석:연구결과의 통계적 종합'이다.
2. 단점
해당 학문의 전문가가 필요하다. 노동집약적이고, 시간이 많이 소모된다. 그리고 분석에 포함된 연구 논문들의 수준차가 크기 때문에 문제가 나타난다.
3. 방법
방법론적 문제를 확인하기 위해서는 PRISMA 체크리스트(2009, PDF)를 활용하면 좋다.
3.1. 가설 설정
먼저 '가설' (연구 질문)을 설정한다.
3.2. 연구 자료 범위 선정
그 다음 연구 자료의 범위를 선정하고 수집을 한다. 빠짐없이 수집하는 것이 신뢰도와 타당도를 높인다. 특히 리뷰 목적일 경우 그 범위는 충분히 많아야 한다. 가령 탑저널의 메타분석 중에는 120여개를 수집한 경우도 있고, 국내 시간제 대학원 석사학위논문의 메타분석 중에는 25개로 논문을 쓰는 경우도 있다. 대신 리뷰 목적이 아닌 논문들은 자체적으로 Study 1에서 Study 8~9 정도까지 계속 반복실시를 한 뒤 이 결과들만을 대상으로 메타분석을 하기도 한다. 많이 수집하기 위해서는 학위논문 등의 회색문헌도 건드려야 하는 경우가 많다.
무조건 많다고 좋은 건 아니다. 반드시 관계없는 것들을 빼야 한다. 예를 들어 척도가 상이하면 연구마다 제시한 효과크기의 의미 해석이 같을 수 없으므로 무리하게 메타 분석을 수행해서는 안 된다. 특수한 집단으로 연구 대상이 한정되어 전체 모집단을 대표하지 못하는 경우 배제한다. 학위논문과 학술지에 중복 게재된 논문은 한 편으로 카운트하는 게 좋다. 그리고 뺄 때는 반드시 기준이 있어야 한다.
3.2.1. 방법론적 질
methodological quality
"체계적인 리뷰"(systematic review)는 메타분석에 기초한 리뷰 논문의 대다수를 차지한다. 이런 리뷰 논문에 있어서 어떤 논문들을 분석대상으로 넣고 어떤 것들은 뺄지를 결정하는 문제가 발생하는데 이를 방법론적 질의 딜레마라고 부르기도 한다. 엄격하게 실시된 연구들만을 분석대상에 포함시킬 경우, 이를 통해 일반화된 이해를 얻는 것에 상당히 제약이 생기게 된다.[1] 반면, 상대적으로 대충대충 연구한 문헌들까지 분석대상에 포함시키면, 예상할 수 있듯이 분석 자체의 품질이 떨어진다. 이러한 상충되는 딜레마 속에서 '''분석대상으로 삼을 문헌의 최소한의 기준'''을 설정하는 것이 중요하다.
모든 연구를 할 때 오류는 생기기 마련이다. 질적으로 높은 연구만을 추구해도 문제가 되지만 낮은 연구를 추구하면 신뢰도가 떨어진다. 그렇기 때문에 너무 엄격하게 연구 질을 잡으면 일반화를 제약할 가능성이 높아지지만 너무 느슨하게 잡으면 신뢰도가 떨어질 수 있다. 그렇기 때문에 연구 질문을 적절하게 균형을 유지해야 한다. 타당성이 높은 연구를 넣는데 주력해야 한다.
특정 희귀질병 A에 대해 유효한 치료법이 두 가지 존재한다고 가정해 보자. 개별 사례에 따른 편차가 있겠지만, 이 두 가지 치료법의 유효성을 비교해 보고자 할 때, 의사들은 자신들이 A 질병에 대해 각각의 치료법을 적용한 데이터를 모으게 된다. 그런데, 대개 의사들은 자신에게 내원하는 환자들의 케이스만 알 수 있기 때문에, 아무리 케이스를 쌓더라도 유효한 수준의 샘플 사이즈를 얻지 못하게 되는 경우가 많다. 이런 경우, 메타분석을 활용하여 여러 의사들이 발표한 A 질병에 대한 각각의 치료법의 적용 결과 논문들을 모아 큰 샘플 사이즈를 만들 수 있다. 그런데 이 경우, 수많은 의사들이 발표한 논문 가운데 어떤 것을 유효한 것으로 간주하고 어떤 것을 그렇지 않은 것으로 간주할 것인가가 관건이 된다. 이런 식으로 어떤 논문을 더 '유효한' 것으로 간주할지에 대해서는 큰 합의가 존재하지 않기 때문에, '''자칫하면 자의적으로 데이터를 취사선택하는 것이 될 수 있다.''' 이것을 분간하는 기준이 바로 방법론적 질이다.
3.3. 특성변인 코딩
다음으로 분석 자료의 특성변인을 코딩한다. 이 때 연구 특성을 선택하고 코딩 매뉴얼과 코딩 표를 개발한다. 코딩 목록은 고려해야 할 변인과 논문 특성을 중심으로 작성해야 한다. 코딩의 신뢰도를 확보하려면 코딩 목록과 절차에 대해 잘 알고 있어야 한다. 이 과정은 간단하게는 엑셀로도 수행할 수 있다.
- 논문 정보: 제목, 저자, 출판년도, 출판형태
- 종속변인 척도, 독립변인 척도
- 인구통계학적 특성: 사용된 설문지 수와 응답자 수, 표본대상 특징 및 단위
- 분석 방법: 상관계수, 분산분석 (ANOVA), t-검정 등
- 효과크기의 종류, 값, 유의확률
3.4. 메타 통계 분석
- 먼저 수집된 자료들이 메타통계분석이 요구하는 가정을 충족하는지 검토하여야 한다.
- 메타 통계 분석에서 가장 주된 작업은 '통계적 변환' 이다. 각 연구는 통계방법이 다르기 때문에 처치 효과의 크기를 동일한 측정 단위로 바꾸어야 종합적인 분석이 가능하다. 통계적 유의도 검증을 통한 리뷰는 표집 크기에 따른 영향을 너무 많이 받고 효과의 방향성과 크기를 제시해주지 못하는 제한점이 있다. 이를 극복하기 위해 효과 크기(effect size)가 만들어졌다. 이 변환을 위해서는 사례 수, t-검정, F-검정, r값 (Pearson 적률 상관계수). p-값, 평균, 표준편차 등이 제시되어야 한다. R의 matefor 패키지를 이용할 수 있다.
- 효과 크기가 산출되면 '동질성 검정'(homogeneity analysis)을 한다. 동질성[2] 검정에 실패했을 경우 이질적인 자료를 대상으로 소집단 동질성 검정을 시행한다. 동질성 여부에 따라 고정효과모형(fixed-effect model), 변량효과모형(random effect model)을 사용하여 효과크기를 통합하여 평균 효과크기를 산출할 수 있다.
3.4.1. 신뢰도 검증
동질성 검정이 끝나면 메타분석의 결과를 신뢰할 수 있는지 판단하려고 신뢰도 검증을 한다.
먼저 보고 편향의 존재나 정도를 추정하는 방법에는 그래프를 이용한 방법과 통계적 검정방법이 있다.
- 그래프를 이용한 추정: 깔때기 도표(Funnel plot)
- 통계적 검정: Begg and Mazumbar’s rank correlation test, Egger’s test
이렇게 만들어진 분석결과를 제시하고, 표준화/상관계수/승산비의 효과크기를 해석한다. 그리고 Cooper and Rosenthal (1983)의 안전성 수[4], Orwin(1983)의 안전성 수도 이용한다.
4. 기타
의학 분야에서는 코크란이 유명하다.
게임에서 쓰이는 메타는 '메타게임 분석'이라는 용어에서 나온 것인데, 이건 메타분석보다는 게임 이론과 관계있는 단어다.