연구 방법론을 가르치는 교수들은 종종 이런 말을 한다. "좋은 연구 질문을 나쁜 통계로 망치지 마라."2020년에 발표된 한 연구는 영재 교육 분야 학술 논문들이 바로 그 함정에 빠져 있음을 체계적으로 드러냈다.
켄달 스미스,K. 램,R. 헨슨이 발표한 이 연구는 2011년부터 2017년 사이에 영재 교육 학술지에 게재된 MANOVA(다변량 분산분석) 사용 논문 56편을 분석했다. MANOVA는 여러 종속변수에서 동시에 집단 간 차이를 검증할 때 쓰이는 강력한 통계 기법이지만, 연구자들은 이 방법이 현장에서 자주 잘못 적용되고 있다는 것을 발견했다.
분석 결과, 56편 중 상당수가 MANOVA의 본질적 목적을 오해하거나,결과 해석 단계에서 부적절한 방법을 사용하고 있었다. 가장 심각한 문제는 MANOVA 이후 사후검정 단계에서 나타났다. MANOVA 결과가 유의미하게 나오면,어떤 변수가 그 차이를 만들어냈는지 추가로 파악해야 한다. 그런데 많은 연구에서 이 단계에 단변량 사후검정—즉 각 종속변수를 개별적으로 분석하는 방식—을 사용하고 있었다. 이는 처음부터 MANOVA를 쓰는 이유를 무력화하는 접근이다.
연구자들은 이에 대한 해법으로 기술적 판별분석을 소개했다. DDA는 MANOVA의 사후검정으로서 훨씬 더 적절한 기법으로, 종속변수들이 집단을 어떻게 구분짓는지를 다변량적으로 설명해준다. 연구자들은 DDA의 개념과 절차를 영재 교육 연구자들이 이해하기 쉽게 설명하고, 실제 데이터에 적용하는 방법을 단계별로 제시했다.
이 연구가 특히 중요한 이유는 영재 교육 분야에서 MANOVA가 자주 쓰이기 때문이다. 영재 학생의 학습 성과, 정서 발달, 사회적 적응 등을 동시에 살피는 연구에서 다변량 분석이 필수적인 경우가 많다. 그런데 통계 오류가 누적되면 잘못된 정책 결정이나 프로그램 설계로 이어질 수 있다.
연구의 한계는 분석 대상이 영재 교육 학술지에 국한되었다는 점이다. 다른 교육 영역에서도 유사한 문제가 존재할 수 있지만, 이 연구만으로는 일반화하기 어렵다.
교육 연구자와 대학원생에게 실천적 조언을 하자면, MANOVA를 사용할 때 반드시 사전에 이 분석이 연구 질문에 적합한지를 확인해야 하고, 유의미한 결과가 나왔다면 DDA 같은 다변량 사후검정을 적용해야 한다. 또한 통계 방법론에 대한 지속적인 학습이 연구의 질을 높이는 가장 확실한 방법임을 기억해야 한다.
📖 *Making Meaning out of MANOVA:The Need for Multivariate Post Hoc Testing in Gifted Education Research* |
논문 원문
※ 이 기사는 교육학 연구를 바탕으로 작성되었습니다.
A 2020 study delivered a pointed message to gifted education researchers: the statistical tools being used to analyze critical questions in the field are, in many cases, being applied incorrectly—and the consequences for knowledge quality are significant.
The paper, authored by Kendal N. Smith, K. Lamb, and R. Henson, examined 56 studies published in gifted education journals between 2011 and 2017 that used multivariate analysis of variance, commonly known as MANOVA. What the researchers found was a field struggling with both conceptual and procedural misunderstandings of one of its most frequently applied statistical techniques.
What Is MANOVA and Why Does It Matter?
MANOVA is a statistical method designed to examine group differences across multiple outcome variables simultaneously. It is particularly valuable in educational research because gifted learners are often assessed on several dimensions at once—academic achievement, emotional adjustment, social competence, and more. When used correctly, MANOVA offers a holistic view of group differences that individual tests of each variable cannot provide.
The key advantage of MANOVA over running multiple separate analyses is that it controls for correlations among dependent variables and reduces the risk of inflated Type I error rates. But this advantage evaporates if researchers misunderstand what MANOVA actually does—or if they interpret its results using techniques that undermine its logic.
The Most Common Mistake: Univariate Post Hoc Tests
Smith and colleagues found that the most pervasive misuse in the 56 studies reviewed was the application of univariate post hoc tests to follow up on significant MANOVA results. After obtaining a statistically significant MANOVA, researchers typically want to identify which specific variables drove the overall effect. The appropriate way to do this is through multivariate post hoc methods. Yet the majority of studies in the review instead ran separate univariate analyses for each dependent variable—effectively reducing a multivariate analysis back to a series of individual tests, which defeats the purpose of conducting MANOVA in the first place.
Beyond this primary issue, the review also identified other conceptual misunderstandings, including misinterpretations of what a significant MANOVA result actually means and insufficient reporting of the statistical assumptions underlying the analysis.
A Better Approach: Descriptive Discriminant Analysis
The authors recommend descriptive discriminant analysis (DDA) as the appropriate multivariate post hoc technique following a significant MANOVA. DDA identifies the linear combination of dependent variables that best distinguishes between groups—providing a genuinely multivariate interpretation of group differences. The paper walks through the logic of DDA and demonstrates how to apply it, making the technique accessible to researchers who may not have encountered it in standard graduate training.
Implications for the Field
The stakes are not merely academic. When flawed statistical approaches become normalized in a field, the literature accumulates findings that may not be replicable or valid. In gifted education, where research informs high-stakes decisions about identification, programming, and funding, methodological rigor matters enormously.
The study's scope was limited to gifted education journals, so its findings cannot be automatically generalized to other fields—though similar issues likely exist elsewhere in educational research.
For Graduate Students and Researchers
The practical takeaways are straightforward. Before applying MANOVA, confirm that the research design genuinely requires a multivariate approach. After obtaining a significant MANOVA result, use DDA rather than a series of separate univariate tests to interpret which variables account for the observed differences. Invest in ongoing statistical training—methodology is not a one-time credential but a skill that requires continuous updating.
For journal reviewers and editors, this study is also a call to action: more rigorous scrutiny of statistical methods in submitted manuscripts can substantially improve the quality of published research.
📖 *Making Meaning out of MANOVA: The Need for Multivariate Post Hoc Testing in Gifted Education Research (Methodological Article)* |
Original Paper
*This article is based on educational research.*
