"이 교수님 수업은 왜 평가가 낮을까?"매 학기 강의평가 시즌이 되면 교수와 학생 모두 같은 의문을 품는다. 그러나 그 점수가 정말로 수업의 질을 반영하는 것인지에 대해서는 오랫동안 논란이 있어 왔다.
미국 리치몬드 대학교의 마이아 리나스크와 제임스 몽크스 교수가 2018년 《The Journal of Economic Education》에 발표한 연구는 이 의문에 명쾌한 숫자를 제시했다. 연구진은 26개 학기에 걸쳐 48명의 교수가 담당한 88개 과목의 강의평가 데이터를 분석했다. 단순히 점수를 비교하는 대신, 과목이 필수인지 선택인지, 학생이 해당 과목에 사전 관심이 있었는지 등 과목·교수·학생 특성을 모두 통제하는 "조건부 고정효과" 모형을 적용했다.
결과는 놀라웠다. 필수 과목과 학생의 사전 관심도가 낮은 과목일수록 평가 점수가 유의미하게 낮았다. 이들 변수를 보정하자, 단순 점수와의 차이는 평균적으로 약 0.5 표준편차에 달했다. 더 중요한 것은 이 보정이 교수 순위를 실질적으로 뒤흔들었다는 점이다. 전체 교수의 절반 이상이 보정 전후로 사분위 순위가 바뀌었다. 즉, 기존 방식으로 "하위권"에 놓였던 교수가 맥락을 고려하면 "상위권"으로 올라가거나 그 반대가 되는 경우가 비일비재했다.
이 연구는 대학 행정에서 강의평가를 승진·재계약·보상의 기준으로 사용할 때 중대한 경고를 보낸다. 단순 평균 점수만으로 교수의 교수 역량을 평가하는 것은 과목 특성이라는 "소음"을 교수 능력이라는 "신호"와 혼동하는 셈이다. 연구진은 평가 결과를 해석할 때 반드시 과목과 학생 맥락을 함께 고려해야 한다고 강조했다.
물론 이 연구는 미국의 한 대학 사례에 기반한 것이므로, 한국 대학 환경에 그대로 적용하기는 어렵다. 또한 강의평가 외에 동료 평가, 학습 성과 등 다양한 측정 도구를 함께 활용해야 한다는 한계도 있다.
그럼에도 시사점은 분명하다. 강의평가를 읽는 학생이라면 과목의 성격을 함께 고려하고, 대학 관계자라면 단순 점수 비교 대신 맥락을 보정한 평가 체계를 검토할 필요가 있다. 좋은 수업은 숫자 하나로 판단할 수 없다.
📖 *Measuring Faculty Teaching Effectiveness Using Conditional Fixed Effects* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 맥락에 따라 다를 수 있습니다.
Every semester, students and administrators pore over teaching evaluation scores, trusting that higher numbers mean better teaching. But a closer look at the data tells a more complicated story—one where the course itself may matter as much as the instructor standing at the front of the room.
In a 2018 study published in The Journal of Economic Education, Maia K. Linask and James Monks of the University of Richmond set out to measure how much of a professor's evaluation score actually reflects teaching quality versus the circumstances surrounding the course. They collected Student Evaluation of Teaching (SET) data spanning 26 semesters, covering 48 faculty members across 88 courses—a dataset rich enough to disentangle the signal from the noise.
Their method was straightforward but powerful. Instead of comparing raw scores, the researchers applied a conditional fixed effects model that controlled for whether a course was required or elective, students' prior interest in the subject, and a range of other course, faculty, and student characteristics. The question was simple: once you strip away contextual factors, do the rankings still hold?
The answer was a resounding no. Required courses and those where students reported lower prior interest consistently received lower evaluation scores—regardless of who taught them. When these variables were properly accounted for, the average absolute difference between a professor's simple score and their adjusted score was nearly half a standard deviation. In practical terms, this is enormous. More than half of the faculty in the sample changed quartile rankings after the adjustment. A professor ranked in the bottom quarter by raw scores might land in the top quarter once context was considered, and vice versa.
The implications for higher education policy are significant. Many universities use SET scores as a key metric in tenure, promotion, and compensation decisions. This study suggests that doing so without adjusting for course context is akin to judging a runner's speed without noting whether they ran uphill or downhill. Faculty assigned to teach large required introductory courses may be systematically disadvantaged compared to colleagues who teach small, popular electives.
The study does carry limitations. It draws from a single U.S. institution, meaning the specific magnitudes may differ elsewhere. And teaching evaluations, even when adjusted, capture only one dimension of instructional quality. Peer observation, student learning outcomes, and reflective teaching portfolios all contribute to a fuller picture.
Still, the takeaway is clear. For students reading evaluations to choose courses, it pays to consider what kind of course is being rated. For administrators using these scores to make career-altering decisions about faculty, the raw number alone can be dangerously misleading. Context is not a nice-to-have—it is essential.
📖 *Measuring Faculty Teaching Effectiveness Using Conditional Fixed Effects* | Original Paper
※ This article is based on an academic research paper. Practical applications may vary depending on context.
