과제를 제출하고 교수에게서 피드백을 받을 때, 학생들은 때로 '이 피드백이 정말 공정한가'를 속으로 의심하기도 한다. 그렇다면 같은 내용의 피드백을 AI에게 받는다면 어떨까. 놀랍게도 학생들은 AI 피드백을 더 신뢰한다는 연구 결과가 나왔다.
*Frontiers in Education*에 게재된 이 2024년 연구는 독일 학생 169명을 대상으로 2×2 집단 간 실험 설계를 적용했다. 피드백 제공자와 제공자 정보 제공 여부를 독립변수로,피드백 메시지 및 제공자에 대한 인식을 종속변수로 측정했다. 경로분석을 통해 두 변수 간의 구조적 관계를 검토했다.
LLM은 교수보다 더 신뢰할 수 있는 피드백 제공자로 인식됐다. 동일한 내용의 피드백이라도 AI로부터 받을 때 학생들은 더 객관적이고 편견 없다고 평가했다. 이는 학생들이 인간 교수자에게서 편향된 평가를 받을 수 있다는 암묵적 우려를 갖고 있음을 시사한다.
제공자 정보가 제공되면 피드백 인식이 전반적으로 개선됐다. 피드백을 준 주체에 대한 맥락 정보를 제공받은 학생들은 피드백의 질과 공정성을 더 높이 평가했다. '왜 이 피드백이 나왔는지'를 이해하게 될 때 수용도가 높아지는 것이다.
흥미롭게도, 제공자 정보가 추가되면 AI와 교수 간의 신뢰도 차이가 변화했다. 정보가 없을 때는 AI가 명확히 더 신뢰받았지만, 제공자 정보가 주어지면 그 격차가 줄어들거나 역전되는 양상이 나타났다. 교수자의 전문성과 의도에 대한 정보가 학생들의 인식 편향을 보정하는 역할을 한 것이다.
이 연구는 AI 피드백 도구가 이미 대학 교육 현장에 깊이 침투하는 시점에서 중요한 시사점을 준다. AI 피드백이 더 신뢰받는 이유가 실제 품질보다는 인식 상의 편향 때문일 수 있으므로, 학생들이 피드백의 출처와 맥락을 비판적으로 이해하도록 교육하는 것이 필요하다. 단, 독일 학생만을 대상으로 했다는 점은 일반화의 한계다.
교수자들은 피드백을 제공할 때 자신의 평가 기준과 의도를 간략히 설명하는 것만으로도 학생 수용도를 크게 높일 수 있다. AI 피드백 도구를 교육에 도입할 때는 "AI가 이 기준으로 평가했다"는 투명한 정보를 함께 제공해, 학생들이 맥락 안에서 피드백을 소화하도록 설계해야 한다.
📖 *Embracing LLM Feedback:the role of feedback providers and provider information for feedback effectiveness* |
논문 원문
※ 이 기사는 교육 연구 논문을 바탕으로 작성되었습니다. 교육 환경에 따라 다를 수 있으니 참고용으로 활용하세요.
Imagine receiving detailed feedback on your essay — the same feedback, word for word — once attributed to your professor and once to an AI. Would you perceive them differently? For 169 German university students, the answer was a resounding yes.
Published in *Frontiers in Education* in 2024, this experimental study by Theresa Ruwe and Elisabeth Mayweg-Paus deployed a 2x2 between-subjects design to examine how students perceive feedback depending on whether it comes from a Large Language Model (LLM) or a human educator, and whether they receive information about the provider. Path analyses were used to unpack the structural relationships between provider type, disclosure, and perceptions of trustworthiness and fairness.
Students rated LLM feedback as more trustworthy than feedback from their educators. Even when the content was identical, AI-attributed feedback was perceived as more objective and less susceptible to personal bias. This finding points to a telling dynamic in academic settings: students may harbor implicit doubts about the impartiality of human evaluators, and AI's perceived neutrality fills that psychological gap.
Providing information about the feedback provider improved overall feedback perceptions across the board. When students received context about who or what delivered their feedback — including the rationale or characteristics of the provider — they rated the quality and fairness of that feedback more favorably. Transparency, it turns out, is a powerful lever for making feedback land more effectively.
The interaction between provider type and disclosure produced a nuanced and significant shift. Without provider information, the AI enjoyed a clear trustworthiness advantage over educators. When provider information was disclosed, however, that gap narrowed or reversed — contextual information about the educator's expertise and intent appeared to correct the initial perceptual bias in students' minds.
These findings arrive at a critical moment, as LLM-based feedback tools proliferate across universities worldwide. The data suggests that students' preference for AI feedback may reflect a cognitive bias toward perceived objectivity rather than actual quality differences — a distinction with serious implications for how institutions design and communicate feedback processes. The study's geographic specificity to German students is a key limitation; whether similar patterns hold across different cultural and institutional contexts remains an open question.
For educators, a small but high-impact takeaway: briefly explaining the rationale behind your feedback — your criteria, your intent, your professional judgment — can meaningfully improve student receptiveness without requiring any extra grading effort. When deploying AI feedback tools in course design, build in transparency about what the AI evaluated and why. Whether the feedback comes from a human or a machine, students engage better when they understand the process behind it.
📖 *Embracing LLM Feedback: the role of feedback providers and provider information for feedback effectiveness (experimental study, 169 students)* |
Full Paper
※ This article is based on an academic research paper. Results may vary depending on educational context; use as reference only.
