从 NEAP 阅读项目自动评分的数据挑战赛中汲取的公平性评估经验

Authors

Maggie Beiting-Parrish
John Whitmer, The Federation of American ScientistsFollow

Abstract

自然语言处理(NLP)在各个领域被广泛用于预测学生开放式反应的人为评分 (Johnson et al., 2022)。保证基于学生人口统计学因素的算法公平是至关重要的 (Madnani et al., 2017)。本研究对数据挑战赛中表现最好的六个参赛者进行了公平性分析，涉及 20 个 NEAP 阅读理解项目，这些项目最初是基于种族和性别进行公 平性分析的。本研究描述了包括英语语言学习者身份(ELLs)、个人教育计划以及免 费/优惠午餐在内的附加公平性评估。许多项目在成绩预测上表现出较低的准确性， 其中对 ELLs 表现得最为明显。本研究推荐在评分公平性评估中纳入额外的人口统 计学因素，同样，公平性分析需要考虑多重因素和背景。

Recommended Citation

Beiting-Parrish, Maggie and Whitmer, John (2023) "从 NEAP 阅读项目自动评分的数据挑战赛中汲取的公平性评估经验," Chinese/English Journal of Educational Measurement and Evaluation | 教育测量与评估双语期刊: Vol. 4: Iss. 3, Article 6.
DOI: https://doi.org/10.59863/NZBO8811
Available at: https://www.ce-jeme.org/journal/vol4/iss3/6

DOI

https://doi.org/10.59863/NZBO8811