计算机化线性测验中泄露题目的检测:一种使用自编码器和BERT的新方法

Authors

Yiqin Pan, University of FloridaFollow
Sandip Sinharay, Educational Testing Service
翔宇 陆, 北京师范大学中国基础教育质量监测协同创新中心

ORCID

Yiqin Pan: https://orcid.org/0009-0002-2045-4117

Sandip Sinharay: https://orcid.org/0000-0003-4491-8510

Abstract

题目泄露是测验行业中备受关注的一个重要问题。我们提出了一种通过分析作答时间和分数来检测计算机化线性测验中泄露题目的新方法。我们的方法包括三个主要组成部分:第一，我们采用自编码器(一种神经网络)对作答时间和分数进行建模，捕捉每道题目和每名考生的独特特征;第二，我们开发了一个基于 BERT 的模型来分析考生的作答模式，以预测期望作答时间。自编码器生成的特征向量被整合到这一模型中以增强其识别作答模式的能力;第三，我们设计了一种算法，通过比较期望作答数据和实际作答数据来标记出可能已泄露的题目。模拟研究的结果表明，本文提出的方法能够有效地检测出泄露题目，且只要存在一定程度的题目泄露，就能够将假阳性率控制在低水平，并保持较高的检出率。

Recommended Citation

Pan, Yiqin; Sinharay, Sandip; and 陆, 翔宇 (2024) "计算机化线性测验中泄露题目的检测:一种使用自编码器和BERT的新方法," Chinese/English Journal of Educational Measurement and Evaluation | 教育测量与评估双语期刊: Vol. 5: Iss. 3, Article 8.
DOI: https://doi.org/10.59863/VZOJ1371
Available at: https://www.ce-jeme.org/journal/vol5/iss3/8

DOI

https://doi.org/10.59863/VZOJ1371