近日，opta足球数据中文版官网心理学系詹沛达副教授及合作者在NCME(美国教育测量委员会)会刊Educational Measurement: Issues and Practice (SSCI，IF: 1.702)发表题为A Longitudinal Diagnostic Model with Hierarchical Learning Trajectories的文章。该研究部分内容受到教育部人文社科青年基金项目(No. 19YJC190025)和国家自然科学青年基金项目(No. 31900795)的资助。
Zhan, P., & He, K. (2021). A longitudinal diagnostic model with hierarchical learning trajectories. Educational Measurement: Issues and Practice, 40(3), 18-30.
追踪学生的发展需要进行纵向研究。纵向学习诊断(longitudinal learning diagnosis)旨在一段时间内测评个体对潜在属性(e.g., 知识和技能)的掌握情况的变化，及时提供的诊断反馈，从而实现促进学生学习发展的目的。
近些年，不同学者提出了多个纵向学习诊断模型(longitudinal learning diagnosis models)，为纵向学习诊断提供了理论和方法学支持。尽管已有一些研究表明纵向LDM可以实现对个体掌握属性情况的纵向诊断，但现有的纵向LDM都假设属性之间是结构独立(structural independent)的，而这种假设可能与实际学习和测验的复杂情境不符。在学习诊断中，属性层级(attribute hierarchy; Leighton et al., 2004)约束了个体对属性的掌握顺序，符合现实情境中个体对多个相关属性的掌握过程。以A1→A2→A3为例，属性层级假设个体欲掌握属性A2需先掌握A1，欲掌握A3需先掌握A1和A2。在学习诊断中引入属性层级不仅有助于缩减潜在属性空间(i.e., 所有可能的潜在属性模式；接上例，所有可能的潜在属性模式为(000), (100), (110)和(111)，而非2K = 8种)，还能使测验蓝图(test blueprint)符合特定的认知理论。
在纵向学习诊断中，属性层级的引入可以引导或限制学生的发展方向，从而形成层级学习轨迹(hierarchical learning trajectory)，有助于准确追踪层级属性(hierarchical attribute)的发展。针对现有纵向LDM不能追踪层级属性发展情况的问题，本研究结合纵向高阶学习诊断建模法(Zhan, Jiao et al., 2020)和贯序高阶潜在结构建模法(Zhan, Ma et al., 2020)，提出一种可诊断层级属性发展情况的纵向学习诊断建模法，并以两个模型(分别为假设属性之间为连接缩合规则的Hi-Long-DINA和假设属性之间为补偿缩合规则的Hi-Long-LLM)为例进行解释说明。
本文主要通过一则实证研究来比较考虑属性层级和不考虑属性层级的纵向LDM的实际表现。实证数据来自一个探究诊断反馈有效性的准实验研究(Tang & Zhan, 2020a)，该测验包含3个时间点上的平行测验，所有测验的Q矩阵相同(包含18道题目且测量6个属性)。其中，属性1~3为结构独立，属性4~6之间存在层级结构(即欲掌握属性6需要先掌握4和5)，具体见图1。图2呈现了与图1对应的贯序掌握树(sequential mastery tree; Zhan, Ma et al., 2020)。另外，本研究选用Tang和Zhan (2020a)研究中的学习诊断反馈组的90名被试的作答数据。表1呈现了2个考虑属性层级的纵向LDM和另外2个与之对应的不考虑属性层级的纵向LDM的模型-数据拟合结果。结果表明，考虑属性层级的纵向LDM可以更好地拟合该数据。表2呈现了4个模型的后验混合比例(即具有各属性模式的人数占比)。可发现，不考虑属性层级的纵向LDM会将一部分被试诊断为不可能的(即不符合认知理论的)属性掌握模式。
整体而言，本研究提出的建模方法首次尝试在纵向学习诊断中引入属性层级，实现对层级属性的发展性诊断，为刻画个体有层级的学习轨迹提供了方法学支持。限于能力和精力，本研究仍有一些局限性，值得未来做进一步探讨。比如，新模型仅考虑了层级属性的发展情况，并未考虑可能导致学生发展的因素；新模型是基于纵向高阶学习诊断建模法构建的，而如何在潜在转换分析建模法实现对层级属性的发展性诊断也值得关注；本研究假设属性层级结构的设定是正确的，而这在实践中可能并非如此。因此，错误的属性层级结构对新模型产生的影响也值得后续探讨；另外，本研究假设所有学生所遵循的属性层级或学习轨迹是一样的，而实践中不同学生可能有不同的学习路径，即对同一目标属性的掌握历程可能是不同的。此时，如何实现对这种情况的诊断分析也非常值得后续研究的关注。
图1 有理数运算数据的属性层级(原文Figure 3).
图2 有理数运算数据中六个属性的贯序掌握树(原文Figure 4).
注：N = 未掌握; M = 掌握; mnk = 被试n掌握属性k的概率.
表1 模型-数据拟合结果.
表2 四个模型的后验混合比例(即具有各属性模式的人数占比).
