该论文旨在解决学生在反思性写作中难以进行深度反思的问题。研究背景是:虽然大型语言模型(LLMs)已被证明能提升写作技能,但其作为对话代理(conversational agent)在反思性写作中的应用效果参差不齐,且现有研究主要集中于对已完成的反思文本提供反馈,而非在写作的规划(planning)和组织阶段提供支持。
论文提出并评估了名为Pensée的工具,其核心方法包括:
- 基于写作的认知过程理论(Cognitive Process Theory of writing, CPT),首次将大型语言模型(LLMs)应用于反思性写作的规划(planning)和转译(translation)步骤。
- 在规划阶段:通过对话代理(conversational agent)提供脚手架(scaffolding),支持结构化反思规划。
- 在转译阶段:通过自动提取关键概念来提供支持。
- 采用受控的组间实验(between-subjects experiment, N=93),通过操纵不同写作阶段的人工智能(AI)支持来评估效果。
论文的核心创新点在于:
- **理论驱动的应用创新**:首次将写作的认知过程理论(CPT)与大型语言模型(LLMs)的应用相结合,将支持从传统的“回顾反馈”前移至“规划”和“转译”这两个关键的写作过程阶段。
- **工具设计的创新**:开发了Pensée工具,它通过对话代理在规划阶段提供结构化脚手架,并在转译阶段通过自动提取关键概念来提供支持,这是一种全新的、过程导向的人工智能(AI)支持模式。
- **研究视角的转变**:与现有工作主要关注对成品文本的反馈不同,本研究聚焦于支持写作的认知过程本身,旨在从源头上促进深度反思。
论文对该领域的总体贡献包括:
- **实证贡献**:通过受控实验提供了证据,表明在认知过程理论(CPT)的规划和转译阶段提供人工智能(AI)支持,能显著提升反思的深度和结构质量(尽管在延迟后测中效果减弱)。
- **理论贡献**:通过分析学习者行为与感知,阐明了与认知过程理论(CPT)一致的对话支持如何塑造反思过程和学习者体验,为理论驱动的大型语言模型(LLMs)应用提供了实证依据。
- **实践贡献**:提出了一个可操作的工具(Pensée)和一种新的人工智能(AI)支持范式,为未来设计支持高阶思维技能(如元认知(metacognition))的教育技术工具提供了新思路。