← 返回论文列表

双语模型中的跨语言迁移是否类人?一项关于荷兰语与英语重叠词形的研究
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English

作者: Iza Škrjanec, Irene Elisabeth Winther, Vera Demberg 等4人
arXiv: 2604.07067v1
分类: cs.CL
📝 论文摘要
双语使用者在阅读过程中表现出跨语言激活现象,尤其对具有相同表层形式的词汇更为明显。同源词通常会产生促进效应,而跨语言同形异义词则会导致干扰效应或无显著影响。本研究探讨双语语言模型中的跨语言激活是否反映这些模式。我们训练了荷兰语-英语因果Transformer模型,在四种词汇共享条件下进行操作,控制(伪)同源词是否获得共享或语言特定的嵌入表征。通过采用双语阅读研究中的心理语言学刺激材料,我们运用惊奇度与嵌入相似性分析方法对模型进行评估。模型总体上保持语言分离,跨语言效应主要在嵌入共享时显现。在这些情况下,同源词与跨语言同形异义词相较于对照组均表现出促进效应。回归分析表明,这些效应主要受词频驱动,而非形式-意义映射的一致性。仅当同源词共享嵌入表征时,模型才能复现双语者的质性模式。总体而言,双语语言模型能够捕捉部分跨语言激活效应,但其与人类加工过程的契合度关键取决于词汇重叠的编码方式,这可能限制其作为双语阅读模型的解释充分性。

📊 核心分析

🎯 研究动机
该论文旨在探究双语语言模型中的跨语言激活是否与人类双语者的认知过程相似。研究背景是:人类双语者在阅读时会出现跨语言激活,特别是对于具有共享表面形式的词汇——同源词(cognates/friends)通常产生促进效应,而同形异义词(interlingual homographs/false friends)则导致干扰或无效应。
🔧 核心方法
论文采用以下具体方法: - 训练荷兰语-英语因果Transformer模型,设置了四种词汇共享条件,以操控(假)同源词是否获得共享或语言特定的词嵌入(embeddings)。 - 使用来自双语阅读研究的心理语言学刺激材料。 - 通过惊奇度(surprisal)分析和词嵌入相似性(embedding similarity)分析来评估模型。 - 进行回归分析以探究驱动效应的因素。
💡 核心创新
论文的核心创新点在于: - 首次系统性地在双语Transformer模型中模拟并检验了人类双语阅读中的跨语言激活现象,特别是针对同源词和同形异义词的对比效应。 - 创新地设计了四种词汇共享条件,以精确操控词嵌入的共享策略,从而分离出不同编码方式对跨语言激活模式的影响。 - 揭示了模型与人类处理对齐的关键条件:只有当同源词共享词嵌入时,才能复现人类双语者的定性模式,这表明词汇重叠的编码方式是决定模型解释充分性的关键因素。
🏆 总体贡献
论文对该领域的总体贡献是: - 实证表明双语语言模型能够捕捉到部分跨语言激活效应,验证了其作为研究工具的潜力。 - 同时指出,模型与人类处理的对应关系高度依赖于词汇重叠的编码方式,这限制了其作为双语阅读模型的解释充分性(explanatory adequacy)。 - 为未来构建更贴近人类认知的双语计算模型提供了重要的设计启示和评估基准。