← 返回论文列表

大规模亲社会说服?大型语言模型在个性化捐赠呼吁中全面超越人类表现
Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

作者: John Caffier, Olga Stavrova, Bennett Kleinberg
arXiv: 2604.03202v1
分类: cs.CY
📝 论文摘要
大型语言模型(LLM)日益被视为具备大规模生成说服性内容的潜力。虽然先前研究主要关注LLM生成错误信息的风险,但LLM在促进亲社会说服方面的作用仍未得到充分探索。本研究通过两个预注册在线实验(研究1:N=658;研究2:N=642),在个性化程度维度上探究LLM撰写的募捐倡议是否与人类写作具有同等效力。实验操纵个性化水平(通用型/个性化/虚假个性化)和内容来源(人类/LLM),向参与者展示慈善募捐倡议,并评估其奖金分配行为、内容互动程度及感知说服力。两项实验均显示:相较于人类创作内容,LLM生成内容获得更多捐款、引发更高参与度、被评价为更具说服力。研究发现个性化能带来增益效应(研究2),而虚假个性化则会产生惩罚效应(研究1)。结果表明,LLM可能成为生成促进亲社会行为内容的有效技术工具。

📊 核心分析

🎯 研究动机
该论文旨在解决以下问题: - 大型语言模型(LLMs)在生成大规模说服性内容方面潜力巨大,但现有研究多关注其生成错误信息(misinformation)的风险。 - 大型语言模型在促进亲社会行为(prosocial behavior)方面的潜力尚未得到充分探索,特别是在捐赠呼吁(donation appeals)场景中。 - 需要探究在不同个性化程度(personalization)下,大型语言模型生成的捐赠呼吁是否与人类撰写的同样有效。
🔧 核心方法
论文使用了以下具体方法: - 设计了两个预先注册(preregistered)的在线实验(研究1:N=658;研究2:N=642)。 - 实验操纵了两个关键变量: 1. 个性化程度(Personalization):分为通用型(generic)、个性化(personalized)和虚假个性化(falsely personalized)。 2. 内容来源(Content source):分为人类撰写(human)和大型语言模型生成(LLM)。 - 向参与者展示慈善机构的捐赠呼吁,并测量三个关键结果: 1. 参与者如何分配奖金给各慈善机构。 2. 参与者与捐赠呼吁的互动程度(engagement)。 3. 参与者认为捐赠呼吁的说服力(persuasiveness)如何。
💡 核心创新
论文的核心创新点在于: - **首次系统比较了大型语言模型与人类在亲社会说服(prosocial persuasion)任务中的表现**:以往研究多关注大型语言模型在负面(如错误信息)场景的应用风险,而本研究聚焦于其积极的、亲社会的应用潜力。 - **揭示了大型语言模型在说服效果上可能超越人类**:实验结果表明,在捐赠呼吁场景中,大型语言模型生成的内容在募捐金额、用户互动和感知说服力三个维度上均优于人类撰写的内容。 - **探讨了个性化策略的调节作用及其边界**:研究发现个性化能带来增益,但虚假个性化会招致惩罚,这为如何有效使用大型语言模型进行个性化沟通提供了实证依据。
🏆 总体贡献
论文对该领域的整体贡献包括: - **实证贡献**:通过严格的实验设计,提供了大型语言模型在亲社会说服任务中有效性超越人类的直接证据,填补了该领域的研究空白。 - **理论贡献**:拓展了关于人工智能说服力(AI persuasiveness)和计算机媒介沟通(computer-mediated communication)的理论理解,表明先进的大型语言模型可以成为高效的说服工具。 - **实践贡献**:为慈善机构、非营利组织等提供了重要启示,即大型语言模型可能是一种适合生成鼓励亲社会行为内容的技术,有助于以可扩展的方式提高募捐等活动的效果。 - **方法论贡献**:展示了如何通过操纵个性化程度和内容来源来系统评估人工智能生成内容的说服效果,为后续研究提供了可借鉴的范式。