该论文旨在解决以下问题:
- 大型语言模型(LLMs)在生成大规模说服性内容方面潜力巨大,但现有研究多关注其生成错误信息(misinformation)的风险。
- 大型语言模型在促进亲社会行为(prosocial behavior)方面的潜力尚未得到充分探索,特别是在捐赠呼吁(donation appeals)场景中。
- 需要探究在不同个性化程度(personalization)下,大型语言模型生成的捐赠呼吁是否与人类撰写的同样有效。
论文使用了以下具体方法:
- 设计了两个预先注册(preregistered)的在线实验(研究1:N=658;研究2:N=642)。
- 实验操纵了两个关键变量:
1. 个性化程度(Personalization):分为通用型(generic)、个性化(personalized)和虚假个性化(falsely personalized)。
2. 内容来源(Content source):分为人类撰写(human)和大型语言模型生成(LLM)。
- 向参与者展示慈善机构的捐赠呼吁,并测量三个关键结果:
1. 参与者如何分配奖金给各慈善机构。
2. 参与者与捐赠呼吁的互动程度(engagement)。
3. 参与者认为捐赠呼吁的说服力(persuasiveness)如何。
论文的核心创新点在于:
- **首次系统比较了大型语言模型与人类在亲社会说服(prosocial persuasion)任务中的表现**:以往研究多关注大型语言模型在负面(如错误信息)场景的应用风险,而本研究聚焦于其积极的、亲社会的应用潜力。
- **揭示了大型语言模型在说服效果上可能超越人类**:实验结果表明,在捐赠呼吁场景中,大型语言模型生成的内容在募捐金额、用户互动和感知说服力三个维度上均优于人类撰写的内容。
- **探讨了个性化策略的调节作用及其边界**:研究发现个性化能带来增益,但虚假个性化会招致惩罚,这为如何有效使用大型语言模型进行个性化沟通提供了实证依据。
论文对该领域的整体贡献包括:
- **实证贡献**:通过严格的实验设计,提供了大型语言模型在亲社会说服任务中有效性超越人类的直接证据,填补了该领域的研究空白。
- **理论贡献**:拓展了关于人工智能说服力(AI persuasiveness)和计算机媒介沟通(computer-mediated communication)的理论理解,表明先进的大型语言模型可以成为高效的说服工具。
- **实践贡献**:为慈善机构、非营利组织等提供了重要启示,即大型语言模型可能是一种适合生成鼓励亲社会行为内容的技术,有助于以可扩展的方式提高募捐等活动的效果。
- **方法论贡献**:展示了如何通过操纵个性化程度和内容来源来系统评估人工智能生成内容的说服效果,为后续研究提供了可借鉴的范式。