生成式AI将对社会科学领域的科学知识生产产生颠覆性影响，尤其是在我们开展实验的方式上。
实验设计、实施和数据分析都可以借助生成式AI得到增强。
虽然将AI融入科学研究需要审慎对待，以降低偏见和隐私问题等风险，但其潜在益处是巨大的。
生成式人工智能（AI）——即能够生成全新内容的大语言模型（LLM）应用——的近期兴起，已成为经济政策讨论的焦点，吸引了欧盟、美国参议院和联合国的关注。
这一颠覆性创新由包括OpenAI和Anthropic在内的新兴专业AI实验室引领，并得到微软等传统“大型科技公司”的资金支持和亚马逊的支持，它不仅仅是理论上的奇迹；它已经在重塑市场，从创意产业到医疗健康等诸多领域。然而，我们目前仅处于其为经济发挥全部潜力的临界点与人类的未来。
有一个领域虽处于初始阶段，却即将迎来颠覆性变革，即社会科学领域的科学知识生产。实验方法是社会科学知识进步的重要基础，也是技术革命得以建立的和政策得以制定的基石。
正如我们在近期研究中所提出的，《下一代：AI实验》，将生成式AI融入科学实验，可以彻底改变在线实验的实践，以不同的、可扩展的方式检验涉及多方主体的理论，这些主体包括研究人员、企业家和政策制定者。这可以通过便于其在不同组织中部署、使科学教育更加普及，以及在全社会培养基于证据的批判性思维来实现。
AI如何助力在线实验
我们的论文指出了AI可以显著增强在线实验的三个关键领域——设计、实施和数据分析——使我们能够大规模地克服长期存在的、与在线实验相关的科学问题。
1. 在实验设计中，大语言模型可以通过评估现有文献、时事以及某一领域的重要问题，生成新的假设。其广泛的训练使其能够推荐合适的方法，以分离因果关系，例如经济博弈或市场模拟。此外，它们可以协助确定样本量，并确保统计稳健性，同时撰写清晰简明的说明，这对于确保实验具有最高的科学价值至关重要。此外，它们可以将简单的英语转换为不同的编程语言，使我们能够在不同环境中部署实验。
2. 近期证据表明，在不同环境中，让人类使用AI驱动的聊天助手可以显著提高其工作效率。AI辅助使人工支持能够为更多人提供更快、质量更高的回复。
这一技术可以引入实验研究中，因为参与者可能需要对说明进行澄清，或有其他问题。AI的可扩展性使其能够同时监控多名参与者，通过实时检测参与度、作弊行为或错误回复，从而维持数据质量。此外，通过聊天助手实现数据收集流程的自动化，可以降低实验者偏见或“需求效应”（即参与者试图给出预期而非真实的答案）的风险，而这些因素会影响参与者的行为，从而使对研究问题的评估更加可靠。
3. 在数据分析阶段，大语言模型可以运用最先进的自然语言处理技术来探索新的变量，例如参与者的情绪或参与度水平。对实验中的实时聊天记录运用自然语言处理（NLP）技术，可以洞察参与者的行为、不确定性和认知过程。它们可以自动完成数据预处理、进行统计检验并生成可视化图表，使研究人员能够专注于实质性工作。
在数据预处理阶段，语言模型可以从聊天记录中提取关键细节，将数据整理为便于分析的格式，并处理任何不完整或缺失的条目。除此之外，此类模型还可以进行内容分析——识别并归类参与者频繁表达的关切，分析所传达的情绪和情感，并评估说明、回复和互动的有效性。
然而，将大语言模型融入科学研究确实面临挑战。存在其训练数据和算法中固有的偏见风险。研究人员必须保持警惕，审查这些模型是否存在歧视或偏差。鉴于这些模型处理的海量数据（包括敏感的参与者信息），隐私问题同样至关重要。此外，随着大语言模型越来越擅长生成具有说服力的文本，欺骗风险和错误信息传播的威胁日益严峻。
过度依赖生成式AI的标准化提示词可能会扼杀人类的创造力，因此需要采取平衡的方法，既充分利用AI的能力，也发挥人类的智慧。
虽然将AI融入科学研究需要审慎对待，以降低偏见和隐私问题等风险，但其潜在益处是巨大的。大语言模型提供一个独特的机会，可以大规模地在企业和政策层面培育实验文化，从而实现系统化、数据驱动的决策，而非依赖直觉，这可以提高工人的生产力。
在政策制定中，大语言模型可以通过低成本的随机试验推动政策选项的试点，从而实现迭代的、基于证据的方法。如果这些风险得到审慎管理，生成式AI为开展更高产、透明且数据驱动的实验提供了宝贵的工具包，同时不削弱人类创造力和判断力的重要作用。
如需了解更多相关内容，请阅读合著者Brian Jabarian发布的这条Twitter帖子。
