人们如何回应评估

人们如何回应评估
本内容由人工智能自动翻译。

我的 近期量化霍桑效应尝试的总结 发表于几周前,并促成了我与同事和评论者之间一些有益的交流;他们向我推荐了更多我尚未读过的研究。事实证明,从历史上看,“霍桑效应”一词的使用很不一致。这个词所指的不仅是(a)受试者因知道自己正被观察而产生的行为反应——这是我们在影响评估中通常采用的定义;也曾指(b)仅仅因为参与研究而产生的行为反应,甚至(c)受试者希望改变行为以取悦实验者。当然,所有这些定义都存在宽泛的关联,但我们使用这一术语时,在概念上必须清晰,因为行为对研究的反应性质复杂,由此给影响评估带来了若干彼此不同的推断难题。霍桑效应只是这些潜在难题之一。下面我将列出各种行为反应的分类;如果这些反应确实发生,可能会威胁任何评估的有效性(我特别强调“可能”)。

先插一句题外话——有意思的是,对芝加哥郊外霍桑工厂开展的原始霍桑研究经不起审视。事实证明,原始数据中几乎没有证据指向实际存在霍桑效应;这一系列研究包含许多未受控制的变量,因此不可能识别出某种效应。 Levitt 和 List 重新分析了第一轮实验 ,并得出结论:“原始霍桑实验最重要的教训或许是一个好故事的力量。围绕霍桑实验形成的神话,在很大程度上是在缺乏谨慎数据分析的情况下产生的……”尽管如此,Levitt 和 List 承认霍桑效应一般而言是有可能存在的,即使它并未出现在实际的霍桑研究中。

其他研究者甚至走得更远。 一篇 2006 年的论文 题为《霍桑效应是个神话,但是什么让这个故事流传下去?》 另一篇论文主张应避免使用“霍桑效应”这一术语:“相反……研究者应提出具体的心理和社会变量;这些变量可能影响了研究结果,却未在项目期间受到监测,同时还应说明这些变量对观测结果可能产生的影响。”不过,这一建议有个明显的问题:我们并不确切知道霍桑效应为何发生、在哪些情境下发生,因此很难通过研究中可观测的指标将其纳入考量。更重要的是,即使我们确切知道霍桑效应在某一特定情境下为何出现,如果评估目标行为的唯一可用方法必然伴随着参与者知道自己正被观察,我们也可能无法避免这种效应。

无论 1924—1933 年间霍桑工厂的各轮研究中是否确实存在霍桑效应,后来已有大量研究发现,受试者会因受到观察而改变行为(在现实世界中也会如此,并非只在实验室中)。我在上一篇文章中列出了 12 项试图量化健康研究中霍桑效应的研究。那份清单并非意在穷尽所有研究。

好,看来霍桑效应有时确实存在。话虽如此,它并不是评估中唯一可能出现的行为反应。现在让我区分以下几种可能的行为反应:

  • 受试者因知道自己参与了某项评估干预而作出的反应——从概念上说,这与霍桑效应不同,因为即使治疗组和对照组受到同等程度的观察,它也会对两组产生不同影响。从理论上讲,意识到自己参与了一项实验性干预确实可能影响行为。这种效应的潜在途径包括:因日常活动发生变化而感到兴奋,或希望取悦评估者。我们将这种效应称为“聚光灯效应”。

  • 另一方面,如果受试者因知道自己未被纳入评估干预而改变行为——或许是意识到自己被排除后失去动力所致——那么这称为约翰·亨利效应。它只适用于对照组。

  • 我们将“霍桑效应”一词专用于指受试者因知道自己正受到观察而作出的反应。依我看,这种效应要出现,通常需要受试者认为以某种方式行事能够带来回报。

由于所有这些效应都是受试者有意作出的反应,源于其知道自己参与了研究或知道自己正受到观察,因此这些效应由受试者赋予以下事项的意义所驱动:(a)受到观察这一事实,和/或(b)参与社会实验。正如 我过去写过的 ,在讨论以“意义反应”解释安慰剂效应时所指出的,社会实验需要考虑研究对象会如何理解参与研究以及受到观察这一事实,并考虑他们是否会给其中任何一项活动赋予意料之外的意义。Levitt 和 List 讨论了非常相近的现象 :他们指出,在实验室实验中,受到审视(观察)会影响所表现出的亲社会行为程度。

  • 最后,霍桑效应是受试者被置于观察之下后作出的有意反应;此外,我们也来考虑一种独立的、非有意的观察反应,至少在理论上这种反应是可能存在的。我将这类效应称为“暗示效应”; 一项关于健康保险的研究中提到了这种效应 :在该研究中,接受调查的受试者于访谈数月后投保的比例,远高于通过行政数据跟踪但未接受访谈的受试者。

下面的表格列出了这四种效应,并提出了可能解释它们的机制。我还简要说明了可能是唯一能够确切识别每种效应的方法:

请注意,在这套分类中,我只考虑可能影响实际行为的效应,不包括影响所报告信息真实性的效应(这与实际行为不同)。此前,本博客 这里 和 这里讨论过如何减少调查回答中的所谓社会赞许偏差。

那么,我们究竟应在多大程度上担心这些效应?当然,很难说,因为总体证据有限,而且情境非常重要——如果研究对象(a)不知道自己正在参与评估,且(b)不知道自己正受到观察,那么这些效应都不可能发生。相当多的影响评估——通常是主要依赖行政数据的大规模政策评估——符合这两个条件。

量化霍桑效应的研究可能数量最多,但即便如此,研究数量仍谈不上多,研究情境也并非特别多样。根据对教师和医疗服务提供者的观察证据,受试者会逐渐适应被观察的状态,霍桑效应似乎很快就会消退;这一点多少令人安心。
据我所知,没有研究尝试通过上表所建议的识别方法来识别并测量“聚光灯效应”。David 最近综述了约翰·亨利效应的证据 ,并得出结论:现有证据充其量十分有限。据我所知,唯一近期调查“暗示效应”的论文就是上文引用的那篇。

“聚光灯效应”、约翰·亨利效应和“暗示效应”真的很少见吗?哪些情境(如果有的话)可能会引发这些效应?又或者,这些效应比我们所怀疑的更为普遍,只是尚未被识别出来?我不知道。

请告诉我们还有哪些相关研究尚未提及。或许本博客可以考虑维护一份开放的相关研究清单。

本文最初发表于 世界银行博客

作者:Jed Friedman 是世界银行发展研究部(贫困与不平等团队)高级经济学家。

图片:2014 年 6 月 15 日,在南部城镇迪莫纳举行的五旬节节日庆祝活动中,一名来自非洲希伯来以色列人社区(俗称“黑人希伯来人”)的女孩躲在一名成年人身后。路透社 / Finbarr O’Reilly

分享:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。