我们如何衡量经济学领域的成功?

我们如何衡量经济学领域的成功?
本内容由人工智能自动翻译。

本文与 VOX EU合作发表。

与其他职业群体一样,学术经济学家竞争极为激烈,并非常关注衡量自身的成功,这是一种职业性的自我审视。他们专注于衡量自己的研究对学术界和更广泛世界的影响,以及与同行相比的地位,在少数情况下甚至到了着迷的程度。1 排名与成功衡量标准所服务的目的,超出了群体内部的单纯竞争:它们表明学者的研究成就在多大程度上影响了其他学者,进而最终影响公共辩论与公共政策。他们面临的问题是如何比较成就,因此,拥有一些各方认可的个体与群体成就衡量标准尤为重要。

大多数学术经济学家(以及其他研究人员)以发表论文的数量来评判自己与同行的成就,并特别看重发表在声望较高期刊上的论文。原因很简单:这些成就信号几乎不需要收集信息,也几乎无需思考。虽然一组精选的经济学期刊通常被称为“Top Five”,但仅凭文章发表在何处来判断质量,是一种极差的质量评估方式。2 至少,期刊对其他研究的影响,即期刊文章获得的被引次数,值得关注。树木可能倒在一片非常热闹的森林中,但如果没有人听到它倒下的声音,这还重要吗?

在这一精选的期刊群体中,已发表文章之间存在巨大的异质性。以2007年和2008年发表于这些期刊的每篇文章为样本,图1描绘了自发表之日起至2015年1月为止,各篇文章在Web of Science中被引次数的分布情况。3 平均每篇论文被引用50次,但中位数论文仅获得35次引用,这些引用来自可能阅读该期刊的学者及其他作者。此外,只有21%的论文被引用超过100次。这些顶级期刊的声望主要源于其刊发的少数文章吸引了极为广泛的关注。其他文章虽未被完全忽视,但其影响力很小。4

图1. 2007-08年Top Five期刊论文的Web of Science被引次数分布

151215-衡量经济成功 VoxEU

许多发表于其他期刊的学术研究,其影响力超过了发表于最负盛名刊物的研究。以被视为经济学发表“食物链”中次一级的两份综合性经济学期刊为例,图2展示了若这些文章发表于五大顶级期刊之一,其被引次数将使其处于何种位置。5 虽然这些期刊中的大多数文章所获关注少于顶级期刊的文章,但即便是这些“次级”期刊中被引次数居中的文章,所获关注也超过了顶级期刊中30%的出版物。学术产出具有异质性,因此在评判时必须考虑个案,而不能仅仅根据研究发表于何处来评估。

图2. 《Economic Journal》和《Review of Economics and Statistics》文章的被引次数,在2007-08年Top Five期刊被引次数分布中的百分位

经济学研究日益以合著为特征:如今绝大多数学术论文有两位或更多作者,其中相当一部分有三位或更多作者(参见Hamermesh 2013)。在评判个人对研究的贡献时,潜在雇主、学生及外部人士如何评估这些通常是合作成果的贡献?当声誉已经确立的资深合作者有动机夸大其可能正在求职或寻求晋升的初级合著者的贡献时,这一问题尤为突出。

无法事先得知一篇学术论文的影响力,但我们可以将经济学论文随后获得的被引次数与其作者人数联系起来。这一学术影响力的生产函数表明,按产出研究的研究者人数划分,研究所获得的平均关注度,并且它隐含地衡量了额外一位合著者的边际学术生产力。

图3展示了2007年和2008年发表于“Top Five”期刊的论文,其后续Web of Science被引次数的平均值与作者人数之间的关系。额外的合著者平均而言确实能带来更多被引次数,但增加一位合著者对学术影响力的边际效应远非成比例。从单作者论文过渡到双作者论文,被引次数仅增加约20%;从一位作者增至四位作者,也未能使论文的学术影响力翻倍。正如经济理论所预测的那样,额外合著者的边际生产力随合著者人数增加而递减。

图3. 2007-08年Top Five期刊论文的平均Web of Science被引次数(按作者人数划分)

额外合著者的边际生产力递减表明,在评估经济学研究者的成功时,人们不能仅仅统计论文篇数、按期刊质量调整后的论文篇数,或者(更为理想的是)单篇论文所获得的被引次数。在评判新发表的研究时,应将每位作者所衡量的影响力估计值下调,或许可除以作者人数N,但至少应除以一个大于1的数。归根结底,在论文发表多年后、研究的最终学术影响力几乎完全显现时,按作者人数分摊功劳,似乎是衡量个人贡献与成功的唯一合理方法。

经济学家个人成就的异质性同样极大。即使仅选取精英资深学者,即获得博士学位已超过15年、且任职于美国排名前20院校的学者,超级明星(即该群体中位列前1%的研究者)的被引次数,仍是该群体中位数学者的14倍;而该群体中位数学者的被引次数,是按被引次数排序后位于该精英群体最低十分位的研究者的6倍。少数人占据了该群体所获得的绝大部分关注:这些经济学家中有15%的人贡献了该群体全部被引次数的一半。经济学界有少数超级明星、更多的明星,以及数量更多的行星,但大多数则是学术上的小行星。

除了评判个人的成功,我们也评判经济研究者群体的成就,即个人所属的院系,因为这些评判对于考虑攻读研究生的学生、寻求就业的青年研究者以及寻找经济问题专家的外部人士而言都很重要。基于发表量或被引次数、考察平均值、中位数或某一机构最优秀研究者成就的各种衡量指标,得出的排名惊人地相似:哈佛、普林斯顿、芝加哥、斯坦福、麻省理工学院和伯克利始终位列美国经济学院系前十名。按这些常用指标,欧洲顶尖经济学院系通常远远排在这一群体之后。6

不过,在这里同样,关注异质性(即考察各院系成员的个人成就)至少与审视汇总统计数据同样重要。排名第6至第10的经济学院系中,至少有25%的研究者,其学术记录已超过排名第1至第5的至少一所经济学院系的中位被引学者;平均排名位于第二个十名区间的院系中,研究者的学术记录也足以使其超过排名前十的至少一所院系的中位被引学者。欧洲最顶尖的经济学院系同样如此。精英院校之间的质量存在极大重叠,因此,依据平均成就来评判院系,会遗漏个人成就中的大部分差异。

考察经济学家成就所得出的核心结论是:不能依据研究发表于何处、或学者所属机构等汇总性指标,来对个体学者的成就(包括其职业生涯或个人研究贡献)进行排名。顶尖院校也有一些平庸的学者,而排名较低的院校则有一些明星学者。顶级期刊刊发的最优秀学术研究比其他期刊多,但它们也刊发了大量基本无人问津的研究。要恰当地评判经济学领域的成功,需要关注个体成果,而非那些无法很好反映其所构成的个体成果的汇总指标。

作者注:本专栏基于NBER工作论文第21754号“Citations in Economics: Measurement, Uses and Impacts”。

参考文献

Cartter, A. (1966),《An Assessment of Quality in Graduate Education》,Washington, DC: American Council for Education。

Davis, P. and G. Papanek (1984),“Faculty Ratings of Major Economics Departments by Citations”,《American Economic Review》74,第225-250页。

Dusansky, R. and C. Vernon (1998),“Rankings of U.S. Economics Departments”,《Journal of Economic Perspectives》12,第157-170页。

Ellison, G. (2013),“How Does the Market Use Citation Data? The Hirsch Index in Economics”,《American Economic Journal: Applied Economics》5,第63-90页。

Hamermesh, D. (2013),“Six Decades of Top Economics Publishing”,《Journal of Economic Literature》51,第162-172页。

尾注

[1] 过去四十多年来,已有大量针对经济学者个人与院系群体的排名问世,其中几个例子包括Davis and Papanek (1984)、Dusansky and Vernon (1998)和Ellison (2013)。

[2] 这些期刊包括《American Economic Review》、《Econometrica》、《Journal of Political Economy》、《Quarterly Journal of Economics》和《Review of Economic Studies》。

[3] 本文及后续结果若改用另一主要的学术文章引用来源Google Scholar,基本保持不变。

[4] 若我们采用更长的时间视角,考察1974年和1975年发表于这些期刊的文章随后的被引情况,会得出相同的结论。

[5] 这两份期刊是《Economic Journal》和《Review of Economics and Statistics》。

[6] 这六所院校在1964年首次对美国经济学项目进行的全面排名中位列前七名;参见Cartter (1966)。

刊发本文并不代表世界经济论坛认可其中的观点。

如需紧跟议程动态, 请订阅我们的每周简报。

作者:Daniel S. Hamermesh,伦敦大学皇家霍洛威学院经济学教授,以及德克萨斯大学奥斯汀分校Sue Killam荣休教授。

图片:一名男子走过新加坡中央商务区的建筑。REUTERS/Nicky Loh。

分享至:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。