到目前为止，期刊影响因子 (JIF) 和论文引用次数仍然是最有影响力的学术评价指标。整个学术界，上至行政管理层，下至每个研究员，都默认了如下两项假设：高影响力期刊必定有更严格的学术评议过程，所筛选出来的论文质量必定更高；高引用次数本身是群体智慧的一种反映，高质量的论文会获得更多的引用，反过来说，更高的引用水平自然能够体现论文的高质量。在这种观念的支配下，高校等科研机构几乎清一色将引用次数和期刊影响因子等文献计量指标作为学术评价最重要的标准，将其与学者的职业晋升、经费申请等环节挂钩。但近年来，学界对上述假设的质疑愈加强烈，有人认为：“高影响力期刊不一定发的都是好文章，文章引用高不一定等说明文章质量高。” 学界已经陷入了对引用指标走火入魔式的崇拜。
批评者认为，学界默认的假设忽略了一个重要事实，即引用次数不总是由研究质量本身决定，它是由系列与研究质量无关的因素共同影响的。在这方面的研究已经不少。例如，论文标题长度、标题中是否存在冒号或连字符等因素都会影响到论文的引用数；研究主题在社交媒体中的传播程度也会影响引用水平；甚至论文是否发布过预印本也会对引用数造成影响。这些与研究质量本身没有关系的因素也能影响引用数，这就给操弄指标数据留下了空间。高引用的诱惑激励学者们尽一切可能冲击更高的引用，甚至诞生了专业机构指导学者们如何在论文写作中获取更高的引用水平。
显然，这种“唯指标”的倾向恰恰令这些指标背离了学术质量评价本身，滑向一个舍本逐末的尴尬局面。因此这种倾向反过来塑造了学术界，改变了研究人员的行为。研究人员会为了更高的引用数转向更热门的主题、领域，这极有可能令真正重要的研究领域遭到忽视，人为促成了学界的“冷板凳”。此外，批评者还指责这种“唯指标”倾向将使学术界的不公平现象进一步扩大化。例如，因为男性导师的学生更容易被引用，强化了人们在性别方面的职业歧视。类似的歧视会通过引用行为，最终掺杂进学术评价的结果，使学术界职业发展的系统性不平等长久存在下去。
近日，爱丁堡大学的Zachary Horne博士的一项研究得出了这样一项结论：高影响因子刊物所发表的论文的统计证据质量反而较低。该研究比较分析了自1985年至2016年间发表的50845篇行为科学和脑科学论文，对这些论文的统计错误、重复性研究结果、期刊影响因子、引用数等数据进行了统计研究。研究发现，影响因子较高的期刊发表的论文往往只有较低质量的统计证据来支持其研究主张，而且这些研究往往不太容易被他人复制。作者未能解释这些数据背后的影响机制，但他认为这些数据进一步降低了影响因子、引用数等学术评价指标的权威性。
Horne博士表示：“我们追求研究的创新性，也追求其论据的高质量。但我们没能在高影响刊物的论文上同时看到这两点。” 他指出，“学界行政管理层和科研评价体系希望更多关注少数群体、样本量、错误更少的论文，而不是全看高影响刊物的光辉。”
科研评价系统历史上有过多种解决方案，而引用数、影响因子无疑是其中影响力最大，流传范围最广的一种指标。以引用数为核心的一整套科研评价体系为大额资助项目、高影响因子刊物论文提供了便利，但却让一些引用数不甚出挑研究陷入了困难境地。学术研究专家网络Research on Research Institute（RoRI）2020年11月的一份报告显示，这套科研评价体系给研究人员带来了更多的压力，增加了他们违反研究伦理和诚信的风险。
近年来，学术界反对“唯引用数、唯影响因子”的声浪越来越大。2012年12月，美国科学促进会等75家科研机构和150多位知名科学家，共同签署了《关于科研评价的旧金山宣言》，呼吁停止使用期刊影响因子等期刊计量指标作为评价指标，来评价单篇研究论文或学者个人的贡献，或者是作为聘用、晋升、资助等方面的依据。自旧金山宣言之后，各大学术出版商、期刊、科研机构，都力图摆脱唯引用数、唯影响因子的束缚。
今年7月20日，欧盟推出了一项全新的科研评价体系改革倡议《改革研究评估协议》(Agreement on Reforming Research Assessment) 。该倡议由欧洲大学协会(European University Association)和欧洲科学组织(Science Europe)共同发起，并得到了欧盟委员会的支持。它汇集了350多个组织的经验和想法，提出了一个示范性协议，以建立一套更加包容、全球化的评估体系。
与旧金山宣言类似，该协议也要求签署方承诺负责任地使用指标，如停止对影响因子等指标的不恰当使用；避免使用大学和研究机构的排名，并承认其统计方法上的局限性。另一方面，该协议鼓励机构以研究质量导向为学术评价的根本标准；以更广泛的形式统计科研产出，如数据集、报告书等，而非以论文为唯一指标；以更透明的同行评审模式开展论文质量评议工作。EUA的研究与创新副主任文Vinciane Gaillard表示：“我们的长期愿景是科学界的文化变革，归根到底，科学研究和科研工作者对社会的贡献远非论文发表数和发表刊物的影响因子所能衡量的。”
应当说，从学界对影响因子的反思，到《旧金山宣言》的一系列宣言性质的文件出炉，再到最近《改革研究评估协议》建立新型学术评价体系的尝试，对于学术评价体系的创新正在不断落实。在论文数量大爆发的大环境下，简单粗暴的学术指标的确在资源分配等问题上提供了极大的便捷性，但其单一学术指标僵硬死板的特性也会束缚学界的发展，而国际学界在破除这些负面影响时作的努力，也应当成为国内科技评价体制改革的重要参考。
参考文献：
1.https://royalsocietypublishing.org/doi/10.1098/rsos.220334
2.https://research-and-innovation.ec.europa.eu/system/files/2022-07/rra-agreement-2022.pdf
