科技论文是科学交流成果的主要载体形式。经过数年的发展，我国论文数量连续多年稳居世界前列，但是论文数量多不等于质量高，创新力不足仍然是制约我国科技发展和国际竞争力的关键，迫切需要高创新质量的研究成果。但是现有论文创新性评价方法存在的评价指标单一、结果区分度不高、强调引用数量而忽略引用质量等问题，如何准确衡量和测度论文创新的效用、影响、贡献程度等，成为学术界和科研管理实践领域非常关心的问题。

本文从论文新颖性和学术影响力两个维度来设计论文创新质量测度模型，研究框架如图1所示。

图1 论文创新质量测度设计框架

1. 论文新颖性测度

从论文内容本身出发，考虑到关键词的语义功能信息，本文采用论文问题词和方法词进行论文新颖性分数测度。根据论文“问题-方法”组合的新颖性测度原则，引用“问题-方法”组合新颖性测度公式，问题词新颖性测度见公式（1），方法词新颖性测度见公式（2），“问题-方法”组合新颖性测度见公式（3）。取问题词新颖性分数、方法词新颖性分数和“问题-方法”组合新颖性分数的算数平均值，即为论文新颖性分数。

2. 论文学术影响力测度

选取被引频次和施引文献质量两个指标作为论文学术影响力的测度指标。首先，本文将被引频次数据分区间，并进行赋分，赋分规则见公式（4）。

其次，本研究结合对“施引文献质量”的考虑，提出测度指标“权威施引比例（）”，界定标准是“样本论文的施引文献所属期刊位于其领域JCR排名中Q1或Q2区”。为便于论文测度，对“权威施引比例”区间进行赋分，记作。具体计算说明见公式（5）-（6）。

论文学术影响力计算方法见公式（7），其中，表示论文学术影响力分数； 表示论文i被引频次所得分数；表示论文i的施引文献质量分数。

3. 基于TOPSIS论文创新质量测度

为了降低单一指标可能造成的研究误差，采用AHP-熵权法-TOPSIS法确定论文新颖性分数和论文学术影响力分数两个指标对论文创新质量测度的权重，构建论文创新质量测度方法。

以Web of Science核心合集作为数据源，选择计算机科学一级学科下“信息系统”主题领域中发表于2018—2019 年的论文作为样本。主要分析结果如下。

1. 描述统计分析

将样本计算结果分为10个统计区间，结果见图2，大多数论文属于创新质量中等水平，只有极少部分属于较高水平和较低水平。

图2 样本论文创新质量分数分布图
 

2. 代表性结果分析

选取论文创新质量分数位于前1%和最后1%名作为代表性结果进行分析。部分测度结果见表1和表2。

表1 论文创新质量分数位于前1%的样本（部分）

表2 论文创新质量分数位于最后1%的样本（部分）

从样本分析看，无论是论文新颖性和学术影响力均是论文创新质量测度当中不可替代的维度，在前1%论文样本中，以排名第1和第3的论文比较为例，两篇论文在新颖性分数持平的情况下，单纯从被引频次看，排名第3的论文比排名第1论文多249次，超出近一倍，但是结合二者的施引文献质量得分，排名第3的论文要低0.2，这也是导致该论文创新质量得分靠后的原因。这一实例验证了本文提出的创新质量测度方法综合考虑论文影响力的多个维度，降低了论文被引频次单一维度的影响。

表3 样本论文创新质量结果样本所属期刊分区情况

此外，本文的方法能够在一定程度上，从影响因子较弱的期刊中筛选出具有高新颖性、高被引特征的好论文，部分案例见表4。

表4 采用本文方法从影响因子较低的期刊中筛选的论文（部分）

在针对论文创新质量的测度中，论文新颖性与论文学术影响力是两个不可或缺的构成维度，整合两个维度构成测度方法，其测度准确性优于使用单一测度指标。实证研究表明，本文所构建的论文创新质量测度模型在一定程度上解决了现有论文创新性评价方法中存在的评价指标单一、结果区分度不高、强调引用数量而忽略引用质量等问题，能够从影响因子较弱的期刊中有效识别出具有高创新质量的论文。

第一作者：

邱昕鹏，成人色情小说 2023级图书情报专业硕士研究生，师从李晶教授，研究方向是智能评价与决策支持，先后在《情报学报》、《情报理论与实践》和《情报杂志》等重要核心期刊上发表论文4篇，作为主要完成人申请软件著作权1项，获成人色情小说 研究生一等奖学金、成人色情小说 优秀研究生会骨干等荣誉和奖励，目前已被录取为北京大学2025级情报学专业博士研究生。