导师对论文的学术评语 韩松：学术论文该怎样评价？

资料来源:法律教育研究

作者:韩松

学术论文评价

——评价目的、分类、方法和指标体系

[作者]韩松，西北政法大学教授

摘要:人文社会科学应用学术论文的基本评价方法是同行评议的定性方法和引文计量的定量方法，两者都有优势和局限性，但不可替代。科学的评价体系应根据评价对象和目的进行分类，采用多学科、多方法、多指标的综合互补评价。即根据评价对象的分类特点和评价目的的需要，确定科学的评价指标，合理配置定性评价指标和定量评价指标。高校在科研成果管理、学术奖励、研究生培养、教师职称评审等方面，应当有不同的学术论文评价方法和指标体系。

[全文]

人文社会科学的学术评价关系到学术发展和人文社会科学研究者的切身利益。因此，人文社会科学学术评价的研究引起了学术界的广泛关注。目前，人文社会科学学术评价的研究主要集中在学术评价方法的研究上。从世界各国科学评价的发展趋势来看，经历了从定性评价(同行评议)到定量评价(文献计量分析)的转变，然后目前普遍采用定性分析和定量分析相结合的方法。国内对学术评价方法的研究主要是在90年代中期及之前强调并强烈呼吁引入量化评价，但90年代后期转向对量化方法的激烈批判。目前，定性和定量相结合的方法似乎已经成为研究者的共识。然而，对于如何实现这样的结合却鲜有研究，远未达成共识，尤其是针对各个学科特点的结合方法。[1]所以理论研究是一个方面，实际操作中对论文的评价主要是以发表的期刊作为论文的评价标准，尤其是核心期刊的评价而不是论文。就法学学术评价而言，它也是一个复杂的问题，涉及评价的体系、主体、客体、方法、程序和指标体系。就评价对象而言，有法学研究机构学科建设的评级、学术成果的评价、学者的评价、科研项目的评价、法学期刊的评价等。法学学术成果评价还包括专著、论文等不同形式的成果评价。本文不打算对学术评价进行全面、抽象的论述，而仅从高校的科研活动出发，从评价目的、评价方法的分类和选择等方面对法学学术论文的评价进行探讨。

一，从评价的角度对学术论文进行分类

学术论文的评价是对学术论文价值和效用的评价。学术论文是学术研究者基于对人文社会现象及其规律的创造性理解而撰写的理论论点和规范性表述。就法学学术论文而言，法学研究包括基础研究和应用研究。因此，法律学术论文可以分为基础研究论文和研究论文。首先，从学术评价的角度来说，这种分类是有意义的。其意义在于基础研究和应用研究侧重于解决不同的法律问题，对法律的贡献不同，因此应该有不同的价值评估方法和指标。其次，被评价的论文可以分为未发表论文和发表论文，发表论文也可以分为期刊论文、语料库论文、网络论文等。这种分类对于期刊评价也有意义，其意义在于确定论文评价的范围。未发表的论文是否纳入评价，在什么情况下，在什么情况下，如果纳入评价，如何比较未发表的论文和发表的论文。就是因为发表的论文是在不同的媒体上发表的，论文评价的方法和指标应该有什么区别？比如在职称评定中，申请人是否可以将自己未发表的论文或在网上发表的论文作为成果或代表作品填写。最后，从评价目的来看，论文可以进行不同的分类。比如为了在期刊上发表论文，有为了申请学位答辩而提交论文、硕士学位论文、博士学位论文进行评价的期刊，为了完成项目而资助项目论文进行评价的期刊，为了评价职称而奖励论文进行评价的期刊，以及为了评价职称而评价申请人的代表论文。为了评价一个学科的发展，对该学科发表论文的总体水平和代表性水平进行评价。由于评价目的不同，采用的方法和指标体系也应不同。

二、学术论文的评价目的和方法选择

学术论文的评价是一种有目的的活动。学术评价的目的是促进学术发展，但从具体的评价活动来看，学术评价是为具体的学术活动服务的。很少有脱离具体学术活动的评价，纯粹是为了检验学术研究，促进学术发展。论文写了，不发表就不涉及评价。论文即使发表了，如果没有申报为大作、奖金或奖项，也不会有人主动评价。也就是说，只有发表论文、评定职称、授奖、评定学科、申请学位、设立和关闭科研项目，论文才能被评定。因此，作为一种论文评价活动，是有特定目的的。评价方法的选择和评价指标的确定也要具体，服务于论文评价的目的。论文评价的根本目的是促进学术发展，学术发展是促进社会进步。然而，这一根本目的是抽象的，必须通过具体的评估活动来实现。比如通过学位论文的评价和答辩来培养人才，促进学术发展；通过各种奖励，激励研究人员进行学术创新，从而促进学术发展。因此，学术评价作为一种手段，应该服从于促进学术发展的目的。具体的学术评价方法应与具体评价活动的目的相适应。没有学术评价的具体活动和目的，抽象地讨论评价方法是不科学的。没有评价的具体活动和目的，过分赞扬一种评价方法或过分贬低和批评一种评价方法是错误的。比如90年代中期以前，中国学术界普遍认为同行评议是主观武断的，强烈要求引入客观量化的评价方法；但是到了90年代后期，都转向了对量化方法的激烈批判。人文社科的活学活用冷数字怎么评价？我们说任何评价人文社会科学学术成果的方法都可能有局限性和合理性，但必须放在具体的学术评价活动中，方法的选择可以从其评价目的具体判断，这样问题才能明确。比如在高校，每年都会进行科研成果的统计，用于科研管理。为了吸引大家报名，也为了尊重科研成果的劳动，在报名时给已报名的科研成果发放奖金，如何发放奖金涉及到学术评价。通常的做法是以发表的期刊作为学术论文的评价标准，分为权威期刊、核心期刊、一般期刊、随笔等级别。核心期刊分为专业核心和一般核心，奖金按照不同的标准发放。然而，对于学术期刊替代论文的评价却有很多批评。一个基本的论点是，不是核心期刊发表的每篇论文都是高质量的，也不是非核心期刊发表的每篇论文都不如核心期刊。这个说法也是对的。但就学术评价的现实而言，权威期刊和学术界认可的核心期刊发表的论文质量明显高于一般核心期刊。在法学领域，公认《中国社会科学》、《法学研究》、《中国法学》质量较高，被列为权威期刊；《法学》、《法学》、《政法论坛》、《法律商业研究》、《现代法学》是专业核心期刊，其发表论文的质量高于一般期刊，这是客观事实。这些期刊也有自己严格的同行评审制度，保证了同行评审后发表的论文质量。我们可以在科研注册管理中直接认可它，因为科研注册管理中奖金考核的目的是了解科研成果发表的基本情况，建立科研成果档案的基础数据。发表和评价文章的方法是最简单可行的，符合成果注册的目的。如果不采用期刊评价文章的方法，不仅没有必要采用同行评议，客观上也不可能实施。比如教授职称评审，资格条件中规定专业核心期刊必须有5篇论文。如果有人反对科研成果评价量化，认为不应该规定5篇论文。即使一篇论文或专著不作为代表作品发表，也可以被同行专家认为是教授。这种不定量评价的观点是有其道理的，但职称评定是严格控制定额指标下的竞争性评价，一般没有定量限制，很难客观操作。但如果只满足五个核心专业论文的要求，论文水平对教授来说还不够好，需要两位同行专家来对论文进行评议。因此，将五种核心期刊论文的定量条件与发表和同行评议的定性分析相结合。可以看出，在科研成果的注册和奖励中，通过发表文章就足以达到评审的目的；但是在评价教授职称的时候，不能只靠期刊评价文章，需要同行专家评价代表作品。因此，笔者认为学术论文评价方法的批评或选择应结合具体的评价活动和目标，抽象地说这种方法是好是坏是不可能的。

三、国内外学业成绩评价的基本方法

(a)同行审查方法

同行评议作为人文社会科学的一种评价方法，在主要国家得到广泛应用。所谓同行评议，是指“聘请在研究领域或类似领域工作的专家，利用其专业素养对研究对象的学术水平和相关价值进行评价，评价结果是决策的重要依据”的活动。[2]同行评议是一种定性分析方法，同行专家通过观察、阅读、讨论、比较等方式来判断评价对象的学术水平和质量。同行评议可以用来评价各种评价对象，如学术成果、学位评价、职称评价、学术机构评价等。根据评估对象所属的专业学科，聘请具有学术素养和专业水平的专家对评估对象的学术水平和价值做出判断结论，作为决定相关事项的依据。同行评议主要用于评价学术成果的创新性、思想性、深刻性和难度。同行评议是基于同行对被评价对象的理解，从而有权判断其标准和价值。然而，同行评议一直受到人们的质疑。理由如下:第一，认为衡量科学成果价值的最终标准只能是历史实践。自然科学、社会科学、人文学科的大量案例表明，相当一部分成果刚问世时并不被重视，但随着时间的筛选，大浪淘沙，却被证明具有崇高的价值。二是学术界经常出错，学术权威和权威学术机构时不时出错，甚至出现重大失误，有时对天才盲目无知；有时候不分好坏，误打误撞把毒草做成花。第三，科学精神就是要有怀疑精神，一切科学进步都是在怀疑和批判主流观点的基础上取得的，科学价值观本身就怀疑专家的判断。[3]这些问题很有力量，很难反驳。然而，由于学术评价的复杂性和难度，同行评议至少到目前为止是其他方法无法替代的。因此，它仍然广泛应用于学术评价领域。除了上述问题，人们也意识到同行评议容易受到熟人关系的影响，造成不公平，同行专家难以适用于新兴学科和交叉学科的局限性。这些问题只有通过建立专家鉴定制度的程序体系，并结合其他方法才能相对改善。例如，在选择专家时，应建立独立的专家数据库系统，实行专家回避、双向匿名、专家组和专家委员会审查、专家负责制。评价方法中引入其他客观方法和评价指标。

(二)引用文献的文献计量学分析

被引文献的文献计量分析是指“运用比较、归纳、抽象、概括等各种数理统计方法和逻辑方法，对期刊、论文、著作等各种分析对象的引用和被引现象进行分析，以揭示其数量特征和内在规律的科学计量研究方法”。[4]引文定量分析主要用于评价已发表学术成果的学术影响力和绩效。引文定量分析方法以客观引文统计为基础，避免同行评议的主观性、模糊性和随机性，减少人为干预，增强评价的公平性。因此，它被广泛应用于学术评价。然而，定量评价的局限性也很明显。例如，台湾省学术界对人文社会科学评价体系的反思指出:“使用引文文献作为研究评价指标有两个局限性:其中一个参考文献可能是正引，也可能是负引；引用文献可能存在偏差，无疑会影响评价结果。第二，引文分析结果在不同学科会有明显的不同，因此引文分析只能作为评价的辅助手段。”[5]“王范森教授认为，在人文社会科学领域，语录不要太死板。人文、自然科学、社会科学的写作风格不同，引用频次的计算不一定能如实反映论文的价值。所以要考虑各个学校的特点，不能用量化工具来做。”[6]中国学者也批评定量方法。比如李培力指出:“我国高校一味追求和追求量化考核，给予论文、作品、项目经费、奖项等。用不同的分数来评估学术水平。评价变成了数字求和，不管结果如何，只要分数达标。评价过分追求量化，简化教师复杂的劳动，用干巴巴的数字代替新鲜的想法，扭曲了科研的真实本质。获得的信息不能全面、真实、有效地反映评价对象的本质特征。而且量化标准固化程序化，过分追求客观性和科学性，忽视教师差异、学科差异和结果质量。”[7]由于量化评价方法在人文社会科学评价中的局限性，其在人文社会科学评价中的应用应谨慎，不应过分追求量化。

通过以上分析，人文社会科学应用的基本评价方法是同行评议的定性方法和引文计量的定量方法，两者都有优势和局限性，但不可替代。在人文社会科学的评价上，各国都是将两者结合起来，以取长补短。如何更好地将二者结合起来，就是要根据评价对象的分类特点和评价目的的需要，确定科学的评价指标，合理分配定性评价指标和定量评价指标。比如美国，作为一个功利主义很强的国家，“在他们的社会科学评价中，非常强调社会科学的研究成果能否真正改造社会，给人们带来利益。因此，应用研究越来越趋于加强。其对人文社会科学的评价标准分为真理标准和价值标准。真理标准主要有以下几点:科学、连续、创新、完整。价值标准包括:经济价值标准、政治价值标准、理论价值标准、伦理道德标准、环境价值标准和审美价值标准。它的评估对象是联邦政府、人文社会科学研究员和普通人。美国对不同类型的研究成果采用不同的评价方法。基础理论成果的评价方法主要有同行评议制度和引文计量方法。评价的主要标准是科研成果的学术水平。评价方法有两种:小组评价制(同行专家组或委员会评价)和对应同行评价。引文计量是评价人文社会科学基础研究成果的另一个重要手段。引文计量作为同行评议的补充，近年来被广泛应用于美国人文社会科学研究成果的评价。应用开发研究成果评价采用政策效果评价、民意测验和社会实验三种评价方法。[8]因此，科学的评价体系应以评价对象和目的的分类为基础，采用多学科、多方法、多指标的综合互补评价。

四、学术论文分类和评价的方法和标准

(一)对期刊发表的学术论文的评价

例如，法律论文的作者为了追求发表而将论文提交给法律期刊或其他期刊，期刊应对提交的论文进行审查，以确定是否可以发表。此时论文评价的主体是期刊编辑部，评价方法只能由同行专家评价。由于稿件未发表，无法采用引文计量方法。同行评审的评审标准和评审程序由期刊编辑部确定。在当前论文出版困难的情况下，应要求法律期刊编辑部门建立科学的评价标准和公平的评价程序，以维护法律学术界的利益。因为这不仅仅是编辑部自己的事，这关系到法学学术界的利益，因为法学期刊发表的学术论文首先要面对的是法律职业，他们收到的贡献也来自于法律职业。他们的评审对学术论文的评价标准和程序，对法学学术研究的指导和规范起着重要的作用，他们的评价对论文发表后的再评价也有着重要的影响。目前，选择专家对法学期刊论文进行评价有两种方式:一种是委托编辑部以外的同行专家；二是编辑部的学术编辑专家和与外部专家的结合。在审查程序中，发表的论文只能在第三次审判后决定。为了体现公平，消除人为干扰，一般承诺双向匿名同行评议。关于同行评议的评价标准，本文主要从政治标准和学术标准两个方面进行评价。学术标准主要从论文和观点的创新程度、论证和分析的逻辑性、写作的规范性、与本刊学术风格的契合度等方面进行评价。

(二)科研管理论文的评价方法和标准

在法学院校的科研管理中，每年都会对教师和研究生发表的法律论文进行登记并颁发奖金。因为为了支付奖金，需要对注册论文进行评估。这时候采用的方法是发表和评论文章。所谓期刊对文章的评价，就是根据发表在论文中的期刊的认同程度来评价论文的等级，决定奖金的分配。虽然对期刊发表文章的评价方法存在批评，但期刊发表文章的方法是科研成果登记管理中最科学、最实用的方法。该方法的使用基于期刊评价和分类的科学性和公正性，也基于期刊在发表过程中对论文评价的科学性、公正性和权威性。一般情况下，科研注册以论文发表的期刊等级为依据，但在特殊情况下，如果对期刊发表的论文质量有异议，可以启动评审流程，根据期刊等级决定是否授予。如建议论文存在明显错误或对学术不端行为有异议的，科研成果登记机构应按《科研成果登记管理办法》启动鉴定程序。这里有个问题，没有在期刊上发表的论文可以注册和奖励吗？一般来说，不应该包括在评估中。只有在能够证明其具有比期刊出版更严格或更重要的社会效果时，才能通过对其绩效的评价将其纳入鉴定登记。如本文提出的结论已被社会实践部门采纳，并经过实践检验。但是要注意不要简化，不要因为某个领导签字批示就觉得太重，要通过实践证明取得了良好的效果。

(三)论文评价在科研奖励中的评价

科研奖励是一种竞争性的科研激励机制，申请科研奖励的学术论文必须经过严格的评审。根据奖项的目的和水平，一般会规定申请论文的条件和严格的评审程序。科研奖励论文的评审一般采用客观定性和定量相结合的方法，并进行同行评议。客观定性一般规定核心期刊是否发表或是否有证据证明论文被政府采纳用于决策或立法，或论文是否被重要摘要期刊复制转录。这往往是申报的局限性和评价的依据。数量上，要看转录了多少份。至于同行评议，由于申报论文数量较大，一般没有专门的同行评议，但评委会以材料为重点对论文进行评分，评委往往会根据材料中发表论文的期刊水平、抄袭摘抄情况等客观因素对论文进行评分。比如在法律论文的评奖中，《法学研究》、《中国法学》发表的论文，或者《新华文摘》转录的论文，分值高，获奖率高，成绩高。从现实来看，主要还是靠期刊来评论文章。对此，我们认为应该建立一个完善的评价方法和指标体系，而不是简单的靠期刊来评奖，尤其是省部级的奖项，应该建立一个得到学术界普遍认可的评价机制。授予的学术论文应分为基础研究和应用研究，并建立科学的指标体系。我们不仅要评价论文本身的学术和学术影响力，还要从社会实际效果来评价其绩效和贡献。同行专家的客观定量评价和定性评价是独立进行的，最后根据权重得分进行组合。所谓独立行为，是指同行专家根据自己的学术素养，对被评价论文的学术水平和实质性内容的价值做出独立判断，不受发表期刊水平、抄袭摘抄等外部因素的影响。鉴定专家应独立判断论文是否有价值，无论论文发表的期刊水平如何。如果专家评价是基于外部客观因素，没有思想上的评价，同行专家评价就会流于形式，实际上只有客观的量化方法，没有同行评价。专家评价的指标主要包括:学术创新评价、学术规范化评价、对学科理论的贡献评价和社会绩效预测。客观量化评价主要包括:发表等级评分、抄摘抄评分、被引量评分、获得的其他奖项评分、实际应用证据评分等。这些评分指标要区别于基础研究和应用研究，不同学科的特点有不同的配置，做到合理的可比性。比如在法律基础理论的研究上，引用分数与法制史、国际法有很大的不同。法学基础理论论文被引用的可能性远远大于法制史和国际法论文。所以要通过不同的分数合理调整。

(四)研究生培养论文评价

对于研究生培养，很多学校规定研究生必须在学术期刊上发表多篇论文才能参加答辩或获得学位。对硕士生和博士生都有要求，博士生还必须在CSSCI期刊上发表三篇论文。这里采用的方法是发表和评论文章。这可能会导致问题。研究生只追求论文的发表，不注重科研和能力的培养。有的期刊注重研究生经商，各种广告、代理遍布校园。学生论文发表时，导师可能不知道论文的写作过程。虽然在形式上满足了期刊和论文数量的要求，但能力未必提高。而且不利于培养学生对学术和科学的尊重，不利于良好学风的形成。另外，学生必须发表论文的要求也给研究生造成了很大的心理压力，因为写论文是研究生的事，但是研究生和学校都不能决定论文的发表，发表论文的决定权在期刊社。因此，我们认为用期刊作为评价研究生论文的标准是不合适的。硕士研究生还是学生，任务是学习，学会学习，但毕竟不是研究者。要求研究生在学习期间写论文是方式和实践过程。撰写和评价论文的目的是培养研究生的科研能力，提高研究生的水平。论文写作应在导师的指导下进行，导师应充分了解写作过程，并对其质量进行评估。如果要评价研究生的阶段性研究能力和导师的培养效果，也可以采用委托其他导师进行点评的方式，对研究生的工作论文进行同行评议，而不是采用发表评论的方式。当然要鼓励研究生发表论文，但不能用发表代替评价，用发表代替培训。硕士毕业论文，委托同行专家匿名评审。评价方法本身没有问题，就是评价指标体系和程序要完善，防止走过场。比如先通过完整性检查系统检测发表论文的重复率，防止简单重复甚至抄袭。

大学教师职称评定中的论文评价

高校教师职称评审中的论文评审一般涉及两个方面:一是报考资格的论文评审，一般规定若干篇论文必须在规定级别的期刊上发表，才能具备报考资格；另一种是学术水平鉴定论文的评价，一般评价一至三篇有代表性的论文。前者采用定期评审，后者采用同行评审。争议的问题是教师是否有必要对自己的职称进行评价，论文及其数量是否必须在指定水平的期刊上发表，没有在期刊上发表的论文是否可以作为评价的代表作品。有些观点批评教师应在指定期刊上发表论文的要求和论文数量。他们认为期刊的出版不一定证明论文的质量高，因为期刊质量和论文质量是两回事，论文能否在期刊上发表不是老师说了算的。期刊对论文的评价也有偏差或偏差。数量多不一定意味着学术含量高。虽然这些批评有一定的道理，但教师职称评定不仅仅是对一个教师专业水平的评定，更是众多教师对自己专业水平和科研能力以及学术和教学贡献的评价指标的竞争。因此，对其科研成果的评价必须满足质和量的要求，在公认的专业期刊上发表的论文一般是其成果的标志；否则论文的学术价值就很大，不发表不传播就没有社会意义。因此，在资格评价中，以发表的期刊数量来评价教师论文是可取的。为了体现公平竞争，论文的评价应包括发表水平、转载、引用、获奖等评价指标。对专业水平的学术思想和学术价值的评价，应由同行专家通过代表作品进行评价。未发表的论文或未在规定期刊上发表的论文能否作为资格考试论文或代表作品，一般情况下不能作为资格论文和代表作品。特殊情况下，如果有比在规定期刊上发表更规范有效的证明社会效果的方式，可以作为资格考试的代表作品或论文；或因保密等特殊情况不便发表的论文，也可作为资格论文或代表作品。