您所在的位置：評價網(wǎng) > 大學(xué)排行榜 > 評價動態(tài) >

特別報道｜邱均平：新時代我國科研評價體系重構(gòu)中必須處理好八大關(guān)系

來源：圖情會發(fā)布時間：2021-02-18 09:45
更多

本文轉(zhuǎn)載自《中國圖書館學(xué)報》2021年第一期：邱均平,張裕晨,周子番.新時代我國科研評價體系重構(gòu)中必須處理好八大關(guān)系[J].中國圖書館學(xué)報,2021,47(01):47-60.

摘要：沒有科學(xué)的評價就沒有科學(xué)的管理。目前,我國科研評價體系一定程度上存在著"SCI至上化"、量化考核泛化、同行評審形式化、評價導(dǎo)向行政化、學(xué)術(shù)研究功利化等評價失衡問題。在破除"SCI至上"等科研評價頑疾背景下,科研評價體系重構(gòu)是適應(yīng)新時代我國科研管理和科技創(chuàng)新發(fā)展的迫切需要。重構(gòu)科研評價體系必須正確處理好八大辯證關(guān)系:管理評價與學(xué)術(shù)評價的關(guān)系、定量評價與定性評價的關(guān)系、工具性與目的性的關(guān)系、分類評價與統(tǒng)一評價的關(guān)系、評價理論與評價實踐的關(guān)系、數(shù)量與質(zhì)量的關(guān)系、論文評價與評價的關(guān)系、元評價與評價的關(guān)系。這些思考有助于更加理性、辯證地認識科研評價存在的問題,從而更全面地把握科研評價的科學(xué)內(nèi)涵、要素、原則、作用,以便更好地指導(dǎo)科研評價實踐活動。建議運用評價學(xué)理論指導(dǎo)科研評價實踐,區(qū)分管理評價與學(xué)術(shù)評價,堅持分類導(dǎo)向、綜合導(dǎo)向、質(zhì)量導(dǎo)向,圍繞評價目的合理使用論文指標以開展科學(xué)評價,重構(gòu)科學(xué)合理的、適應(yīng)新時代要求的科研評價體系。圖3。表2。參考文獻31。

0 引言

有人類活動的地方總是伴隨著評價活動的發(fā)生,科研評價對科研活動具有判斷、預(yù)測、選擇、導(dǎo)向、診斷、激勵和合理配置資源等作用[1]。自美國1920年開始科研評價以來,許多國家也陸續(xù)開展了系統(tǒng)的科研評價工作,并建立了較為完整的科研評價體系[2]。其他西方國家大多效仿美國模式,成立專門評估機構(gòu)。伴隨著競爭性科技項目的設(shè)立,我國科研評價體制于1985年正式啟動,并得到迅速發(fā)展。從1993年開始,中央及相關(guān)部委陸續(xù)發(fā)布了20余項涉及科研評價的文件(見表1),有針對性地提出了科研評價的原則、目標和要求,對促進科技資源優(yōu)化配置、提高科技創(chuàng)新能力、提升科技管理水平、保障我國科研事業(yè)健康發(fā)展起到了積極作用[3]。

與此同時,我國科研評價體系也暴露出一些弊端,甚至產(chǎn)生評價失衡的系列問題,引起了科技界廣泛關(guān)注?？蒲性u價失衡問題概括起來主要有四個方面:一是“SCI至上化”,評價時誤用SCI、SSCI的論文指標,過分看重論文的數(shù)量、期刊影響因子,而忽視了論文本身的質(zhì)量;二是量化考核泛化,定量評價強調(diào)以各種數(shù)量化、絕對化的數(shù)字指標為核心,替代學(xué)術(shù)評價機制,導(dǎo)致學(xué)術(shù)研究急功近利;三是同行評審形式化,程序失范、人情關(guān)系、形式主義、本位主義等因素造成同行評審流于形式;四是評價導(dǎo)向行政化,以行政為主導(dǎo)的科研評價與學(xué)術(shù)評價產(chǎn)生錯位,導(dǎo)致評價方法、評價指標的不合理使用。“四化”相疊最終導(dǎo)致了學(xué)術(shù)浮躁和學(xué)術(shù)研究功利化。國內(nèi)有很多學(xué)者對科研評價問題產(chǎn)生的原因和對策進行了研究,比較有代表性的觀點認為:現(xiàn)行的科研評價體系問題主要集中于評價的不公平、不公正、不公開、不準確四個方面[4];政府在科技管理中的缺位和越位,以及科學(xué)共同體由于自身缺陷而未能有效發(fā)揮作用是造成當前科研評價問題的根本原因[5,6];改革不合理的科研體制是終止學(xué)術(shù)之亂和評價之亂的根本途徑[7]。綜合來看,現(xiàn)行科研評價體系的失衡有主客觀兩方面的原因,具體來看則存在著若干對關(guān)系的失衡,包括管理評價與學(xué)術(shù)評價的關(guān)系、定量評價與定性評價的關(guān)系、工具性與目的性的關(guān)系、分類評價與統(tǒng)一評價的關(guān)系、評價理論與評價實踐的關(guān)系、數(shù)量與質(zhì)量的關(guān)系、論文評價與期刊評價的關(guān)系、元評價與評價的關(guān)系等的“失衡”,這些矛盾最終導(dǎo)致了科研評價“失衡”和評價功能“異化”。重構(gòu)科研評價體系必須正確處理好這些辯證關(guān)系。

表1 科研評價相關(guān)文件

表面上看,科研評價只是科技體制中的一個局部問題,但實際上對科技創(chuàng)新和科技發(fā)展具有全局性的影響。因為科研評價不僅是一個社會科學(xué)價值觀念的直接體現(xiàn),而且是科技管理的重要手段,評價的過程和結(jié)果直接影響科技資源的分配,評價的標準更是引導(dǎo)科學(xué)家科研行為的指揮棒。科研評價問題既是學(xué)術(shù)界討論和研究的熱點問題,也是科技管理部門一直想解決而未能徹底解決的關(guān)鍵問題。習(xí)近平總書記指出“人才評價制度不合理,唯論文、唯職稱、唯學(xué)歷的現(xiàn)象仍然嚴重”,強調(diào)“要改革科研評價制度,建立以科技創(chuàng)新質(zhì)量、貢獻、績效為導(dǎo)向的分類評價體系”。2020年2月,科技部、教育部連續(xù)出臺《關(guān)于破除科研評價中“唯論文”不良導(dǎo)向的若干措施(試行)》(以下簡稱2020年《若干措施》),《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標使用樹立正確評價導(dǎo)向的若干意見》(以下簡稱2020年《意見》)兩個文件,直指科研評價中“唯論文”“SCI至上”的不良導(dǎo)向,在科技界引起了熱烈討論。

學(xué)術(shù)界對破除現(xiàn)有評價頑疾達成了廣泛共識,但對如何構(gòu)建一個科學(xué)合理、符合新時代要求的科研評價體系,仍需要不斷探索?？蒲性u價是一個復(fù)雜的科學(xué)系統(tǒng),在破除“SCI至上”等科研評價頑疾的背景下,需要從科學(xué)評價的視角,建立起適合新時代我國科技發(fā)展體制的評價體系。本文從新時代特征和要求出發(fā),運用評價學(xué)原理,對重構(gòu)我國科研評價體系必須處理好的若干關(guān)系進行探討,并給出了相應(yīng)對策,希望能引發(fā)同行的全面思考,共同推動我國科研評價事業(yè)的健康發(fā)展。

1 正確處理管理評價與學(xué)術(shù)評價的關(guān)系,倡導(dǎo)區(qū)別對待原則

管理評價與學(xué)術(shù)評價是評價領(lǐng)域兩個不同類別的評價,需要區(qū)別對待。學(xué)術(shù)評價是以科研活動或科研成果為對象的評價,包括對論文、項目、獎勵等的評審[8]。管理評價屬于工作評價,是以學(xué)術(shù)評價結(jié)果為指標的評價,包括管理部門以一定的價值取向?qū)θ藛T、機構(gòu)進行的績效評價。兩者在評價主體、評價對象、評價標準、價值取向上都有顯著不同。在當前科研管理中,“學(xué)術(shù)評價”和“管理評價”混淆不清,是導(dǎo)致量化考核泛濫、量化評價被誤用的主要原因。近年來各科研評價領(lǐng)域“SCI至上”與這樣的量化管理有著直接的聯(lián)系。從管理的角度看,定量指標確實顯得更加“客觀公正”,但有時卻很難完全反映事實和價值。原本只具有相對參考意義、各種數(shù)量化的宏觀學(xué)術(shù)評價指標被絕對化,進而又層層下放給機構(gòu)、個人,在各種學(xué)術(shù)評估、評比、鑒定、考核、申報中,統(tǒng)統(tǒng)都要求提供一定的數(shù)量指標作為門檻[9]。數(shù)量的堆砌卻沒有帶來質(zhì)量的提升,反而會導(dǎo)致“學(xué)術(shù)GDP”盛行,這樣的評價方式最終也就異化成了功利主義。

正確處理管理評價與學(xué)術(shù)評價之間的關(guān)系,對兩者的評價對象、評價標準、評價方法等作正確區(qū)分,是很有必要的。學(xué)術(shù)評價從根本上說,是學(xué)術(shù)性質(zhì)的;而管理評價從根本上說,是一種管理上的常規(guī)激勵手段。二者雖有聯(lián)系但區(qū)別明顯。把管理考核那一套搬來,用到學(xué)術(shù)評價上去,多半是不大合適的。在管理評價中,上層管理機構(gòu)應(yīng)以宏觀管理為主,做好學(xué)術(shù)規(guī)范、學(xué)術(shù)制度建設(shè);基層管理部門應(yīng)做到服務(wù)與管理并重;對管理部門的考核也應(yīng)該以此為重點。對科學(xué)研究人員和研究機構(gòu)績效、實力與水平的評價,應(yīng)注重學(xué)術(shù)性,即以學(xué)術(shù)成果質(zhì)量、標志性的成果產(chǎn)出為主要評價依據(jù)。在學(xué)術(shù)評價中,鼓勵運用同行評議、文獻計量等定性定量方法,對學(xué)術(shù)成果等進行綜合評價,注重內(nèi)容和效果評價。在評價實踐中,評價主體需要提高對評價本質(zhì)、特性和規(guī)律的認識,正確區(qū)分管理評價與學(xué)術(shù)評價,自覺地強調(diào)學(xué)術(shù)評價的“學(xué)術(shù)性”,把學(xué)術(shù)創(chuàng)新、研究成果質(zhì)量擺在首要位置,避免不同評價方法的盲目“移植”和誤用。

2 正確處理統(tǒng)一與分類的關(guān)系,倡導(dǎo)分類評價原則

分類評價是評價相對性與統(tǒng)一性的集中體現(xiàn)。狹義的分類評價,主要是指對評價對象進行分類,以此為基礎(chǔ)開展評價工作。廣義的分類評價,是按評價活動所涉及的各要素進行分類,包括按評價方法、評價主體、評價對象、評價時間、評價目的、評價標準、評價保密性、評價結(jié)果的表現(xiàn)形式分類(見圖1)?？茖W(xué)區(qū)分評價的不同類型,對于落實科研活動“分類評價”原則具有重要的意義。評價對象指的是被評價的客體。按學(xué)術(shù)評價所涉及的具體對象,可以將科研評價分為成果評價、人員評價、機構(gòu)評價、項目評價、計劃評價、學(xué)科研究評價、科學(xué)政策評價等七類;根據(jù)評價對象所涉及的范圍大小,可以分為宏觀、中觀與微觀學(xué)術(shù)評價[9];根據(jù)學(xué)術(shù)研究所涉及的學(xué)科范圍,可分為自然科學(xué)研究評價、人文社科研究評價兩類;根據(jù)所涉及研究工作的層次,可以分為基礎(chǔ)研究評價、應(yīng)用研究評價等。隨著我國評價事業(yè)的不斷發(fā)展,分類評價原則在各領(lǐng)域得到了不同程度的貫徹,如學(xué)科評估、雙一流建設(shè)成效監(jiān)測、大學(xué)評價、職稱評聘等。但分類評價仍存在著分類標準模糊、分類評價失實等問題。如學(xué)術(shù)期刊的評價,基礎(chǔ)研究領(lǐng)域影響因子會高于應(yīng)用研究領(lǐng)域。不同學(xué)科的期刊也會存在較大差異,如生物化學(xué)類期刊最高影響因子會顯著高于數(shù)學(xué)類期刊。所以,簡單用影響因子這一標準去衡量不同領(lǐng)域的期刊,將難以得到合理的評價結(jié)果。

圖1 評價分類體系

分類評價原則一直是我國科研評價體制改革的重點,在中央及相關(guān)部委發(fā)布的20余項涉及評價的文件中(見表1),提到“分類評價”的就有16項,占比超過76%。這些文件對分類評價的對象分類、具體崗位、評價標準都給出了具體的規(guī)定,但在具體的科研評價活動中,距離文件要求仍有很大的距離[4]。分類評價是科研評價的重要原則,也是開展科研評價的基礎(chǔ)。構(gòu)建科學(xué)合理、適應(yīng)新時代要求的科研評價體系必須正確處理統(tǒng)一評價與分類評價的關(guān)系。在最新的兩份文件中也能體現(xiàn)這一原則,如2020年《若干措施》指出:“要建立健全分類評價體系,對不同類型的科研工作應(yīng)分別建立各有側(cè)重的評價路徑。”2020年《意見》也提出:“要強化分類考核評價導(dǎo)向,實施分類考核評價,注重標志性成果的質(zhì)量、貢獻和影響。”分類評價仍將是新時代我國科研評價體系重構(gòu)必須一以貫之的重要原則。

3 正確處理工具與目的的關(guān)系,倡導(dǎo)目標引領(lǐng)原則

評價本身具有較強的價值取向,這種價值取向可以通過評價目的和評價手段來體現(xiàn)。目的價值取向側(cè)重于引導(dǎo)科學(xué)研究方向,促進學(xué)科發(fā)展;工具價值取向則傾向于將科研質(zhì)量評價作為獎優(yōu)罰劣的手段或工具[10]。目的價值與工具價值統(tǒng)一于科研評價中,兩者不可分割。但在實際工作中,人們往往重視科研評價的工具性,而忽視其目的性,導(dǎo)致“目的”與“手段”常常顛倒、混淆[11]?？蒲性u價的目的在于促進管理,引領(lǐng)科技活動的發(fā)展方向,引導(dǎo)科研人員投身科技創(chuàng)新,產(chǎn)出優(yōu)秀成果。但是從現(xiàn)實中的實際效果來看,用以評價學(xué)術(shù)成果、學(xué)術(shù)績效的“工具”,反倒變成了人們競相追逐的“目的”,如此容易導(dǎo)致“唯論文”“唯數(shù)量”“急功近利”等弊病[12]。根據(jù)評價目的與主體利益的聯(lián)系,可以將評價分為結(jié)論性評價和監(jiān)測性評價兩類(見圖1)。在機構(gòu)評價中,結(jié)論性評價基于歷史統(tǒng)計的現(xiàn)實影響對績效作出評判,并與其他相似的單位作比較,評價結(jié)果反映研究水平高低,并成為撥款的依據(jù);監(jiān)測性評價是面向未來的潛力前瞻性評價,只是為研究機構(gòu)獲取更大回報提供信息[13]。如普賴斯通過統(tǒng)計SCI作者發(fā)文量和被引總次數(shù),為預(yù)測諾貝爾獎獲得者提供了許多有價值的參考信息,屬于監(jiān)測性評價范疇;瑞典皇家科學(xué)院組織的評審最終決定這些科學(xué)家能否獲得諾貝爾獎,屬于結(jié)論性評價的范疇。

科研評價中“工具至上”主義之所以盛行,一個重要原因在于對學(xué)術(shù)評價的本質(zhì)認識不足,對評價的要素分析不夠,尤其是對目的價值認識不明確,以致于造成對“工具”的誤用?？蒲性u價涉及許多方面,至少包括了十大要素:評價主體、評價目的、評價對象、評價標準、評價內(nèi)容、評價過程、評價方法、評價指標、評價數(shù)據(jù)、評價結(jié)果。其相互關(guān)系(見圖2)如下:評價主體與評價對象是評價過程中的實體性要素;評價目的是主導(dǎo)因素,主要是由評價主體中委托方的需求決定;評價對象本身的客觀規(guī)律性,也在一定程度上決定評價目的的可能指向;評價標準與指標是核心,是學(xué)術(shù)目的的具體化;評價方法是手段,由評價方根據(jù)實際情況選定;對評價主體的認識會影響對評價目的、評價需求的認識;對評價目的、需求認識不清,顯然會使學(xué)術(shù)評價的結(jié)果“答非所問”,無法達到預(yù)期的目標。任何工具如果不服務(wù)于一定的主體和目的,就失去了意義;如果工具服務(wù)于錯誤的主體和目的,就會造成損害。事實上,如果單單為科研行政管理部門考慮其管理上的方便性,而采取某些評價標準、方法、指標和程序,就很容易偏離本來目標,使科研評價喪失其“科學(xué)性”,淪為簡單的行政管理考核。因此,構(gòu)建科研評價體系需要正確處理目的與工具的關(guān)系,以目的引領(lǐng)評價導(dǎo)向。只有正確認識了學(xué)術(shù)評價的真正目的,才能做到有的放矢,使科研評價真正服務(wù)于科學(xué)研究事業(yè)的發(fā)展。

圖2 評價要素關(guān)系

4 正確處理數(shù)量與質(zhì)量的關(guān)系,倡導(dǎo)質(zhì)量優(yōu)先原則

數(shù)量與質(zhì)量是事物的不同表現(xiàn)形式,是評價價值導(dǎo)向的兩個方面。重數(shù)量輕質(zhì)量一直是科研評價領(lǐng)域的突出問題。論文和經(jīng)費數(shù)量經(jīng)常被當作衡量科學(xué)家科研水平的唯一標尺[14],職稱評定和人才選拔也是按照一定標準的數(shù)量進行排隊,許多大學(xué)排行榜更是演變成各種數(shù)量指標的盲目競賽。本來量化考核作為一種日常管理手段并不是什么壞事,有助于獎勤罰懶,形成一定的激勵機制,但一旦將其簡單化、絕對化,變成數(shù)字的加減乘除,或者干脆用量化考核替代了學(xué)術(shù)界慣有的認同機制,就會嚴重影響對科研機構(gòu)和科研人員的評價導(dǎo)向,必然會導(dǎo)致學(xué)術(shù)研究的急功近利。

構(gòu)建科學(xué)合理的科研評價體系需要正確處理好質(zhì)量與數(shù)量的關(guān)系,糾正以往過分看重數(shù)量指標、忽視學(xué)術(shù)研究質(zhì)量的現(xiàn)象,樹立質(zhì)量優(yōu)先的觀念,先講質(zhì)量、再看數(shù)量。具體地說,就是在科研評價中,要提高質(zhì)量指標的地位,加強質(zhì)量指標的權(quán)重,而相對削弱對數(shù)量指標的要求。但這并不是否認數(shù)量指標的作用,質(zhì)量是需要建立在一定數(shù)量基礎(chǔ)之上的。數(shù)學(xué)中的大數(shù)定律就說明了“在隨機事件的大量重復(fù)出現(xiàn)中,往往呈現(xiàn)幾乎必然的規(guī)律”。進一步講,某些數(shù)量指標本身就包括了質(zhì)量屬性。比如學(xué)術(shù)期刊論文本身就是要經(jīng)過同行評審后才能發(fā)表的,是具有一定質(zhì)量要求的。高水平期刊,其論文錄用率大概只有5%左右。為了扭轉(zhuǎn)重數(shù)量輕質(zhì)量的評價導(dǎo)向,近年來中央部委制定的文件中都對數(shù)量與質(zhì)量關(guān)系作出了要求(見表1):《關(guān)于深化項目評審、人才評價、機構(gòu)評估改革的意見》提出要減少“三評”項目數(shù)量,改進評價機制,提高質(zhì)量效率;《關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》提出要開展“唯論文、唯職稱、唯學(xué)歷”問題集中清理,建立以創(chuàng)新質(zhì)量和貢獻為導(dǎo)向的績效評價體系。

代表作評價制度是不以學(xué)術(shù)成果的形式、級別和數(shù)量,而以科學(xué)研究機構(gòu)、個人的代表性成果、成績來衡量其工作業(yè)績的方法[15]。而評價“代表作”的標準,只能是學(xué)術(shù)成果的內(nèi)容、研究質(zhì)量和創(chuàng)新價值。代表作評價制度從程序上、根源上就是忽略數(shù)量指標的,所以對于矯正當前量化考核泛濫、學(xué)術(shù)浮躁、學(xué)術(shù)泡沫化的“癥狀”,的確是一劑“良藥”。在國內(nèi)諸多學(xué)者中,尤其是那些激烈反對量化考評體系的學(xué)者中,提倡“代表作”評價制度的呼聲很高。宋麗萍[16]認為,以質(zhì)量為導(dǎo)向的、同行評議與文獻計量相結(jié)合的方法將成為未來科研評價的主流。國際上也將代表作評價制度用于科研項目、科研機構(gòu)等評價中,如加入了“內(nèi)部質(zhì)量控制”指標或“質(zhì)量控制情況”指標的德國科研評價模式,采用具有質(zhì)量控制功能指標的英國模式,強調(diào)質(zhì)量導(dǎo)向評價維度的瑞典模式[17]。

5 正確處理定性與定量的關(guān)系,倡導(dǎo)綜合評價原則

定性與定量是評價方法體系里的一種分類方式。評價方法是指處理客觀評價對象及其有關(guān)數(shù)據(jù)資料的方式,總體上可分為:定性評價方法與定量評價方法,直接評估與間接評估,同行評議與引文計量、指標打分等。定性評價主要是指同行評議制,包括通訊評審法和現(xiàn) 場評審法或會議評審法。從理論上說,雙盲的通訊評審刻意回避了人情關(guān)系的影響,符合公正性的要求;會議評審實行民主投票,也不至于一言堂或個別人說了算。理想的同行評議應(yīng)以評價對象的能力或水平為依據(jù),但在實踐中,主觀性等多種因素影響著同行評議的客觀性。同行評審給人的感覺就是“走過場”和流于形式,其原因包括人情關(guān)系、本位主義、評審程序不合理、評審時間短、評審數(shù)量多等。定量評價方法主要有引文計量法和指標打分法。這些評價方法具有以下優(yōu)點:一是客觀性較強,盡量排除了主觀因素的影響;二是具有形式上的定量性、精確性,便于不同層次、不同種類的對象之間進行相互比較。另外,由于大量地依據(jù)對象外在特征如課題來源、期刊級別、被引次數(shù)等進行計量,還具有便于公開、易于操作、成本較低等優(yōu)點。在使用定量指標時,一定要對其有一個科學(xué)理性的認識:定量指標對定性評價有一定的支撐作用,但單一的定量指標用于科研評價有較大的不確定性與風(fēng)險性。

定性評價與定量評價各有優(yōu)勢。在實際的評價實踐活動中,應(yīng)該將兩者結(jié)合起來,互為補充,形成綜合評價方法。定性是定量的前提,使得定量評價有據(jù)可循;定量反過來可以優(yōu)化定性,使得定性評價更加客觀、精準。在科研評價中應(yīng)充分認識各類評價的目的和需求、評價對象的特征與規(guī)律等,選擇合適的評價方法、評價程序、評價指標。對于國家競爭力評價、地區(qū)競爭力評價、大學(xué)評價、學(xué)科評估等宏觀評價,可以采用定量評價方法;對于人才評聘、論文和項目評審等微觀評價,采用定性評價為主、定量指標為輔助的綜合評價方式更為妥當。關(guān)于定量與定性評價問題,國際上于2014年達成了共識,發(fā)布了“萊頓宣言”(The Leiden Manifesto for Research Metrics)[18],對定量評價提出了十條原則(見表2)。“萊頓宣言”之所以得到科研評價界專家學(xué)者的普遍認同,最大的原因在于它對“量化至上”的現(xiàn)象進行了糾正,如“量化評估應(yīng)當支撐質(zhì)化的專家評估,而不是取而代之”“對個人研究的評價應(yīng)基于其綜合作品的質(zhì)性評價”,這兩大原則對新時代我國科研評價體系重構(gòu)仍有很強的現(xiàn)實指導(dǎo)意義。

表2 萊頓宣言和舊金山宣言要點

6 正確處理論文與評價的關(guān)系,倡導(dǎo)論文適用性原則

近年來,我國科研評價中存在著過度看重論文數(shù)量及期刊影響因子、忽視科技成果質(zhì)量的“唯論文”弊病。特別是SCI論文數(shù)量、被引次數(shù)、高被引論文、影響因子以及衍生出的ESI排名等相關(guān)指標,已經(jīng)成為了科研評價以及職稱評定、績效考核、人才評價、學(xué)科評估、資源配置、學(xué)校排名等方面的核心指標,使得科技工作出現(xiàn)了過度追求SCI論文及相關(guān)指標,甚至以發(fā)表SCI論文數(shù)量、高影響因子論文、高被引論文為根本目標的異化現(xiàn)象。在這樣的“SCI至上”評價背景下,我國SCI論文數(shù)量一直快速增長。通過檢索WebofScience數(shù)據(jù)庫發(fā)現(xiàn),2019年我國發(fā)表SCI論文54.8萬篇,約為美國(67.9萬篇)的80.7%,連續(xù)多年位居世界第二。在一些世界著名大學(xué)排名指標體系中,也存在著“SCI至上”的現(xiàn)象,如ARWU世界大學(xué)學(xué)術(shù)排名有近40%的指標與論文數(shù)或論文折合數(shù)有關(guān),THE排名中論文指標也占到了38.5%[19]。高論文數(shù)帶來了我國大學(xué)所謂的“高排名”,一些高校在世界大學(xué)排行榜中節(jié)節(jié)攀升,某些學(xué)科甚至排到了世界第一,比如清華大學(xué)計算機學(xué)科曾在近年ARWU世界大學(xué)學(xué)術(shù)排名中力壓美國諸多頂尖高校排名第一。令人遺憾的是,排名的飆升、論文數(shù)量的井噴只帶來了論文虛假繁榮,并沒有帶來我們國家“卡脖子”領(lǐng)域質(zhì)的突破。

包括加菲爾德本人在內(nèi)的科學(xué)計量學(xué)專家,對于如何運用SCI進行科研評價都會有適當?shù)奶嵝?即使將SCI作為評價依據(jù),論文本身質(zhì)量、論文被引用率也應(yīng)該是重要的參考因素。而國內(nèi)的大部分情況卻是,對科研人員進行評價、獎勵,只看論文是否發(fā)表在SCI源刊上,是否被SCI索引,或者計算源刊的影響因子積點等,這種做法很明顯是對SCI的誤用。對于科研評價“唯論文”“SCI至上”的現(xiàn)象,許多學(xué)者都強烈反對。針對國內(nèi)外出現(xiàn)的這種“以刊評文”現(xiàn)象,學(xué)者們于2012年12月在美國細胞生物學(xué)學(xué)會年會期間提出了著名的“舊金山宣言”(TheSan Francisco Declaration on Research Assess-ment,DORA)[20],引發(fā)科學(xué)界的熱烈討論。“舊金山宣言”共列出了18條面向?qū)W者、機構(gòu)、研究指標提供者、基金會的建議(見表2),其中最重要的是“避免使用期刊影響因子去評價單篇論文或作者”。與“萊頓宣言”糾偏“重定量輕定性”不同,“舊金山宣言”針對“以刊評文”提出了一些建議,認為過度關(guān)注影響因子會導(dǎo)致科學(xué)家片面追逐熱點,而非潛心科研成果創(chuàng)新。正如國外學(xué)者Moed[21]所言,研究成果及其影響是多維概念,當用論文、引用、期刊影響因子、社交媒體等指標來評估個人和團隊時,必須受到嚴格限制,因為針對科研人員個人的評價指標已經(jīng)被證明存在“虛假的精確性”,期刊影響因子的評價有效性尚缺乏足夠的計量學(xué)證據(jù),基于社交媒體的指標只能作為補充措施。我國學(xué)者韓毅[22]也認為替代計量學(xué)(Altmetrics)的計量結(jié)果與傳統(tǒng)以引文為基礎(chǔ)的科研評價是相互補充關(guān)系,兩者融合進行綜合評價是必由之路。俞立平[23]認為宏觀評價要發(fā)揮SCI論文的主導(dǎo)作用,微觀評價要兼顧代表作與SCI論文數(shù)量。

需要指出的是,破除“唯論文”,并非不看論文。SCI之所以成為定量評價的標準,可能只是因為其有一套選刊的標準程序,有一定的門檻,所以我們把它當作甄別的工具。盡管存在著對SCI的種種批評,但不容否認,這種定量評價的形式仍然有許多優(yōu)點,如形式上的公正,評審指標和評審程序很容易公開,便于公示和接受監(jiān)督,操作方便,容易實現(xiàn)自動化處理,評審效率較高等。事實上,學(xué)術(shù)期刊在錄用論文之前,都需要經(jīng)過同行專家的評審,這在一定程度上保證了錄用論文的質(zhì)量,畢竟錄用的比例是比較低的,尤其是高水平期刊,在這方面的評審更為嚴格。所以,完全放棄類似SCI的定量評價方法,目前不僅不現(xiàn)實,而且還可能是危險的。在學(xué)術(shù)規(guī)范尚未得到普遍遵循、行政主導(dǎo)學(xué)術(shù)的局面尚未完全改觀的情形下,貿(mào)然放棄具有公正形式的定量指標評價方法,可能導(dǎo)致學(xué)術(shù)評價中更廣泛的不公正。SCI論文被用于科研評價備受詬病之處在于“SCI至上”,即過度依賴SCI,而不在于發(fā)表SCI論文。因此,新時代要破除的是“唯論文”中的“唯”,而不是論文本身。

7 正確處理元評價與評價的關(guān)系,倡導(dǎo)科學(xué)評價原則

元評價是對評價的評價。在我國目前的科研評價體系中,還缺少一種元評價機制。我國評價事業(yè)蓬勃發(fā)展,但評價的效果如何?評價的程序是否規(guī)范?還有哪些值得改進之處?甚至具體到某些評價是否有必要?這些問題值得我們反思。元評價機制的主要目的是形成規(guī)范,對評價主體尤其對評價方形成制約,從而提高評價質(zhì)量。從元評價的類型上看,可以從對同行評審專家的再評價、對第三方機構(gòu)的再評價角度來區(qū)分[24];也可以對評價主體、評價方法、評價程序、評價指標等評價要素進行元評價[25]。元評價的方法主要有內(nèi)容分析法、經(jīng)驗總結(jié)法、評價信度效度分析等[26]。元評價的實施主體既可以是評價主體,也可以是評價委托方;既可以從內(nèi)部進行評價,也可以從外部進行評價。元評價是提高評價質(zhì)量的有效手段[27]:對評價流程的元評價可以發(fā)現(xiàn)問題,改善評價;對評價結(jié)果進行元評價,有利于改善評價結(jié)果的公布方式,提高評價質(zhì)量;對評價方法進行元評價,有利于改進評價技術(shù)和方法,淘汰不適宜的評價方法;對評價目的進行元評價,有利于評價組織者反思評價本身,并加強對科研評價自身的管理。評價的次數(shù)、周期等,都應(yīng)該符合科技活動發(fā)展的規(guī)律,過多或過少都是不適宜的。

缺乏對評價方法和指標體系的元評價,是許多科研評價項目結(jié)果不準確的重要原因。傳統(tǒng)的評估方法是分項打分、加權(quán)平均、求綜合分的綜合指數(shù)法,又稱指標打分法,這是目前學(xué)術(shù)評價領(lǐng)域應(yīng)用最成熟、最普遍的一種方法。常用的指標打分法,是以評估指標之間的線性關(guān)系為假設(shè)前提來進行的,但在實際的評價實踐工作中存在著非線性的性質(zhì),不適宜用統(tǒng)一的線性評價方法[28]。況且,指標的完備性和互斥性(不相關(guān)性)是理論上建立指標的準則,這是由其線性的假設(shè)前提所規(guī)定的。然而在實踐中,由于指標概念模糊不清,指標劃分往往不具備完備性和互斥性。指標與指標之間存在函數(shù)關(guān)系或其他間接的相互依賴關(guān)系,這種“多重共線性”都是需要盡量避免的。當前學(xué)術(shù)評價中流行的指標打分法,看似客觀、公允,但其內(nèi)在的線性邏輯卻存在著許多固有的缺陷。這并不等于說該方法不能用,而是需要對其指標體系進行元評價,注意其假設(shè)前提,不要陷入“工具法則”的陷阱之中。正確處理元評價與評價之間的關(guān)系,建立元評價機制,對這些評價程序、方法、指標形成穩(wěn)定的指導(dǎo)性規(guī)范,將有助于解決當前科研評價中出現(xiàn)的科學(xué)性問題。

8 正確處理理論與實踐的關(guān)系,倡導(dǎo)理論指導(dǎo)原則

評價理論是指人們由評價實踐概括出來的系統(tǒng)性的概念、原理和結(jié)論[29]。我國在科研評價實踐活動中積累了豐富的經(jīng)驗,也取得了許多積極成果,但總體上評價理論基礎(chǔ)薄弱,評價制度有待健全。雖然圍繞科研評價方法、流程、指標體系、數(shù)據(jù)處理、信息集成、結(jié)果運用等內(nèi)容,目前已形成了較為科學(xué)的理論體系,但是評價活動是一個復(fù)雜的過程,評價系統(tǒng)作為社會活動大系統(tǒng)中的一個子系統(tǒng),涉及的理論問題眾多,我國評價基礎(chǔ)理論研究仍嚴重滯后于各類評價實踐活動。長期缺乏系統(tǒng)的評價理論指導(dǎo),是當今各領(lǐng)域評價問題未能有效解決的重要原因。我國科研評價基礎(chǔ)理論研究總體滯后,評價領(lǐng)域研究的重大課題、重要專著等研究成果鮮有突破,而科研評價在我國起步相對較晚,許多評價理論是“拿來主義”,與我國科研評價具體實踐差距較遠,難免會有一些水土不服。再加上理論偏向于實際操作性,導(dǎo)致指導(dǎo)性不足等問題凸顯。

完整的科研評價理論與方法體系由評價方法論、評價理論基礎(chǔ)和基本理論模型、各種具體的科研評價方法及應(yīng)用模型、實施過程管理與控制的方法和規(guī)范四個部分組成[30]?？蒲性u價實踐需要評價理論的正確指導(dǎo):從評價問題的界定到評價方案的設(shè)計,再到評價信息的收集過程,并不是隨意進行的,而是要依據(jù)一定的理論基礎(chǔ)(見圖3);在評價方法層面,從方法論指導(dǎo)到評價工具選擇也必須有理論依據(jù)。應(yīng)該說,國內(nèi)外評價基礎(chǔ)理論的研究,為促進我國科研評價實踐發(fā)展起到了巨大的促進作用。例如,邱均平教授等著的《評價學(xué):理論·方法·實踐》(上、下冊)[31]對評價理論問題進行了全面、系統(tǒng)和富有創(chuàng)見的探討,是我國首次以“評價學(xué)”命名的開山之作,并首次構(gòu)建了該學(xué)科的理論、方法、應(yīng)用三結(jié)合的內(nèi)容體系,具有開創(chuàng)性和奠基性意義。但每一種理論的發(fā)展,都帶有其所處的時代特征,尤其是信息技術(shù)、智能技術(shù)等新技術(shù)的發(fā)展,必將極大地豐富科研評價實踐的內(nèi)容,從而促進評價基礎(chǔ)理論體系的完善。

圖3 基于評價活動的評價理論體系

9 結(jié)語

科研評價作為一項具有社會科學(xué)價值的科技管理實踐活動,最終目的在于促進科技活動的健康發(fā)展。其作用就在于根據(jù)委托方明確的目的,通過科學(xué)、可行的方法,依據(jù)規(guī)定的原則、程序和標準,對科技活動各個方面的事項進行論證、評審、評議、評估和驗收,確定科技活動成效狀態(tài)和發(fā)展趨勢。評價是個系統(tǒng)工程,涉及評價主體、評價目的、評價客體、評價方法等十個方面的要素。在破除“SCI至上”、重構(gòu)科學(xué)的科研評價體系時,就要緊緊圍繞這些要素和目標展開,以評價理論為指導(dǎo),以適應(yīng)新時代我國科技發(fā)展水平為重要任務(wù),探討現(xiàn)行科研評價體系、方法、原則及實踐是否遵循了科技創(chuàng)新活動的規(guī)律,體現(xiàn)管理評價與學(xué)術(shù)評價的基本價值理念,催生出真正高水平的科技成果;是否發(fā)揮了“評價指揮棒”應(yīng)發(fā)揮的引領(lǐng)作用,促進科學(xué)技術(shù)的發(fā)展,提升創(chuàng)新能力水平,促進經(jīng)濟社會發(fā)展。

沒有科學(xué)的評價就沒有科學(xué)的管理?？蒲性u價作為科學(xué)管理的重要手段,首先需要深入分析其失衡的根源性問題,最重要的是要處理好八個辯證關(guān)系,倡導(dǎo)八大原則:正確處理管理評價與學(xué)術(shù)評價的關(guān)系,倡導(dǎo)區(qū)分對待原則;正確處理統(tǒng)一與分類的關(guān)系,倡導(dǎo)分類評價原則;正確處理工具與目的的關(guān)系,倡導(dǎo)目標引領(lǐng)原則;正確處理數(shù)量與質(zhì)量的關(guān)系,倡導(dǎo)質(zhì)量優(yōu)先原則;正確處理定性與定量的關(guān)系,倡導(dǎo)綜合評價原則;正確處理論文與評價的關(guān)系,倡導(dǎo)論文適用性原則;正確處理元評價與評價的關(guān)系,倡導(dǎo)科學(xué)評價原則;正確處理理論與實踐的關(guān)系,倡導(dǎo)理論指導(dǎo)原則。當然,我們在審視現(xiàn)有評價體系各種不足的時候,還要正確對待其好的一面,避免矯枉過正。科研評價體系改革和重構(gòu)應(yīng)該是一個循序漸進、不斷優(yōu)化的過程。

參考文獻

[1] 湯建民,邱均平.評價科學(xué)在中國的發(fā)展概觀和推進策略[J].科學(xué)學(xué)研究,2017,35(12):1813-1820,1831.(Tang Jianmin,Qiu Junping.Development situation and prompting strategies of evaluation science in China[J].Studies in Science of Science,2017,35(12):1813-1820,1831.)

[2] 趙蓉英,王旭,王建品,等.中國科技評價研究態(tài)勢與推進策略[J].情報科學(xué),2019,37(5):7-12.(Zhao Rongying,Wang Xu,Wang Jianpin,et al.Research situation and prompting strategies of S&T evaluation in China[J].Information Science,2019,37(5):7-12.)

[3] 汪雪鋒,張碩,劉玉琴,等.中國科技評價研究40年:歷史演進及主題演化[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2018,39(12):67-80.(Wang Xuefeng,Zhang Shuo,Liu Yuqin,et al.Forty years of research on science and technology evaluation in China:historical and theme evolution[J].Science of Science and Management of S.&T.,2018,39(12):67-80.)

[4] 王海燕,張昕妍.我國科技評價體系改革的困境與對策[J].中國軟科學(xué),2018(4):10-17.(Wang Haiyan,Zhang Xinyan.The predicament and countermeasure of the reform of science and technology evaluation system in China[J].China Soft Science,2018(4):10-17.)

[5] 代濤,李曉軒.我國科技評價的問題分析與改革思路[J].中國科學(xué)院院刊,2013,28(6):750-755.(Dai Tao,Li Xiaoxuan.Analysis on the problems and perspectives of China's S&T evaluation[J].Bulletin of Chinese Academy of Sciences,2013,28(6):750-755.)

[6] 杜鵬,李鳳.是自上而下的管理還是科學(xué)共同體的自治---對我國科技評價問題的重新審視[J].科學(xué)學(xué)研究,2016,34(5):641-646,667.(Du Peng,Li Feng.Top-down management or autonomy of scientific community:rethinking on China's S&T evaluation[J].Studies in Science of Science,2016,34(5):641-646,667.)

[7] 朱劍.科研體制與學(xué)術(shù)評價之關(guān)系---從“學(xué)術(shù)亂象”根源問題說起[J].清華大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2015,30(1):5-15,180.(Zhu Jian.Relations between research system and review system:causes to the lack of regulation in academic research[J].Journal of Tsinghua University (Philosophy and Social Sciences),2015,30(1):5-15,180.)

[8] 李楠.關(guān)于深化高?？萍荚u價改革的思考[J].中國高等教育,2014(9):18-20.(Li Nan.Thoughts on deepening the reform of science and technology evaluation in universities[J].China Higher Education,2014(9):18-20.)

[9] 邱均平,朱少強.宏觀與微觀學(xué)術(shù)評價之關(guān)系探討[J].圖書館論壇,2006(6):51-53.(Qiu Junping,Zhu Shaoqiang.On the relationship between macro and micro level evaluation of scientific research[J].Library Tribune,2006(6):51-53.)

[10] 陳曉清,詹啟偉,姜田.關(guān)于深化高校科技評價改革的思考與建議[J].中國高?？萍?2014 (1):23-25.(Chen Xiaoqing,Zhan Qiwei,Jiang Tian.Thoughts and suggestions on deepening the reform of science and technology evaluation in universities[J].Chinese University Science&Technology,2014 (1):23-25.)

[11] 劉在洲,張云婷.高?？蒲匈|(zhì)量評價中若干關(guān)系探討[J].科技進步與對策,2018,35(17):146-150.(Liu Zaizhou,Zhang Yunting.The quality evaluation of the university's scientific research of several relations[J].Science&Technology Progress and Policy,2018,35(17):146-150.)

[12] 汪虹,梅伏生,吳綺慧,等.高等學(xué)?？蒲懈≡昵榫w產(chǎn)生的原因及對策[J].科技進步與對策,2002 (9):175-176.(Wang Hong,Mei Fusheng,Wu Qihui,et al.Reasons and countermeasures of blundering emotion caused from scientific research in universities[J].Science&Technology Progress and Policy,2002 (9):175-176.)

[13] 劉恩允.高?？蒲性u價的問題與對策[J].高等工程教育研究,2004(1):39-42.(Liu Enyun.Problems and countermeasures of scientific research evaluation in universities[J].Research in Higher Education of Engineering,2004 (1):39-42.)

[14] Geuna A,Martin B R.University research evaluation and funding:an international comparison[J].Minerva:AReview of Science,Learning&Policy,2003,41(4):277-304.

[15] 劉明.學(xué)術(shù)評價體制檢討[J].浙江社會科學(xué),2005(5):210-214.(Liu Ming.Review of academic evaluation system[J].Zhejiang Social Sciences,2005(5):210-214.)

[16] 宋麗萍.REF與科研評價趨向[J].圖書情報工作,2011,55(22):60-63,100.(Song Liping.Interpretation of research evaluation trends based on REF[J].Library and Information Service,2011,55(22):60-63,100.)

[17] 馬恩斯,周靜,王峻嶺.比較研究下高校科研評價指標的優(yōu)化[J].中國高?？萍?2019(10):47-50.(Ma Ensi,Zhou Jing,Wang Junling.The optimization of scientific research evaluation indexes in universities under comparative research[J].Chinese University Science&Technology,2019(10):47-50.)

[18] Hicks D,Wouters P,Waltman L,et al.The Leiden Manifesto for research metrics[J].Nature,2015,520,429-431.

[19] 夏國萍,管恩浩.建設(shè)世界一流大學(xué)亟待處理好四重關(guān)系---基于三大世界大學(xué)排行榜的視角[J].高校教育管理,2018,12(4):27-35.(Xia Guoping,Guan Enhao.The construction of a world-class university in China must deal with four relations:based on world university rankings of ARWU,QS and THE[J].Journal of Higher Education Management,2018,12(4):27-35.)

[20] 自然科研簽署《舊金山宣言》,倡導(dǎo)科研評估不要再過度依賴基于期刊的指標[EB/OL].[2020-06-24].http://www.sohu.com/a/136891901_465226.(Natural Science signed the San Francisco Declaration,advocating that scientific research evaluation should no longer rely on journal-based indicators too much[EB/OL].[2020-06-24].http://www.sohu.com/a/136891901_465226.)

[21] Moed H F.Appropriate use of metrics in research assessment of autonomous academic institutions[J].Scholarly Assessment Reports,2020,2(1):1.

[22] 韓毅.非正式交流回歸語境下科技評價的融合路徑取向[J].中國圖書館學(xué)報,2016,42(4):64-74.(Han Yi.The aggregation path orientation of scientific and technological evaluation under the revival context of informal communication[J].Journal of Library Science in China,2016,42(4):64-74.)

[23] 俞立平.規(guī)范使用SCI下科技評價的問題與解決路徑研究[J].情報資料工作,2020,41(2):64-69.(Yu Liping.A probe into the problems and solutions of scientific and technological evaluation under standard use of SCI[J].Information and Documentation Services,2020,41(2):64-69.)

[24] 朱少強,唐林,柯青.學(xué)術(shù)評價的元評價機制[J].重慶大學(xué)學(xué)報(社會科學(xué)版),2010(3):81-85.(Zhu Shaoqiang,Tang Lin,Ke Qing.Meta-evaluation mechanism of academic evaluation[J].Journal of Chongqing U-niversity(Social Science Edition),2010 (3):81-85.)

[25] 馬寧鋒,李衛(wèi)東,薜艷澤.基礎(chǔ)教育學(xué)業(yè)成績元評價的探析[J].中國電力教育,2009(8):29-30.(Ma Ningfeng,Li Weidong,Bi Yanze.Meta-assessment of basic education academic achievement[J].China Electric Power Education,2009 (8):29-30.)

[26] 王敏.對大學(xué)課程評價之“元評價”的思考[J].云夢學(xué)刊,2008 (5):120-121.(Wang Min.The thought of“meta-evaluation”of the evaluation of university curriculum[J].Journal of Yunmeng,2008(5):120-121.)

[27] 俞立平,潘云濤,武夷山.元評價對提高科技評價質(zhì)量的影響研究[J].科學(xué)學(xué)研究,2012(4):512-516.(Yu Liping,Pan Yuntao,Wu Yishan.A effective method to enhance science and technology evaluation quality:meta-evaluation[J].Studies in Science of Science,2012(4):512-516.)

[28] 蔡國梁,黃斌,李玉秀,等.科技進步狀況的多指標可拓綜合評價[J].數(shù)學(xué)的實踐與認識,2005(1):59-65.(Cai Guoliang,Huang Bin,Li Yuxiu,et al.Extension synthesize evaluation of science-technology condition[J].Mathematics in Practice and Theory,2005(1):59-65.)

[29] 葉繼元.人文社會科學(xué)評價體系探討[J].南京大學(xué)學(xué)報(哲學(xué)·人文科學(xué)·社會科學(xué)版),2010,47(1):97-110,160.(Ye Jiyuan.Approaching evaluation system in humanities and social sciences[J].Journal of Nanjing University(Philosophy,Humanities and Social Sciences),2010,47(1):97-110,160.)

[30] 仝允桓.科技評價理論與方法的體系結(jié)構(gòu)[J].科技成果縱橫,2003(5):18-20.(Tong Yunhuan.System structure of science and technology evaluation theory and method[J].Perspectives of Scientific and Technological Achievements,2003(5):18-20.)

[31] 邱均平,文庭孝,等.評價學(xué):理論·方法·實踐[M].北京:科學(xué)出版社,2010.(Qiu Junping,Wen Tingxiao,et al.Evaluation science:theory method practice[M].Beijing:Science Press,2010.)