本次評(píng)價(jià)中，我們?cè)趯彾嗽u(píng)價(jià)體系并確定評(píng)價(jià)對(duì)象后，對(duì)原始數(shù)據(jù)進(jìn)行了全面核查，并對(duì)異常數(shù)據(jù)進(jìn)行處理，然后利用我們自己設(shè)計(jì)的“中國(guó)研究生教育評(píng)價(jià)信息系統(tǒng)”進(jìn)行數(shù)值計(jì)算、統(tǒng)計(jì)得分。

 

     分類評(píng)價(jià)是當(dāng)前科學(xué)評(píng)價(jià)的熱點(diǎn)和難點(diǎn)，專業(yè)評(píng)價(jià)是教育評(píng)價(jià)的微觀層面，其復(fù)雜度和難度之大難以想象。通過(guò)多年的評(píng)價(jià)實(shí)踐，認(rèn)識(shí)到利用題錄信息可以完成論文分類，有人提出《學(xué)科分類與代碼》是中國(guó)科學(xué)評(píng)價(jià)領(lǐng)域的最佳分類體系。在梳理常規(guī)分類方法的基礎(chǔ)上，歸納出這些方法適合于分類評(píng)價(jià)的方面，而且對(duì)這些方面進(jìn)行進(jìn)一步的改造和融合，提出和構(gòu)建了科學(xué)評(píng)價(jià)論文分類系統(tǒng)，其特點(diǎn)是“二次分類”和“自動(dòng)生成訓(xùn)練集”。該系統(tǒng)巧妙利用期刊分類器和類號(hào)轉(zhuǎn)換器，實(shí)現(xiàn)了二次分類和自動(dòng)生成測(cè)試集，提高了支持向量機(jī)（support vector machine，SVM，一種機(jī)器學(xué)習(xí)算法）的分類精度，也避免了繁重的人工分類任務(wù)。實(shí)驗(yàn)證明本系統(tǒng)能勝任科學(xué)評(píng)價(jià)中的論文分類任務(wù)。本次評(píng)價(jià)繼續(xù)使用該系統(tǒng)并適當(dāng)改進(jìn)。在其他數(shù)據(jù)指標(biāo)的分專業(yè)過(guò)程中，采用人機(jī)結(jié)合的方式，大量使用VBA、Java等設(shè)計(jì)程序，提高了工作效率和準(zhǔn)確性。

 

     最后，我們利用“中國(guó)研究生教育評(píng)價(jià)信息系統(tǒng)”進(jìn)行數(shù)值計(jì)算、統(tǒng)計(jì)得分和排行榜生成。在評(píng)價(jià)過(guò)程中，我們進(jìn)一步實(shí)現(xiàn)智能與人工的密切配合，加強(qiáng)了誤差判定，對(duì)波動(dòng)較大的數(shù)據(jù)進(jìn)行了人工校準(zhǔn)，提高了效率，保證了準(zhǔn)確率。

 

     在評(píng)價(jià)的初步結(jié)果出來(lái)之后，邀請(qǐng)各領(lǐng)域?qū)＜覍?duì)結(jié)果進(jìn)行分析，將反饋的意見(jiàn)納入最終的結(jié)果，達(dá)到了定量評(píng)價(jià)和定性評(píng)價(jià)的完美結(jié)合，使評(píng)價(jià)的結(jié)果更具科學(xué)性和權(quán)威性。

 

     在結(jié)果的呈現(xiàn)方式上，根據(jù)集中與離散分布規(guī)律，在各評(píng)價(jià)結(jié)果的表示方面，將各排行榜中的競(jìng)爭(zhēng)力依次分為5個(gè)等級(jí)，并用星級(jí)表示：①5★為具有重點(diǎn)優(yōu)勢(shì)競(jìng)爭(zhēng)力的單位，即排在最前面10%的培養(yǎng)單位（其中，排在前1%（含1%，下同）的為5★+級(jí)，前1%以后至5%的為5★級(jí)，5%以后至10%的為5★-級(jí)）；②4★為具有優(yōu)勢(shì)競(jìng)爭(zhēng)力的單位，占總數(shù)的10%，即排在10%～20%的單位；③3★為具有良好競(jìng)爭(zhēng)力的單位，占總數(shù)的30%，即排在前20%～50%的單位；④2★為具有一般競(jìng)爭(zhēng)力的單位，占總數(shù)的40%，即排在前50%～90%的單位；⑤1★為具有較差競(jìng)爭(zhēng)力的單位，占總數(shù)的10%，即排在90%～100%的單位。