考評中采用了類似的方法,即通過熟悉科技項目(課題)各方人士填表的方式,取得考評分值,綜合評價科技項目的績效。
具體做法是:根據(jù)考評指標(biāo)體系,分別設(shè)計用于課題考評和用于項目考評的兩套表格。課題考評表有四類,分別由課題負責(zé)人、項目負責(zé)人、考評專家和考評組織方填寫;項目考評表也有四類,分別由項目負責(zé)人、主管該項目的政府部門處室、考評專家和考評組織方填寫。
項目(課題)任務(wù)書、驗收報告、審計報告等資料,是填寫考評表有關(guān)內(nèi)容的依據(jù),考評組織方填寫的結(jié)論和數(shù)據(jù),則取自驗收報告和審計報告。綜合評價前確定各表中同一指標(biāo)分值的權(quán)重,在進行綜合評價時,對于不同表中同一指標(biāo)分值的處理,根據(jù)指標(biāo)性質(zhì)取其加權(quán)平均數(shù)。
3.評價標(biāo)準(zhǔn)的建立
科技項目績效評價標(biāo)準(zhǔn)是以一定量的有效樣本為基礎(chǔ),測算出標(biāo)準(zhǔn)樣本數(shù)據(jù),用以衡量和評價科技項目的績效水平。由于國內(nèi)對科技項目績效考評尚處于起步階段,不可能采用或通過修訂已有的計劃標(biāo)準(zhǔn)、歷史標(biāo)準(zhǔn)或經(jīng)驗標(biāo)準(zhǔn)來建立評價標(biāo)準(zhǔn),只有進行實測,建立初步的標(biāo)準(zhǔn)之后,再逐步修訂完善。在建立科技項目的績效考評中,有必要按項目類型,建立適應(yīng)各類項目的考評標(biāo)準(zhǔn)體系。
建立科技項目績效考評的評價標(biāo)準(zhǔn)的程序為:(1)選定一定數(shù)量的項目樣本;(2)確定評價指標(biāo)體系中各指標(biāo)權(quán)重、確定項目與課題相對重要性權(quán)重、確定同一項目各課題的相對重要性權(quán)重;(3)組織試填考評表,綜合計算項目考評分值;(4)分析綜合考評結(jié)果與實際情況是否相符、若相符,則確定標(biāo)準(zhǔn);(5)當(dāng)考評結(jié)果與實際情況不盡相符時,修改考評表設(shè)定有關(guān)分值項、重新試填考評表,重新計算,再分析結(jié)果,直至考評結(jié)果與實際情況相符為止,從而確定考評標(biāo)準(zhǔn)。
4.評價指標(biāo)的確定
我們設(shè)計的績效考評指標(biāo)體質(zhì)包含多個評價指標(biāo),它們對評價結(jié)果影響程度的大小被稱為評價指標(biāo)的權(quán)重,可以采取排序法、層(級)次分析法、專家直觀判斷法來確定各評價指標(biāo)的權(quán)重。三種方法可以單獨運用,也可以綜合運用。
指標(biāo)排序法,是按照設(shè)計的評價指標(biāo)體系的級次,分級制定評價指標(biāo)排序表,由專家根據(jù)主觀判斷對指標(biāo)影響程度大小進行由大到小的排序,再根據(jù)設(shè)計的指標(biāo)排序分值,分級進行統(tǒng)計和歸一化處理,最終計算出各級次指標(biāo)的權(quán)重。
層(級)次分析法,先確定衡量指標(biāo)重要程度差別的定量標(biāo)度,再按設(shè)計的評價指標(biāo)體系的級次,分級確定進行指標(biāo)重要性兩兩對比判斷的矩陣,請專家在矩陣中填寫指標(biāo)對比判斷后的標(biāo)度值,經(jīng)過歸一化處理和統(tǒng)計計算,最終得出指標(biāo)的權(quán)重。
專家直觀判斷法,是請專家根據(jù)自己的經(jīng)驗和知識,對績效考評指標(biāo)體系的各級次指標(biāo),按其重要性程度直接給出權(quán)重分值,再采用數(shù)學(xué)平均法處理專家分值,對分值進行歸一化處理,即得指標(biāo)的權(quán)重。