研究績效 評估架構:發揮最大的研究效益

進行一項研究計畫是非常複雜的工作,而且成本高昂,不論在大學或企業單位中,負責監督研究計畫的行政人員面臨越來越大的壓力,必須以明確的評量標準記錄結果,追蹤進度,因此,嚴格完整的 研究績效 評估至關重要。

 

然而,評估本身就是一大挑戰,要如何決定最佳途徑,確認所有必要的資料點都收集到了?此外,結果是否能清楚詮釋現象,有助於釐清策略、政策、實務改變的原因?

要解決前述這些問題,必須運用精確、固定的標準和指標,據以監督研究的進展,並加以評估,也就是採用研究評估架構。我們知道,評估架構有助於擬訂評估方式,確實將所有的相關因素 (研究目標、投入、產出、期望結果) 都納入考量。透過架構,可以釐清調整或修正方向的必要步驟,達成長期目標。

沒錯,要針對特定目的,判斷研究計畫的進展、分配資源,謹慎評估研究的影響力確實非常重要,而清楚定義的評估架構則是整個過程的關鍵。

 

擬訂評估策略以改善研究管理

要透過評估架構確實做好研究管理,關鍵在於一開始就要提出正確的問題。例如,執行評估具體來說有哪些目標?需要收集什麼資訊和資料點,如何收集?關於評估是否符合具體的目標,可以採用哪些短期和長期的量化基準指標或成果?

評估架構可用於因應各種狀況和需求,例如:主張增加研究支援、顯示資源使用是否有效率、說明研究方式是否有成效、決定資金未來的分配方式和流向。

舉例來說,要找出哪些研究人員最值得支援,行政人員可能需要在機構中找出哪一位作者的出版品在科學社群中最具影響力。遵循清楚定義的架構,依據引用影響力而做決定,必須採用 Web of Science 及其收錄的出版品和引用資料,這些指標和工具可以提供詳盡的數據,讓您瞭解同一位作者所發表的論文,以及這些論文的引用總數。Essential Science Indicators (ESI) 是資料與標竿分析工具 InCites 的元件,以 22 項主要領域的科學家引用排名為依據,找出引用影響力排名前1% 的作者。

行政人員掌握這項資訊後,就能瞭解研究人員在工作上的具體數據、相對於同儕的表現,以及在哪些主題領域表現優異。基於這樣的具體數據,就能決定哪些研究人員名列前茅,提供適當的支援,或是反過來說,找出哪些領域表現不佳,調整資源分配以刺激表現。無論哪一種情況,最後的結論和行動都是來自完善的查詢架構和具體的支援資料。

總而言之,只要適當定義評估架構、妥善應用,即可將抽象的「研究表現」資料,轉換成詳盡的標竿分析和評量標準,據以評量流程,並詳細規劃未來的行動。

謹慎評估研究的影響力是一大關鍵,足以左右研究計畫狀態的判斷,以及就具體目的之資源分配。

 

鑑別專業資格及爭取經費

除了用以監督目前進行中的研究計畫,加強行政管理之外,評估架構也是鑑別專業資格的利器。針對研究人員、部門或整個機構,追蹤研究產出的範圍及影響,可以產生詳盡的文件,描述組織在特定領域的重點和實力。

評估架構能夠提供精確的量化數據,在爭取經費方面也非常具有參考價值。展現在特定領域的集中度和影響力,或清楚展現實力確實在逐漸提升,可以做為有力的證據,爭取出資單位提供研究經費。

 

擬訂明確的架構

評估架構有各種不同的形式,例如 2013 年美國醫學院學會 (Association of American Medical Colleges)委託 S. Guthrie 等人研究,並由蘭德公司 (Rand Corporation) 發表的一份指南,就探討了數項評估的方式,其中包括:量化分析 (僅提供數據結果,不深入評估或詮釋數據);構成式分析 (注重橫跨各領域的學習及改進狀況,不產生機構間的比較結果)。

Guthrie 等人提到 16 種評估架構,並詳細討論其中六種,包括用以評估英國大學的「研究卓越架構」(Research Excellence Framework),也參考學術領域之外的影響力指標;澳洲的卓越研究架構主要參考引文的量化指標,以發表著作的統計數據做為評量標準;「生產互動」(Productive Interactions) 是由歐洲數個國家共同研發的架構;明星測試制度 (STAR METRICS) 則是由美國科學基金會 (National Science Foundation) 與國家衛生研究院 (US National Institutes of Health) 開發的架構,用以評估美國聯邦政府在研究發展方面的投注具有多大的影響力。

這些架構各有不同的特性,例如屬於構成式或是量化分析、可否彈性應用,可否擴大應用至大型分析而不需大幅增加成本,以及評估過程對參與者及評估機構的負擔有多重。

2013 年的報告也指出,設計研究評估架構要有所取捨,沒有所謂「簡單又有效」的方法,換言之,要找出適當的架構,同樣也要經過研究並慎重行事。

 

行動架構

以視覺化呈現流程,是開始評估及追蹤評估的有利工具。一份分析聯合國婦女署 (UN Women) 的監督評估架構 (以終結婦女受暴的計畫為評估對象) 的評論指出,該架構主要仰賴三種圖像式評估分析方式,分別是:概念架構 (描繪可能影響計畫及目標達成的各種整體或個別要素);結果架構 (顯示達成最終目標之前,中期成果之間的關係);應用最廣泛的邏輯架構(一般稱為邏輯模式)。

如果適當定義評估架構並加以運用,可以將抽象的「研究卓越」概念轉換成各種詳盡的標竿分析和評估方式。

 

邏輯模式可以勾勒投入 (即處理可能情況或問題的步驟和活動)、產出 (開始改變後的中期產出,需要評估進展),以及成果 (預期達成的結果)。在邏輯模式中,明確描繪達成目標所需要的資源,以及呈現各種要素之間的「因果」關係,可以做為指南,勾勒並監督評估的過程。

適當的評估途徑,始於明確訂立最終的目標,以此做為出發點,有助於提出適當的問題,勾勒出推展計畫的各個步驟,最後達到理想的成果。

Guthrie 等人的報告也提供了實際的建議,以邏輯樹說明擬訂架構的方式,並有詳盡的附錄,包括建立模式的相關評論。

在評估進展及詳細勾勒未來方向時,不論機構面臨什麼情況或有什麼需求,運用適當的評估架構都能夠大幅提升成功的機率。

 


運用架構進行同儕標竿分析

從政府、企業、體育、到學術機構,幾乎每一種組織的行政人員都會遇到的問題是:「面對競爭,我們要如何累積實力?」

對研究型機構而言,在評估架構中確立這個問題,有助於使競爭力具體化。例如,論文的整體產出,與其他同儕機構相比如何?以引用影響力而言,我們的影響比率在特定領域中,與同儕相比如何,以專業領域的全球基準數據而言,表現又是如何?在全球的百分比排名中,我們的研究產出排名為何,這項指標與其他相關機構相較,表現又是如何?

在評估架構中,可以提出上述問題,運用相關比較資料 (例如 InCites 提供的資料) 得到精確完整的答案。

 

排名:研究實力排序

實際上,在所有活動領域中,包括科學及學術研究,都必須留意表現的排名。不過,以研究表現而言,排名的應用必須適當,尤其是 Web of Science 的引用資料。其中,謹慎比較是一大關鍵原則,務必要選擇可以互相比較的對象才有意義。

不同的領域之間,規模及引用活動差異很大。如果評估領域不同、規模不同的單位 (例如,只是收集引用總數或計算每篇論文的引用次數),所產生的結果不具任何意義。舉例來說,相較於材料科學等自然科學,生命科學 (例如遺傳學) 是規模大、產值高的研究領域,產量一向比較高,所以比較這兩個研究領域的原始引用數據,無法獲得有用的分析結果。在規劃周延的排名中,必須從一開始就選定規模及活動可以互相比較的實體。

InCites 提供精細的數據,使用者可以透過評估方式控制規模及產量,選擇適當的機構並加以比較。評估方式包括:以全球指標為基準,比較特定領域的引用影響力、判斷機構之間的研究合作程度,或決定領域中最常引用論文產出排名百分比。InCites 可由使用者自訂檢索,自行檢視希望看到的屬性、選擇機構並加以比較。

 

研究評估架構:未來的標準?

2007 年,英國的高等教育機構採用「研究卓越架構」(Research Excellence Framework,REF),取代原本的「研究評估實作」(Research Evaluation Exercise) 架構。選擇新架構的原因包括:降低行政負擔、強調平等及多元,最終目的在於提升英國研究在國際上的競爭力。第一份 REF 評估報告於 2014 年 12 月發表,涵蓋期間為 2008 至 2013 年,對象包括 154 所大學。

REF 含三大評估方式:總分的 65% 為「產出」,指的是任何形式的研究 (包括期刊、專題論文、著書),以及其他形式的創意表現 (例如設計、表演、展覽);「影響力」佔 20%,指的是在學術之外,對經濟、文化、社會、公共政策、生活品質等方面造成影響、改變或帶來益處;最後,「環境」佔 15%,指的是支援研究的資源及基礎設施,以學校的研究收入與博士學位頒發數量做為附加資料。

 

開始設計評估架構:檢核清單

  1. 一開始就要記住目標:具體描述在提升機構表現後,希望達成什麼目標或成果
  2. 建立邏輯模型:以圖像呈現問題或狀況,將適當的投入和產出,以及相符的期望成果具體化。
  3. 找出適當的架構:選擇以量化為主的架構 (即產出數據)、構成式架構 (與評估相比,更注重學習和改善),或結合兩者。

以上述三點為基礎,就能按部就班,使您的工作真正具有影響力,產生期望的成果。