從CIPP評鑑模式談圖書館的評鑑
An Approach to Library Evaluation from CIPP Evaluation Models
呂春嬌Chung-Chiao Lu
國立臺灣師範大學圖書館典藏組組長
Head of Circulation Department,
National Taiwan Normal University Library
E-Mail:e53041@cc.ntnu.edu.tw
摘要
評鑑是任何組織欲檢測機構的目標與行為，並建立優先順序流程時的基本要素。而以此方式蒐集相關資源與資訊，各種計劃與行動將可以有效地且效率地達成。CIPP評鑑模式是背景評鑑（context evaluation）、輸入評鑑（input evaluation）、過程評鑑（process evaluation）、成果評鑑（product evaluation）四種評鑑方式的縮寫。目前教育評鑑一般是採用CIPP模式，分別從四個向度評鑑，一直有很好的評價。故本文從CIPP評鑑模式談起，包括評鑑的意義、目的與功能，CIPP評鑑概述及其在圖書館評鑑的應用。
Abstract
Evaluation is an essential component for any organization intending to modify its goals, objectives, and establish priorities. Various programs and activities can be accomplished effectively and efficiently by using resources gained from this evaluation. CIPP stands for the four models of evaluation: context evaluation, input evaluation, process evaluation, product evaluation. At present, the CIPP models are widely used in the area of education evaluation. This paper tries to give a general introduction of CIPP evaluation, its definition and purposes, and its application in library evaluation.
關鍵詞：CIPP評鑑 背景評鑑 輸入評鑑 過程評鑑 圖書館評鑑
Keywords：CIPP evaluation；Context evaluation；Input evaluation；Process evaluation；Library evaluation
評鑑是圖書館經營重要的指標，它可做為圖書館未來發展的依據，但礙於國內對評鑑知識的缺乏，更少進行評鑑，評鑑人才的培育是當務之急。評鑑所面臨的問題包括理論與實務兩方面，理論是指評鑑概念的釐清、評鑑模式與評鑑方法的探討。教育評鑑比圖書館要早發展許多，其中以Stufflebeam 所提出的CIPP模式頗受教育評鑑學者的重視，此四種評鑑可個別實施，亦可逐一進行，在教育評鑑模式中相當具有特色。（註1）故本文先行探討評鑑的意義、目的與功能，再描述CIPP評鑑模式，並試圖將其應用在圖書館界，亟望能使圖書館評鑑受到重視。
評鑑對人類的行為或組織的行動，可能是一項必要且不可或缺的要素。因此從古至今，隨著時代與理念的變遷，許多學者對評鑑一詞也賦予不同的時代意義，茲列舉如下：
（一）邱淵認為：
評鑑「evaluation」是為了某個目的而進行的，對各種想法、作品、解答、方法、資料等的價值作出判斷的活動。評鑑涉及應用準則和標準來鑑定各種具體事物的標準性、有效性、經濟性和令人滿意的程度。判斷可以是量化（quantitative），也可以是質化（qualitative）。（註 2）
（二）黃政傑認為：評鑑的新觀念應包括：（註 3）
1、將評鑑視為價值或優點的判斷。
2、此一判斷應包含量與質的描述。
3、評鑑不但是為了定績效，更為了做決定。
4、評鑑扮演許多角色。
（三）從教育的歷史言，隨著測驗及評鑑發展運動之時代的不同，對評鑑一語所下的定義可歸納為四大類：(註4)
1.評鑑即測驗（evaluation as measurement）：此觀念盛行於一九二０年代，測驗成為衡量人類行為的科學工具，評鑑即測驗觀念也廣被人們所接受。
2.評鑑是目標與表現一致程度的確認（evaluation as determining congruence）：一九三０年代開始「觀念與技術」成為評鑑概念的濫殤，它包括釐清目標、發展和運用各種方法、描述證據加以解釋及運用相關資料等四項工作。
3.評鑑是專業判斷（evaluation as professional judgement）：此觀念源於一九七０年代，認為評鑑即是專家判斷力的表現，認可的過程是靠專家的經驗及判斷，而評鑑即是利用資料蒐集所作的迅速判斷。
4.評鑑是提供資訊（information）以做為決策（decision-making）依據的觀念：此觀念認為評鑑在蒐集和解釋有關資料，並把它轉變成決策的資訊，以作為決策人員合理判斷的依據。
從以上定義可以總結為評鑑是一種行政管理的工具，也是一個有系統、正式的過程，包括一系列的步驟與方法以蒐集和分析各種有關的客觀資料，測量某一機構達成其目標的進展程度。（註 5）提供決策者做為選擇合理方案的參考依據。
二、評鑑的目的
評鑑一詞代表了品質與價值，它可有質與量兩種向度。美國著名的評鑑學者Scriven曾說：「評鑑的目的不在證明什麼，而在求改進」（The
goal of evaluation is not to “prove” but to “improve”）。（註6）它必須符合以下四個條件：（註7）
（一）評鑑應當是有用的（useful）：評鑑可協助被評鑑對象確認其優點與缺點、問題所在及改進的方向。 （二）評鑑應當是可行的（feasible）：評鑑應運用評鑑程序，並有效的予以管理。 （三）評鑑應當是倫理的（ethical）：評鑑應提供必要的合作、維護有關團體的權益、不受任何利益團體之威脅與妥協，謹遵應有之倫理。 （四）評鑑應當是精確的（accurate）：評鑑應清楚描述評鑑對象之發展，顯示規劃、程序、結果等。並提供有效之研究結論與具體建議。
因此評鑑的目的在了解組織所發生的問題、預估內部與外部環境的配合程度、指引決策或行動、拉近預期與實際間的差距。組織應有明確的政策與目標，這是評鑑的首要條件。要言之，評鑑應是有導向性（orientation）、整體性（totality）、繼續性（continuity）、實證性（empirical）、差距性（discrepancy）、貫聯性（context）等六大特性（註8），評鑑能落實於行動中，才是評鑑最終之目的。近年來許多評鑑似乎多偏重「控制品質」以做為獎助各單位經費及人員等依據。而非針對各單位之所短，積極地輔助其改善，最後達成自主、自立與自我成長之理想目標。故評鑑的目的為何？是一種品質保證、績效責任、認可的制度、改革的依據？或做為機構發展的參考指標？關於此點是我們所應深思的方向。
三、評鑑的功能
評鑑應成為一項例行性的工作，用以檢視機構內部運作，外部服務品質，以便使服務日新又新。它也是藉此系統自省、內省，據以修正、調整運作，乃至繼續生存的不二法門。因此評鑑的功能大致可分為六項：（註9）
機構經由評鑑的方式，利用推廣與促銷的方法，配合時代進步的趨勢，達到重建專業精神與專業形象的目的。因此定期進行評鑑，是現今每個機構經營時所需具備的必要過程。
四、評鑑系統應注意事項：（註10）
評鑑的意義包括外來的評核、稽查、督導、訪視、輔導等，也包括個人與機構內在的自省。所以一個完善的評鑑系統應包含以下幾個特點：
因此一個好的評鑑它要能包括有確定的評鑑主體、訂定評鑑的時間、要用客觀的評鑑標準、詳列評鑑內容與項目，及評鑑結果要能具體且能運用。
CIPP評鑑概述
一、CIPP的意義與內涵
CIPP是背景（context）、輸入（input）、過程（process）及成果（product）四種評鑑的縮寫。它是1965年美國通過「初等及中等教育法案」（America’s Elementary and Secondary Education Act，ESEA ）時，聯邦政府要求所有接受該法案補助的方案，所使用的評鑑方法。其架構為以背景評鑑（context evaluation）來幫助目標的選定，以輸入（input evaluation）來幫助研究計劃的修正，以過程評鑑（process evaluation）來引導方案的實施，以成果評鑑（product evaluation）來提供考核性決定的參考。（註11）因此評鑑的新定義為：「評鑑是一種劃定、獲取及提供敘述性與判斷性資訊的歷程。那些資訊涉及研究對象之目標（goals）、設計（design）、實施（implementation）及影響（impacts）的價值與優點，以便指導如何作決定，符合績效（accountability）的需求，並增進對研究對象的了解。」（註 12）
此一定義扼要說明了CIPP模式中的重要觀念，它指出評鑑的目的有三：一是指導做決定，是最重要的目的；二是提供記錄以為績效責任之用；三是增進對研究現象的了解。此一定義也指出評鑑不是一個事件，而是一個過程，此過程包括劃定、獲取和提供資訊三個步驟。另外描述性和判斷性資訊，都適用於評估和幫助受評對象的改進，最後再以價值和優點做為評鑑的基本規準。（註13）CIPP評鑑模式的評鑑方式採自我評鑑與訪問評鑑並行，以達到評鑑中自我改進的目的。雖然相較於問卷調查法，此種評鑑方式費時費力，但卻有以下幾項優點：（註14）在訪談過程中，訪問評鑑委員較易取得完整資料；可較易深入問題核心；可揭示明確目標；可評鑑答案之真實性；可適用特殊對象；可控制環境；可掌握問題的次序。訪問評鑑者可依自我評鑑結果與受評單位進行溝通，並提出具體建議。最後再以文字描述評鑑的結果，可使評鑑結果不受研究者思維之限制，以達深入問題核心，發揮自我創造力。（註15）表一是四種類型的評鑑：
表一、四種類型的評鑑
| 背景評鑑 | 輸入評鑑 | 過程評鑑 | 成果評鑑 | |
| 目 標 | 界定機構背景；確認對象及其需求之可能方式；診斷需求所顯示的困難；評斷目標是否能滿足已知的需求。 | 評估及確認下列各項：系統的各種能力、數種可替代的方案實施策略，實施策略的設計、預算及進度。 | 確認或預測程序設計或實施上的缺點；記錄及判斷程序上的各種事件及活動。 | 蒐集對結果的描述及判斷；將其與目標以及背景、輸入、及過程之訊息相互聯繫；解釋其價值及意義。 |
| 方 法 | 使用系統分析、調查、文獻探討、聽證會、晤談、診斷測驗、以及德懷術 | 將現有的人力及物質資源，解決策略及程序設計列出清單，並分析其適切、有效及合算的程度；利用文獻探討，訪視成功的類似方案，建議小組以及小型試驗室等方法。 | 追蹤活動中可能有的障礙，並對非預期中之障礙保持警覺，描述真正的過程；與方案工作人員不斷交往，並觀察他們的活動。 | 將結果的標準賦予操作性之定義，並加以測量；蒐集與方案有關之各種人員對結果的評斷；從質與量的分析。 |
| 在變革過程中與作決定的關係 | 用於決定方案實施的場所、目標與方針；提供判斷決定的一種基礎。 | 用於選擇下列各項：支持的來源、解決策略以及程序設計；提供評斷方案實施狀況的基礎。 | 用於實施並改善方案的設計及程序；提供一份真正過程的記錄，以便日後用以解釋結果。 | 用於決定繼續、中止、修正某項變革活動，或調整其重點；呈現一份清楚的效果記錄。（包括正面與負面、預期的與非預定的效果） |
資料來源：陳舜芬，「Stufflebeam的改進導向評鑑」，在教育評鑑的模式，黃光雄編（臺北市：師大書苑，民國78年），頁202-203。
二、評鑑模式元素（註16）
Plomp，Huijsman和Hluyfhout認為評鑑本身就是一個模式，圖一的評鑑模式中包含了界定預期的進步、蒐集資訊、制定行動方案，最後再進行校正工作四個元素，此四各元素也就構成了評鑑的四個步驟：
（一）評鑑首先應先確定預期的進步，界定評鑑之效標與標準。
（二）根據效標或標準蒐集資訊並評估資訊。
（三）制定行動方案，提出回饋訊息。
（四）對原先預期之進步進行校正工作，做為下次評鑑之效標或標準。
圖一、評鑑模式元素
資料來源：T. Plomp, H. Huijsman, and E. Hluyfhout, “Monitoring in Educational Development Projects : the Development of a Monitoring System,” International Journal Educational Development 12 （1992）：66.
根據此模式可分別建立背景指標、輸入指標、過程指標與成果指標等四種指標。圖書館評鑑大師Lancaster認為評鑑範圍包括輸入人員館藏設施等要素，進行資料組織與處理，再輸出服務的績效，結果產生服務績效的價值等四大部份，這是評鑑模式也可視為評鑑項目或指標。
三、CIPP評鑑模式（註17）
CIPP評鑑模式是背景評鑑（context evaluation）、輸入評鑑（input evaluation）、過程評鑑（process evaluation）、成果評鑑（product evaluation）四種評鑑方式的縮寫。目前教育評鑑一般是採用CIPP模式，分別從四個向度評鑑，一直有很好的評價。其內容詳述如下：
1.背景評鑑（context evaluation）：它是最基本型態的評鑑，其目在於用來幫助目標的選定。目標是理論的基礎，其具體做法是定義與計畫有關的環境，描述此環境所包含的理想情境及實際情境，並診斷有礙需求達成及妨礙機會運用的問題。問題的陳述是建立目標的基礎，更是改進計畫之依據。故背景評鑑的實施乃預期了解有關評鑑者資料，它有許多建設性之功用：如可用來使大眾對評鑑者之優點、缺點、需求與困難有所認識；用來說服該機構最迫切需要改進與支援之處；可評估改進計畫完成程度。因此背景評鑑至少必須包含政策背景、環境背景及需求背景三大要素。
2.輸入（input evaluation）：輸入評鑑的目的在來幫助研究計劃的修正，其實施方式為界定與評量三大項：承辦機構的能力、達成計畫的策略及履行策略的設計。輸入評鑑其目的在決定該用何種資源來達成目標，故輸入評鑑至少要包含：工作計畫、設備、經費、人員資源。
3.過程評鑑（process evaluation）：過程評鑑考核定期提供回饋給執行計劃人。其目標有三：計劃執行中偵測或預測設計之缺失；提供計劃決策所需之資訊；持續計劃進行之程序。藉由了解原先之計劃，並探知進行過程或進行中的活動特色，以追蹤最初計劃之改變，並提供資料確保其效率與成果即是過程評鑑的意義。
4.成果評鑑（product evaluation）：目的在於計劃進行期間及告一段落時，評量解釋計劃。實施方式是界定目標的操作型定義，評量目標活動的準據，將針對預設的絕對標準或相對標準所作評量加以比較、運用背景、輸入、過程等資訊，將結果合理解釋，並提供考核性決定的參考。
四、使用CIPP評鑑模式之優點
適當的評鑑指標可透過品質、需求、要求與成本四個向度來審視其效果。品質（quality）：包含人員素質、使用者素質、支援性服務系統（如自動化設備、網路等）品質、財政資源、業務實施品質等；需求（need）：包括任務之中心性與對社會價值等二項指標；要求（demand）：包括現有顧客及潛在顧客之要求；成本（cost）：包括成本的效能及效益兩方面。（註18）評鑑人員在蒐集資料後，需做三種評估：（一）輸入評估：對現有人力與物力做一評估，以確認方案是否按預計目標實施。（二）過程評估：對方案實施過程之評估，目的在確定實施過程中是否對產出有所貢獻。（三）輸出評估：對輸入與實施過程交互作用之結果的評估，目的在確定方案是否達成預期目標。所以如果完全實施CIPP途徑，其所得到的資訊，將可助於解答以下問題：（註19）
1.有哪些需求？是否普遍而重要？方案的目標反映這些需求的程度如何？（可由關於背景的資訊來解決。） 2.採用哪項包括程序、人員，以及預算的計劃，以便符合需求？除此之外還有那些替代性計劃？為何選擇目前這種？此計劃在需求方面合理、可能成功且合算嗎？（由關於輸入的資訊來解決。） 3.這方案計劃（project plan）執行的程度如何？為何需要修正？基於什麼理由？（由關於過程的資訊來解決） 4.產生那些正面的與負面的，預定的與始料未及的結果？與方案有關的各種人員對結果的價值與優點作何判斷？方案實施對象的受益程度如何？（由關於成果的資訊來解決）。
評鑑指標可分為兩大類：一為保健指標（health maintainess indicators）一為競爭指標（competitive indicators），保健指標是指各項檢查的上下限，而競爭指標是指表現指標。目前教育評鑑一般是採用CIPP模式，分別從背景、輸入、過程及成果四大評鑑來尋求指標。輸入與過程指標可視為保健指標，它是成果指標的必要條件，而成果指標則可視為競爭指標。無論是保健指標與競爭指標都可做為機構自我反省之用，目的在瞭解目前狀況與國內外現勢而策勵自己，謀求組織的成長。（註20）
肆、CIPP評鑑在圖書館評鑑之應用
圖書館實施評鑑的目的有三：一是評量讀者的滿意程度，旨在瞭解圖書館的服務效果；二是考量圖書館內部運作的效率，以瞭解運作方式是否符合圖書館的目標；三是計算圖書館付出的人力、物力等代價能否符合服務的效果，以知悉圖書館的運作效益是否平衡。（註21）在資訊爆炸的時代，圖書館為爭取足夠的經費，一方面要提出績效報告，一方面要研究改進服務品質，圖書館評鑑就顯得格外重要。了解圖書館評鑑的發展將有助於對圖書館經營管理趨勢的了解，它對圖書館改進業務、提升效能更有直接的影響。（註22）對圖書館評鑑而言，其內容包括：圖書館目標與宗旨、組織與運作、館員素質與背景、服務項目與方式、讀者素質與輔導、圖書建築等軟硬體設備、經費分配、參考資訊與推廣服務、與社區及相關團體聯繫狀況、自我評鑑及未來發展等十一大項。每一大項均可利用CIPP評鑑模式來進行圖書館評鑑，茲試述如下：
（一）背景評鑑：應包括規劃層面的標準，評估圖書館工作目標是否符合圖書館經營管理，如工作計劃制定過程、計劃內容、實行情形及圖書館發展特色等。圖書館評鑑目的在於應用評鑑的工具，就圖書館成立的宗旨與業務目標，機構經營現況之問題與困難，加以分析評比，以瞭解圖書館經營績效。評鑑對象亦是一個重要因素，使每個機構都有被評鑑的機會。 （二）輸入評鑑：評估為達成圖書館評鑑目標所投入的資源及運用情形。輸入評鑑時首重需求，它可以4個W和一個H方式來達成：（註23） 1.Who誰是圖書館的讀者與潛在讀者？什麼吸引讀者、圖書館的什麼資訊滿足他們的需求？誰可測量這些因素？
2.What什麼是他們所需的資訊？10至15年內什麼是讀者所需的資訊？
3.How他們如何得到資訊？可以建立所謂的資訊模式嗎？如何發展建立資訊需求、資訊利用及資訊分析的技能？讀者檢索到的資訊對其有何影響？
4.Where圖書館在何處建立資訊來源？如何及時且有效地提供給不同的團體或讀者？
5.When圖書館應在何時提供資訊服務？其服務時間需為期多長？
經由以上的需求分析，更能依讀者的資訊需求，來提供滿足讀者需求的服務。其次是要掌握評鑑經費，許多機構需經由評鑑了解各種活動是否達到預期目標與效果，故應明列預算、經費來源（固定經費、募款基金）、支出的項目和明細表等相關經費。再者是有良好的工作組織，包括計劃人員及工作人員。計劃人員應具備評鑑及規劃能力、能邀請專家或相關人員參與規劃；而工作人員最好能每個人均能參與。
（三）過程評鑑：過程評鑑考定期提供回饋，評估工作任務之掌握與推行情形，包括圖書館相關措施、活動與服務。要掌握實施過程中是否按工作計劃進行，如計劃之細節、流程、組織架構、工作職掌、預期目標等工作目標。
（四）成果評鑑：評估工作目標的達成情形，包括館員與讀者之認知、情意與技能等方面的成果與表現，服務績效產生的價值等。圖書館評鑑中輸入工作人員、物質資源、環境（科技與經費等）、讀者需求的基本元素，經過過程評鑑定期考核提供回饋後，則可產生快速的服務、滿意的服務及館員的滿足的成果評鑑。
要言之，CIPP評鑑模式是以敘事體說明評鑑的計劃，重點置於結果的分析與報導。它是以「多種」的研究法達到評量的目的。圖書館評鑑若依目的、範圍與方法區分，可分為總體的調查統計；檢查性的評鑑報告；管理統計和績效評鑑及各項目的評鑑研究等。其中前三種屬於評鑑工作，後一種為評鑑研究。評鑑工作是以了解現況或比較現況為主，通常有一預先準備的考核項目單等，包括館與館間的比較、目標和成果比較等。評鑑研究則以特定問題為導向，利用適合的研究方法，蒐集資料、分析資料，以回答特定問題者。（註24）不論是評鑑工作或評鑑研究均可應用CIPP評鑑模式來進行。表二是將CIPP評鑑模式應用於圖書館之項目一覽表
表二、CIPP評鑑模式應用於圖書館之項目
一般資料需求 |
評鑑所需蒐集之資料 |
蒐集資料方法 |
|
背景評鑑 |
需 求 問 題 機 會 預 期 目 標 |
1.評鑑需求調查 2.當事者對選定的評鑑 目的之評定 3.評鑑目的與標準、需求等相關分析 |
|
輸入評鑑 |
代替性計劃 活動、人員、進度、預算等 |
|
2.檢閱相關資料 3.檢視計劃與初步審查 |
過程評鑑 |
計劃實施、參與的程度、滿意的程度 |
|
1.活動評量表 2.會議記錄 3.簡報 4.訪視、實地參觀
|
成果評鑑 |
效果（預期與始料未及，正負面、短期與中長期） |
利用評鑑做決策和績效的證據 |
1.計劃前後之自我評鑑表 2.工作成果 3.可同時從事質與量的分析 |
伍、結論
評鑑的功能為診斷、修正服務，比較預測讀者需求，確定達成目標的程度，而這些功能的最終目標是在回饋圖書館設立時的服務宗旨，藉以改進缺失，幫助讀者找尋所需資訊與營造自學環境，這也正是圖書館評鑑的目的。它既是圖書館經營重要一環，未來評鑑應朝以下幾個方向努力：
一、評鑑的主體方面：應從教育部等外在團體的評鑑提升為專業/學術團體或自我評鑑的層次。
二、評鑑目的方面：應從傳統的「做為經費補助的依據」提升為「協助圖書館發現問題、診斷問題與解決問題」。
三、評鑑時間方面：應從短期的評鑑轉移為長期性的工作。
四、評鑑重點方面：應從目前的「外部評鑑」提升為「內部評鑑」。
五、評鑑方法方面：應從目前重「量的評鑑」轉移為「質的評鑑」，並善用教育評鑑中常使用的評鑑方法如CIPP評鑑模式等。
總之，圖書館評鑑未來一定是會被重視的一環，吾人若能深入研究其他領域的評鑑方法，再加以應用於本身專業中，則「他山之石，可以攻錯」，圖書館評鑑將可綻放出更好的成果來。
註 1：江啟昱，「CIPP評鑑模式之研究」（碩士論文，國立臺灣師範大學教育研究所，民國82年），頁2-3。
註 2：邱淵，教學評量（臺北市：五南，民國78年），頁480-481。
註 3：黃政傑，課程評鑑（臺北市：師大書苑，民國76年），頁13。
註 4：陳瑞榮，「工業職業學校教師評鑑模式之研究」（碩士論文，國立臺灣師範大學工業教育研究所，民國84年），頁18-22。
註 5：楊美華，「中央研究院民族研究所圖書館評鑑報告」，中國圖書館學會會報
44期（民國78年6月），頁28。
註 6：黃炳煌，「大學自主與大學評鑑」，在大學評鑑（臺北市：五南，民國86
年），頁51-58。
註 7：Joint Committee on Standards for Educational Evaluation, Standards for Evaluations of Educational Programs and Materials（New York ：McGraw-Hill, 1981）
註 8：湯志民，「視導與評鑑」，在學校行政，蔡保田主編（高雄市：復文，民國77年），頁424-426。
註 9：同註4，頁25-26。
註 10：許博超，「博物館觀眾研究的評鑑類型與原則」（碩士論文，國立臺灣師範大學美術研究所，民國83年），頁15-16
註 11：黃光雄，教育評鑑的模式（臺北市：師大書苑，民國78年），頁188。
註 12：同上註，頁192。
註 13：同註1，頁42。
註 14：王文科，教育研究法（臺北市：五南出版社，民國83年）。
註 15：胡悅倫，「方案評鑑及其研究方法之運用與省思」，在教育評鑑（臺北市：師大書苑，民國84年），頁113。
註 16：T. Plomp, H. Huijsman, and E. Hluyfhout, Monitoring in Educational Development
Projects：the Development of a Monitoring System,” International Journal Educational
Development12（1992）：66.
註 17：同註14，頁130-131。
註 18：游家政，「國民小學後設評鑑標準之研究」（碩士論文，國立臺灣師範大學教育研究所，民國83年），頁233-238。
註 19：同註11，頁196-197。
註 20：馬信行，「大學評鑑指標適切性之評析」，在大學評鑑（臺北市：五南，民國86年），頁101-102。
註 21：同註5。
註 22：吳美美，「演進中的圖書館評鑑工作與評鑑研究」，教育資料與圖書館學 34卷1期（民國85年9月），頁41。
註 23：Peter Hernon and R. McClure, Evaluation & Library Decision Making （N. J. :Ablex pu., 1990）：3.
註 24：同註22，頁49-50。
參考書目
Hernon, Peter and R. McClure. Evaluation & Library Decision Making. N. J. :Ablex , 1990.
Phillips, Steven. Evaluation. London : Library Association ,1993.
Joint Committee on Standards for Educational Evaluation. Standards for Evaluations of Educational Programs and Materials. New York：McGraw-Hill,1981.
黃光雄。教育評鑑的模式。臺北市：師大書苑，民國78年。
邱淵。教學評量。臺北市：五南，民國78年。
中國教育學會主編。教育評鑑。臺北市：師大書苑，民國84年。
陳漢強主編。大學評鑑。臺北市：五南，民國86年。