邱雅暖 Ya-Nuan Chiou

國立中正文化中心表演藝術圖書室

Performing Arts Library of National Chiang-Kai Shek Cultural Center

為使能在有限資源下發揮最大效能，參考服務品質評估之研究隨著參考服務範圍與內容之日趨廣泛、圖書館資源有限之壓力日增而日益受到重視。過去參考服務品質評估所使用的方式相當多樣，除重視「量」而非「質」之評估指標外，亦多從館方角度而非使用者角度進行評估。然為真正改善參考服務品質，唯有從讀者角度對服務進行確實的評估，始能有效掌握讀者需求。有鑑於參考服務中最重要的即為「問題解答」，而近30年來經常為研究者所使用的「調查者不介入評鑑法」即主要以參考服務中解答問題之正確性及館員之行為為評估重點，並且是從讀者角度進行的評鑑方式，其開啟了參考服務應用不同品質評鑑方式之先。因此本文冀期探討該法之特質及其於圖書資訊學領域之應用，以對未來參考服務之評鑑帶來實際助益。

關鍵詞：調查者不介入法；參考服務評鑑；服務品質評估。

Keywords：Unobtrusive；Reference service evaluation；Service quality evaluation.

圖書館哲學家阮甘納桑(S. R. Ranganathan)早在1931年便已揭櫫圖書館之讀者導向經營本質，其圖書館五律充分彰顯圖書館「因利用而存在」的服務導向經營理念（註1），明確點出「讀者」是圖書館的主角；「服務」才是圖書館的終極目標。而任何組織活動，尤其是服務，必需透過持續的改善提昇品質，以適應時代變遷；持續的改善乃為品質管理之核心，而適當的「評鑑」則是於持續改善過程中用來「診斷問題」，獲知服務滿足顧客需求程度，以得到必要之改善依據的必要過程。圖書館的參考服務亦不例外，參考服務之評鑑除應成為圖書館中例行性、長期進行的作業外，也正因其讀者導向之本質使然，尤必須重視讀者之觀點。對圖書館而言，建立適切的評鑑系統是基本的考量，而選擇合適的評鑑方法，謹慎地搜集、分析資料，則更是評鑑程序中極重要之一環。

自1960年代羅斯坦(Samuel Rostein)大力提倡參考服務的評估後（註2），參考服務品質的評鑑開始普遍受到圖書館界之重視，就圖書館讀者導向的服務理念而言，評鑑是相當重要的一環，尤其是從讀者的角度來評鑑更是有意義。然早期圖書館服務績效之評鑑多認為擁有較大的館藏量、較多的館員、較高的預算、借出較多的圖書、回答較多的參考問題等就是比較好的圖書館服務績效，這基本上根植於一個「數大便是美」的假設詮釋，且完全是從館方業務評鑑角度著手。不少學者對這種將量化評估和圖書館服務品質評估混淆的研究結果提出質疑，認為這類的績效指標頗有可議之處，因此，隨著時代的演進，圖書館參考服務評鑑研究之趨勢，從早期的量化評估觀念開始逐漸轉而從讀者對服務品質評估的角度著手，而開始有使用者滿意度、參考館員態度與行為等評鑑研究的出現。

凱茲(William A. Katz)認為參考服務最重要的本質即是「回答問題」，意即讀者向參考館員提出問題，而由館員提供答案或指出如何尋求答案的一種過程。因此對解答問題之過程進行評估，乃為參考服務評鑑中的重點，調查者不介入法(unobtrusive)用在參考服務評鑑上，主要即是對參考服務回答問題之正確性及過程進行評估，是從讀者角度評估參考服務品質之重要方法之一。本文期先釐清與評鑑有關之幾個名詞，並對整體參考服務評鑑的概念建立基本的認知，接著再對近30年來國外圖書館界經常用來評估參考服務正確性的「調查者不介入法」進一步作較完整的介紹，分析其特質與內涵，並探討該法運用在圖書館參考服務評鑑的實際情形與實施限制，冀期對該法本身與在圖書館參考服務之應用有較完整的認識，以對未來圖書館理論上、實務上的應用帶來實際的助益。

在進入圖書館參考服務評鑑之主題前，我們必須先釐清幾個與評鑑相關之名詞意義，此將有助於對整個評鑑過程的了解。

在文獻中，圖書館服務的評鑑(evaluation)與衡量(measurement)二詞經常混合出現，然二者在意義上其實是有差異的。簡單來說，所謂的「衡量」乃指在共通接受的標準化原則下，利用數字來描述或呈現一些主題或現象的過程。而「評鑑」則指評估某活動之效率與效能，並以特定的標準來作價值判斷的系統化過程。故評鑑實包括了衡量再加上研究過程、計畫及實施改善或改變策略等內容。可謂「衡量」引導「評鑑」之進行；而「評鑑」則需有「衡量」作依據。（註3）

「評鑑」主要是為了解用來達成某些目標所設計的活動其所獲得的成果。簡單來說，評鑑可由以下幾個過程組成：決定計畫目標、轉譯建立目標達成的可評量指標、利用這些指標收集資料、將所蒐集的資料與原設定之目標準則作比較，獲得評鑑結果，依據結果進行變革。由此可知，評鑑是針對已發生的活動而做，故應用到圖書館的服務方面，則評鑑要處理的即為輸出的部份---讀者所接受到的服務。（註4）

從研究導向來看，評鑑所強調的不僅是研究中的資料蒐集分析，更強調必須利用研究結果提出改善策略確實實施改善行動，衡量則是評鑑過程中的一部份，有助於評鑑作業之進行。因此，圖書館參考服務品質的評鑑不僅是輸出導向，更是輸出之成果導向。

提到評鑑研究，便不能不提到績效衡量(performance measurement)或服務成效衡量(output measurement)這兩個名詞，這兩者可說是評鑑研究之主流。績效衡量為圖書館學中評鑑研究的一種，先驅藍開斯特(F. W. Lancaster)認為所謂「績效衡量」乃是「評鑑及比較圖書館達成目標之量化說明，藉此判斷業務執行是否有所改善，改善是否符合所需，又改善的程度範圍如何。」主要是從館方的角度進行之評鑑作業。後來史衛許(Swisher)與麥克克勞爾(C. R. McClure)又加入效能、決策與資源分配的觀念，使績效衡量包含輸入、過程、輸出、影響項目等整體概念而更趨完整。1970年代是「績效衡量」觀念發展極重要的階段，1980年代以後，則為「服務成效衡量」取而代之。「服務成效衡量」是以使用與使用者為導向，完全強調服務輸出的成效部份，如服務項目、開放時間、館際合作需求的滿意度等。故嚴格來說，績效衡量範圍較廣，指任何評估圖書館效率與效能的評量類型。服務成效衡量則為績效衡量的一種，較重視服務之有效性和品質。（註5）

圖書館參考服務的核心目標在於「提供正確、適當、即時的答案給提出參考問題的讀者」，此同時也是圖書館存在之主要任務。由此核心目標明確指出成功的參考服務乃由館方與讀者間有效的互動關係所達成，此過程為一結合資訊、館員及讀者之作業，適當且充足的館藏為經，人員之專業與服務熱忱為緯，經緯並重，始能締造成功之參考服務。而為能提供與時俱進，因應時代潮流、讀者需求之參考服務，更是有賴參考服務本身不斷地改進始能達成，然何處需改進？何時應改進？如何改進？皆需靠有效的參考服務評鑑進行實證研究來為館方找出解決之道。

當參考館員不能真正了解其所提供的參考服務整體品質如何時，往往會形成館員錯誤的假象與態度，認為目前的問題解答大多是正確且即時的，認為所提供的參考服務已達到服務的目的，認為現有的能力已經足夠，不需改進，種種態度長久下來即會形成參考服務品質提昇的障礙，有鑑於此，與其等到受讀者或其他外在的壓力被迫審視服務品質，圖書館或館員本身不如主動定期對服務品質進行評估，更可收事半功倍之效。故參考服務品質評鑑實有相當之必要性，且應列為長期規劃項目，成為圖書館的例行性事務。

參考服務工作是圖書館工作中直接負責輔導讀者尋取資訊，及利用圖書館資源以從事研究工作的一種任務（註6）。參考服務為讀者服務的中心，其服務範圍從簡單問題的回答到進行嚴謹的文獻查詢協助均包含在內，內容多樣，大致上可以分成諮詢服務、快速參考服務、線上資訊檢索服務、利用指導、參考工具的蒐集與製作等。向來參考服務品質之評鑑多半由圖書館內部人員或研究者進行，其意義為「評估參考工作中各項活動之效率與效能，並以預設之目標標準進行判斷之系統化過程」。

正由於圖書館的參考服務是面對讀者的第一線，故參考服務品質實為圖書館服務品質的基礎，其品質的好壞足以影響整個圖書館的形象與讀者再使用的意願。高品質的參考服務，有助於建立良好的公眾關係，吸引讀者繼續至圖書館使用；反之，則將破壞圖書館形象，使讀者不願前來使用。隨著科技的進步，加上圖書館面臨人力、經費不足之窘境，為使能在有限資源下發揮最大效能，圖書館的績效評估開始逐漸受到重視；參考服務的評鑑研究也因應圖書館服務績效之被重視而相繼產生，圖書館界漸認知到唯有對所提供的服務工作進行確實的評鑑後，才能有效掌握服務對象的需求，做為改善參考服務品質的依據。然傳統所進行的圖書館服務評鑑常強調服務內部的事物，著重的是輸入與輸出的部份，例如擁有的藏書量、在服務上所花費的金錢以及提供給讀者的座位數、回答多少問題等。從1970年代產生的諸多標準如公共圖書館標準、公共圖書館參考服務標準等即可見一斑，著重的均為服務的輸入與輸出的量化層面，對於從圖書館角度來評鑑專業服務品質而言雖有助益，但此類標準卻忽略了服務的主體-----讀者的層面。有鑑於此，未來圖書館參考服務績效之評估應更著重的是參考服務成效的品質評鑑，並重視讀者的使用滿意度評估。

愛倫(Bryce Allen)認為評鑑主要目的是為改善，其動機有三：（註7）

1. 洞察目前服務的實際情形，進而改善服務的品質，或對服務的目標與政策作修正。
2. 為有效地管理資源：從經濟效益的角度來看，評鑑的結果有助於將人力與物力之分配調整至更合理而有效率。
3. 政治性的考量：評估結果可做為圖書館爭取支持與證明價值的依據。

此亦即為圖書館中服務評鑑作業之目的，先驅藍開斯特(F. W. Lancaster)認為「圖書館服務評鑑為一管理工具，用來瞭解圖書館滿足讀者需求之效能與效率，找出服務之限制與失敗點，提出改善的方法。」（註8）同理，參考服務評鑑則主要是為獲知參考服務達成預期目標之程度，瞭解參考服務之缺失所在，以進行改善，因此最終目的即是在增進參考服務的品質。

參考服務評鑑相關的研究相當多，評鑑的方法亦不少，諸如使用者調查法(patron survey)、調查者介入法(obtrusive)、觀察法(observation)、晤談法、調查者不介入法(unobtrusive)、質化研究、個案研究等均是，儘管不同的評鑑方法其分析、形式、重點均有不同，然其最原始目的都是為了得知參考服務滿足其服務對象需求之程度，例如：欲了解使用者以那些標準來判斷參考服務之有效性(effective)？重視的因素為何？欲知道參考館員表現的差異性，影響參考服務品質的因素有哪些？而評鑑的最終目的則是在增進參考服務的品質。

從系統分析的角度來看，參考服務可由「輸入資源」、「過程」及「輸出結果」構成。讀者向館員提出問題（輸入）；館員確認其需求並尋求回覆（過程）；讀者獲得回應（輸出及成果）。（註9）茲以表一臚列這三部份中的變項：

表一：參考服務內涵

表一中每一個組成部份中的變項都可以是參考服務評鑑研究的內容。以參考館藏的評鑑為例，其評鑑準則即包括了時效性、有用性、權威性、數量四類，所採用的評鑑方式則包含了量化與質化的評鑑方式。另外，在參考服務評鑑研究中佔極大比例的參考館員評鑑，其評鑑方式則主要有館員的同儕評鑑、自我評鑑以及從館員行為來評鑑館員達成參考服務目標的成功率等三種。由此可知，參考服務的評鑑實為一相當複雜之作業，涵括層面相當多，而因應評鑑變項之不同，即需不同的評鑑方式。調查者不介入評鑑法即是經常被用來評鑑參考服務解答問題正確性之一有效評鑑方法。

大多數的學者均認為，參考服務評鑑作業的進行，必須就圖書館參考服務的服務哲學、任務及目標先作整體且全面的分析，並以此做為最高指導原則。在實際的執行方面，筆者根據羅賓斯及史威京(Jane Robbins & Douglas L. Zweizig)所提出的評鑑模式，配合其他評鑑文獻中所得，將實際的參考服務評鑑步驟歸納如圖一所示：（註10）

圖一：參考服務評鑑之步驟

成功的評鑑首要步驟是正確地陳述所要評鑑的活動目標，該目標之陳述必須是清楚的、特別的以及可評量的。一旦近程、中程及最終的目標清楚地陳述後，才能夠進一步地規畫各種評量方式。

選擇適當的評鑑方法乃是評鑑工作的核心，良好的評鑑方法要能配合評鑑的目標及該研究的特殊考量，需具備之一般條件有：1.有效性2.可信性3.善用原有的設備4.要能評估整個參考服務中的多元因素5.包含足夠的輸入、過程及成果因素，使得投入與效果間的關係凸顯6.實際可行性。

而進行整個參考服務評鑑時需考量的因素則有：（註11）

1、圖書館本身的特色：瞭解該館館員數量、館藏大小、服務特點等因素，才能選擇適合該館的評估工具。

2、館員的參與評鑑：在發展參考準則與決定評鑑方法之際，館員的參與可以促進參考部門中民主精神的實踐，並且可以提高最後結果被接受的程度；館員藉著參與亦可以更了解參考部門的目標，認知所謂好或壞的參考行為，有助於最終參考品質的改善。

3、參考部門目標的確立。服務目標的設立對於評鑑過程有相當之幫助。

4、樣本的選擇盡量以低誤差為主。

在選定評鑑及蒐集資料的方法後，繼之便是實際執行的工作。包括安排小組成員各自負責的工作、計算成本、時間規畫、訓練等，繼而執行之，獲得所需資料。參考服務之評鑑需是彈性的，在執行過程中，可隨時因應需求對該方法作必要的修正。且必須建立的共識是：評鑑作業的進行是持續性的，為一不斷進行之循環過程，每次根據評鑑結果改進服務後，即為另一次新的評鑑開始。

從圖一中可知，參考服務評鑑的第二個步驟即為制訂適當的評鑑指標，評鑑指標乃為根據所設定的長程目的，進一步擬出過程中實際欲達成之目標，此目標必須是可衡量的，例如生產力的提昇。有效的參考服務評鑑有賴於適切指標的設定，一般而言，參考服務評鑑的標準有四面向：（註12）

1.經濟面的評鑑：為生產力的評鑑，例如一位館員在一小時內可以解決多少參考問題？

2.服務過程的評鑑：例如讀者是否對服務接觸過程品質感到滿意？

3.取得資源能力的評鑑：例如圖書館今年增加多少新的資料？

4.服務結果品質的評鑑：例如答案的正確性。

不同的研究者，因目標不同、對象不同，所採用的標準也會不同，如管理者可能著重的是服務的量（人員數量），館員則較著重的是服務過程，而讀者在乎的可能是服務的結果。而每個圖書館都應因應不同之評鑑目的選擇適合該館評鑑作業的評鑑指標，並將之具體化，此乃做好參考服務評鑑的重要條件。而藉由評鑑參考服務的成果，並分析其經濟效益，更可以幫助館員規畫及掌控所有計畫與服務。圖書館界的服務評鑑工作與研究由來已久，但過去多從圖書館角度出發，並以量化的評量為主，由於這些從館方立場出發的量化評鑑標準對於服務成效之認知意義有限，因此當強調服務的「成效」層面的「服務成效衡量」法出現，即成為評鑑參考服務極受矚目的方法，該法可讓館員或其他資訊專家從不同的角度不同的標準去檢視參考服務的品質，尤其是強調從讀者的角度去檢視，而非僅將館藏大小或完整性與品質劃上等號。調查者不介入參考服務評鑑即為服務成效衡量中的一種方式，乃從讀者角度去評鑑參考問題解答之正確率以及館員之行為，著重質的評鑑。

從參考服務評鑑整體之研究發展趨勢來看，未來參考服務品質之評鑑將轉而重視使用者滿意度的觀點，強調由使用者角度來評鑑參考服務品質，其研究趨勢亦將以使用者滿意度報告為主流。其他重要的發展趨勢，則有以下幾點：

全面品質管理（TQM，Total Quality Management）觀念發源於美國工商管理界，而開花結果於日本。其定義是「利用計量方法配合人力資源來增進一個機構，及機構內部全部作業，和顧客對所提供的產品與服務的滿意度」（註13）此為一顧客導向的管理方法，強調有效運用人力資源與數量統計法，並以不斷改進來提昇產品與服務品質。從定義顯示，全面品質管理同時強調計量方法和人力資源，而不獨偏廢某一法，實為兼取並容之新理念，並以持續改善之觀念為核心。由此觀念來看，要提昇參考服務品質必須先建立重視讀者滿意度之理念，品質管理的中心旨意，即在爭取顧客對產品或服務的信任心與滿意度，並將員工與服務對象均視為顧客，在此基礎上透過不斷地改進達到高品質的目標。故為爭取圖書館顧客---「讀者」的信任與滿意，參考服務品質的評鑑便必須以讀者的滿意度為評鑑準則，如此才能確實評鑑出參考服務品質的好壞，有效運用圖書館有限之人力資源提供最佳的服務品質，評鑑對於品質的改善也因此將更具意義。

許多學者均指出至今尚未有任一評鑑法可單獨用在參考服務評鑑而沒有缺失，可見各種評鑑方法在實行上多少均有其限制，因此面對日益複雜的參考服務內容，為完整並有效地評鑑參考服務之各層面，評鑑漸趨向混合型的方式。文獻指出，有越來越多的研究採用二種以上的方法來進行資料的蒐集，例如在個案研究中融入調查者不介入法。因此未來一個完整的評估作業應整合多種技巧，採用多種方法的評估設計，截長補短以臻完善；同時評估的層面也不應僅侷限於某單一層面，才能達到周延、完整、客觀之評估目標。

以美國布蘭迪大學圖書館(Brandeis University Library)為例，該圖書館為評鑑其新的參考服務模式成效，嘗試對各種評鑑方式之實施優劣進行研究，經過分析幾種參考服務評鑑方式後發現，每種評鑑方法均有其實行上的優勢與限制，在完整評估該館新的參考服務成效方面均有其不足之處，故決定採用多種方法的結合，針對每一特定的服務層面採用不同的方法評鑑之，其中包括館員的觀察計畫、參考服務臺的調查者不介入研究以及焦點團體法等方式。（註14）

而美國查理斯敦學院(College of Charleston)圖書館為進行參考服務整體的評鑑，在研究中對於幾種以讀者角度來評鑑的方式作了分析、探討後，也決定採用混合型的評鑑，同時採用（1）與個別使用者深入晤談（2）焦點團體法（3）調查者不介入法（4）使用者調查法等四個服務評鑑的方法，結果並獲得七項評鑑參考服務品質之指標。（註15）

參考服務的評鑑應成為圖書館中定期不斷進行的活動，此已成為圖書資訊學領域學者之共識，而建構正式的評鑑系統以為依循則是迫切需進行的規畫工作。一正式的評鑑系統應分為三階段：準備階段、評鑑階段、組織發展階段。茲簡單歸納每一階段應包括的重點如下圖所示：

圖二

資料來源：Peter Hernon & Charles R. McClure, Unobtrusive Testing and Library Reference Services(New Jersey: Ablex Publishing Company, 1987): 113.

自古迄今，圖書館參考服務評鑑應用的方式很多，因應目的的不同，評鑑的內容與角度也有差異。傳統評估參考服務回答問題的技巧多以記錄參考問題的數量與類型、參考問題所花費的時間與成本為主，然而一來由於理念之差異，不同的人會記錄不同的作業類型，或將不同環境下的參考服務作業情形資料結合，二來傳統從館方立場之量化評估技巧並無法真正評估出服務成效的品質，因此這樣的方式在可信性與有效性方面均受到諸多質疑。而以輸出成效來評估參考服務被後來許多學者認為才是可信且有效的評估方法。

圖書館的服務輸出成效評估之內容包括解答讀者問題之正確率評估、轉介成果之評估或服務傳遞過程之評估等等。而在評鑑解答讀者問題之正確性方面，通常可分為對館員的調查以及對讀者的調查；調查的資訊來源則有三：館員提供答案、讀者接受服務以及由其他人觀察服務過程。調查者不介入法即是主要用來評鑑解答問題正確率之方式，且其資料來源大多為調查館員而來。早期圖書館界有利用問卷法調查到館讀者的資訊需求滿意情形之研究，亦有調查者進行直接詢問館員的研究，然有鑑於被研究者知道本身被研究將影響到回答問題的真實性，為克服此問題，而有「調查者不介入」評鑑方法應運而生，其後二十年間，該法並成為評鑑參考服務解答問題正確率之主要方法。

「調查者不介入」一詞，其英文原名為unobtrusive，國內有學者將之譯為無感式（註16）、溫和式（註17）或非參與式。本文依據圖書館學與資訊科學大辭典以「調查者不介入」做為該名詞之譯稱。（註18）

調查者不介入評鑑法，是指一種被研究主體並不知道本身被評鑑的研究方法。用在對參考館員之評鑑上，即指由調查者假扮讀者，將預先擬訂的參考問題，用電話或親自向參考館員詢問，而受測的館員並不知道評鑑正在進行之評鑑方法。（註19）

該法主要是因應調查者介入(obtrusive)評鑑法的問題而產生。正式利用調查者不介入法評鑑參考問題的研究乃肇始於1967年的克勞禮(Terence Crowley)，克勞禮主要是研究公共圖書館的參考服務成果，其1971年發表之研究文獻（註20）開啟了圖書館參考服務應用不同的服務品質評量方法之先。繼克勞禮之後，契爾得(Thomas Childers)則是此法著名的研究者，認為此法主要是以問題解答的正確性做為測試服務績效的標準，主要用來評鑑參考問題解答之正確性與參考館員的態度。（註21）近十年來，由於該法所採用的理論基礎，已被許多學者認為運用在參考服務評鑑上確能測出真正的服務品質，因此已經成為圖書館評鑑參考服務時經常使用的方法。

在參考服務問題解答正確性之評估研究方面，調查者不介入法的實施基本上是由研究者本人或雇用代理人偽裝成一般讀者，對館員們提出預先擬訂的問題，問題通常為事實性與書目性兩種，且已經過預先測試；在詢問的過程中並記錄相關的活動、服務及回應與態度，再根據事先已建立之評量標準對這些服務記錄予以評鑑，以獲得整體參考活動之品質評估結果，繼而提出改善方法。

負責提出參考問題的偽裝讀者事先必須經過訓練，訓練的課程內容包括測試目的、測試問題、測試過程說明以及館員回答問題過程的記錄、注意事項等。早期大部份的不介入評鑑的實施多藉電話進行，後來則由當面詢問(in-person)方式取代之或二者並行；此兩種方式各有其優缺點，以電話進行評鑑可以較完整地記下整個互動過程，但記錄之蒐集有限；而當面詢問雖可獲得較多資訊，但較難同時記錄，故代理者多半被要求錄下詢問過程，或在離開圖書館後立即將參考過程憑記憶記錄下來。（註22）

調查者不介入評鑑法提供從使用者的立場來評鑑參考服務的品質，為評鑑研究中蒐集資料之一重要方法，在1960-70年代相當盛行。根據該法著名的研究者契爾得所說，調查者不介入法可以視為一種服務品質控制，並且可以應用到各種不同的服務輸出方面。（註23）

而調查者不介入法經常被用在對參考館員之測試，強調受試館員並不知道評鑑正在進行，相對於調查者介入評鑑法而言，此法最大的優點即為可以在正常的情形下，觀察館員的行為、態度及參考晤談的能力，較能正確評估參考服務的品質。

檢視整個參考服務情形，調查者不介入評鑑法可以提供兩種類型的資料。首先，它可以提供關於問題解答過程的資料，獲知使用者對該服務的看法，得知館員的態度是否友善？館員的回應方式以及館員協商的技巧如何等等；其次，可以產生問題解答過程最終的產品，即獲悉館員的回應是否使讀者滿意？答案是否正確？速度如何？等等。

整體歸納來說，調查者不介入法具有幾點價值：

1、可以獲得較正確的評估結果。因館員並不知道本身被研究，故可以在正常的情形下，觀察館員的行為；

2、可量測出館員回答各類型問題的成功（正確）率；

3、該評鑑方法可引導研究者去探究為何某些形式的問題無法正確回答，而有進一步的分析研究產生；

4、提供從讀者觀點檢視圖書館服務的方法；

5、在決策與管理策略方面，可提供實徵性資料，做為服務品質改善的依據。

綜上所述，調查者不介入法確實為圖書館的參考服務評鑑，提供了一個相當有效的工具，在該法適用的研究課題方面，該法最主要的評鑑面向即是解答問題之正確率以及館員行為的評鑑，而該法亦可應用到圖書館參考服務其他課題之評鑑上。茲臚列參考服務可利用調查者不介入法進行評鑑之細項課題如下：（註24）

1.解答親自到館詢問之參考問題的正確性。

2.解答電話詢問之參考問題的正確性。

3.轉介的正確性與適切性。

4.館員協商能力運用之成功率。

5.館員非口語溝通或其他人際溝通技巧的使用。

6.在服務提供過程中，資訊資源的使用情形。

7.參考服務的持續時間。

8.不同類型、背景與訓練的館員服務品質之比較。

9.為解答問題的參考工具及策略之選擇與使用。

因此除了用在面對面解答參考問題正確性的評鑑外，在圖書資訊學領域中，該法還可以運用到其他如轉介服務、書目利用指導、資訊傳遞服務、資訊選粹服務等廣義參考服務面向之評估。而因應圖書館參考服務之範圍廣泛且內容趨於複雜化，有愈來愈多的評估開始採用多元化之資料蒐集技巧，可看出未來參考服務評鑑方式有走向多元化、混合性之趨勢。而該法也可以結合其他研究方法如觀察法，或新技術如作業記錄(transaction log)分析來作評鑑應用，使研究之範圍與空間更廣泛，為圖書館提供更完整的參考服務品質評鑑。（註25）

圖書館界進行的調查者不介入參考服務評鑑法研究，基本上可以大致分為對圖書館館員的評鑑與對圖書館使用者的評鑑；而所使用的技巧，則包括測試與觀察。茲以圖三說明之：（註26）

圖三：調查者不介入法在圖書館的應用類型

資料來源：F. W. Lancaster and C. W. Cleverdon, Evaluation and Scientific Management of Libraries and Information Centres (Leyden:Noordhoff, 1977):42.

1. 測試圖書館館員：這一類型已有許多使用調查者不介入測試之實例出現。可用來測試館員具備的特殊參考工具知識、回答問題的正確性或不同的人際與問題協商技巧的使用等。
2. 測試使用者：此面向是將使用者利用圖書館解決其資訊需求的步驟具體化，館員藉此可評估使用者對圖書館的認識、檢索技巧、能力及評價。
3. 觀察圖書館館員：要利用調查者不介入法評鑑館員的績效品質，有計畫地觀察館員的活動是最容易且直接的。此法是由代理者坐在參考桌前或另一張服務臺，觀察並記錄館員的活動，如此可以獲得有關該館員所提供對服務品質有價值的評估資訊。
4. 觀察使用者：採調查者不介入式觀察並記錄使用者利用卡片目錄、微縮影片或其他設備的情形，為此法最常見的應用。

近30年來，利用調查者不介入法進行的參考服務評鑑研究相當多，從1988年克魯斯(Kenneth D. Crews)整理的歷年來之調查者不介入評鑑研究（見附錄一）可見一斑。早期該法著名的研究先驅契爾得(Thomas Childers)主要的研究是於紐澤西州選出25個公共圖書館樣本，以26個不同類型、不同主題的參考問題，詢問各時段的參考館員，得到的結果為55%的問題解答正確率（註27），其後因利用此法的諸多研究所獲結果類似，故有著名的「55%原則」形成，而圖書館參考服務績效不佳的說法以及對該法之批評亦於焉產生。為確實瞭解該法以及55%原則在圖書館服務品質評估上之代表性，研究者唯有深入瞭解該法之運作方式，以及55%原則背後之理論基礎，始能獲得更多有關圖書館參考服務績效之有力訊息，甚至反駁批評之證據。

從文獻分析中可知，以調查者不介入法進行參考服務評鑑的研究於1980年代以後漸增，本文將以兩研究實例做說明，以瞭解該法之實施情形。著名的賀諾與麥克克勞爾(Peter Hernon & C. R. McClure)在此方面陸續進行之一系列研究，頗具特色與權威性，故首先即擇其1985年之研究為代表介紹之，其評鑑對象為公共與學術圖書館，其研究前提認為「正確解答滿足率為評估參考服務有效性之關鍵指標」，研究中所使用的測試問題以簡單的事實型與書目型的參考問題為主（見附錄二）。其次，將介紹1989年米爾尼(Milner)圖書館的評鑑研究，該館的研究可以做為單一圖書館參考服務評鑑研究之代表。

「實例一」：（註28）

1989年米爾尼(Milner)圖書館的調查者不介入研究以及1990年猶他州奧倫公共圖書館 (Orem Public Library)實施的「問題--協商」技巧的調查者不介入評鑑分別都是針對單一圖書館的參考服務評鑑。米爾尼圖書館之調查者不介入研究與其他研究不同之處在於：

1. 此項研究是為獲得在單一圖書館中的資料，與之前大多數研究比較各個圖書館之作法不同。
2. 此研究共包括190個參考的作業過程，為在單一圖書館中最大的調查者不介入參考服務評鑑研究。

「實例二」:（註29）

歸納20年來的調查者不介入評鑑研究之結果，共同的結論包括以下數點：

1.圖書館人員回答測試性參考問題之正確率低，僅有一半左右；

2.圖書館人員並不常提供轉介，不管是內部或外部單位；

3.搜尋過程的時間越長，並不會增加獲得正確解答的可能性；

4.有些館員的人際溝通技巧有限，造成處理公眾問題上的障礙；

5.館員通常無法作良好的問題協商(negotiate)。

6.平均館員回答事實性與書目型問題時間不會超過5分鐘。

其中，重要性與影響力較大的二項研究結果為「55%原則」，以及「影響參考服務問題解答品質之因素」，茲分別簡述如下：

根據大多數調查者不介入法評鑑的研究結果顯示，參考館員解答問題正確性的比例約只有55%~60%。也就是說，在對圖書館提出的所有問題中，只有約一半至3/5的問題會獲得正確的答覆。其所謂正確率的算法為：

正確解答數量

問題提出數量

而所謂不正確的答覆，則包含了館員沒有回答以及回答錯誤的情形。因受到後來相當多研究結果之驗證，使得「百分之五十五正確率」就如同楚斯威爾(Richard Trueswell)所提出的「20~80法則」一樣，也被稱為一種法則，造成多數人認為圖書館所提供的參考服務均是「半對的」(half-right)服務。此原則剛提出之際，造成許多館員的震撼，也引發相當多的質疑。事實上，單以此一原則做為判斷服務品質的標準是不夠周延的，因為沒有任何根據支持55%以下的解答正確率就是差的參考服務；或是55%以上的解答正確率就是好的參考服務品質。

如前所強調，評鑑之主要目標與精神在於改善，因此評鑑結果應與隨後的改善一併探討，才有實質之意義。評鑑者應當藉由評鑑試圖找出影響參考服務品質之重要因素，以便就如何改善與提昇服務品質提出建議。從許多調查者不介入研究結果中，可得到許多影響問題解答正確性之因素，歸納多位學者的研究結果，影響參考服務問題解答品質的因素大致有如下數項：（註30）

1. 影響讀者問題產生並提出之機率因素：此部份包括個人之教育、學科背景、興趣、經驗，以及學術與知識水平、尋求解答之動機、對圖書館之了解等影響因素。
2. 影響圖書館接受與否之因素：包括使用者與館員之溝通，以及圖書館之政策因素。

而影響解答正確性之因素亦可以區分為資源（館藏量、人力資源、設備）、需求（接觸形式與忙碌性）以及行為（協商技巧、興趣、追蹤、體貼等）三大類；根據葛爾斯與西瓦德(Ralph Gers and Lille J. Seward)於1983年對馬里蘭地區公共圖書館系統所進行的研究顯示，其中行為因素對於正確解答滿足率之影響最大。依據此研究結果，我們即可針對館員的行為方面提出實際的品質改善策略與作法，以確實提昇整體服務之績效。（註31）

貝雷(Bill Bailey)指出調查者不介入評鑑法的缺點有：（註32）

1、觀察者的偏見(observer biases)

對擔任觀察角色的代理詢問者所實施的訓練，並無法完全克服觀察者個人的偏見，而影響研究之結果公正性，此亦為質化評鑑本身的一項特色。故必須有第二個觀察者或另一組觀察者作比較，或兩種方法進行對照，才能得到更公正的結果。

2、解答正確與否的主觀性判斷問題

如何判斷館員回應答案之正確性？當館員回答的答案只有部份正確，此時，判斷正確與否的權利便落在進行調查的偽裝讀者身上。為減少主觀判斷帶來的研究不公正性，契爾得(Thomas Childers)曾建議在每個問題提出前都應先建立所謂「成功」的標準，例如，明訂解答中必須含有那些關鍵字語，若無，則屬於不正確的解答。以葛爾斯與西瓦德(Ralph Gers and Lille J. Seward)的研究為例，該研究於問題提出前即訂出判斷解答正確性之10級標準（註33），即有助於調查者更能夠控制所獲得解答之正確率記錄。

3、道德感的質疑

道德問題是此法最受爭議的一點。雖然受試館員事先已經知道將被評鑑，但卻不知何時進行評鑑，因此在不知情的情況下進行評鑑，引發許多文獻對道德問題的探討。有些學者認為此法並不尊重館員的隱私權（註34）；有些則認為參考館員所擔任的是公眾職務，原本即於大眾目光下工作，故並沒有所謂隱私權侵犯的問題。

4、測試的問題代表性不足

調查者不介入參考服務評鑑是以事實性與書目性參考問題解答之正確性為主要評鑑重點，而忽略一般常於參考櫃檯出現的諮詢或研究等參考問題，故並無法代表所有真正的參考問題。契爾得即明確指出事實性與書目性參考問題兩種問題約僅佔所有參考問題之八分之一。（註35）著名的Wisconsin-Ohio參考服務評鑑計畫結果亦提到，調查中所使用的事實性問題僅能代表讀者親自到館詢問問題的四分之一。（註36）因此問題之代表性為此類研究必須進一步解決的課題。

5、解答之正確性可能並非整體參考服務品質的關鍵

調查者不介入研究方法之前提假設為：「正確性」是整體參考服務品質的關鍵，而事實上，經過諸多調查顯示，影響參考服務品質之最重要因素乃是館員的行為與態度。故此假設前提有重新檢視的必要。

6、此法十分耗時費力，成本高。

1、問題的設計與選擇

問題的設計與選擇向來是調查者不介入評鑑研究中最耗時間與精力的部份，而大多數解答失敗的原因便在於樣本問題的設計不理想，懷特拉契(Jo Bell Whitlatch)指出調查者不介入研究必須發展出較具代表性的參考問題，才能獲得有效之結果。因此，在設計測試性的參考問題時，應注意考慮問題的廣泛性，以真正測出客觀結果。

2、代理詢問者的選擇與執行

代理詢問者在此類研究中扮演關鍵之角色，一方面由於偽裝的讀者其利用參考服務的動機，原本就與真實讀者之動機不同，故可信性有限。（註38）再者，代理詢問者的招募與選擇除不易外，亦是導致研究品質不易控制的來源。因此無論代理詢問者是誰，都必須參與、投入並接受廣泛的訓練。且在評鑑過程中，研究者有責作全程的掌控，並對其記錄的資料作再次的確認。

3、過程的逼真性

在詢問過程中，代理詢問者是否能夠神態自若，不使館員感覺被測試是相當重要的；另外，代理詢問者是否能忠實地記錄整個參考服務的過程、參考答案及參考館員的態度，也是研究成功與失敗的關鍵。

4、資料品質的問題

調查者不介入參考服務評鑑的成敗，與代理者是否能詳實地記錄整個過程有極大的關係。通常當面(in-person)的詢問要詳實記錄整個評估過程較電話詢問方式困難。因此詢問者需以錄音方式，或在離開圖書館後立即整理所有過程記錄；而採用電話詢問雖然可以同時作記錄，但是卻無法實際觀察到館員解答問題的過程。這種種因素均會影響到所收集的資料品質，根據麥克克勞爾的說法，資料的品質問題，可從信度、效度與實用性標準來進行資料品質分析。（註39）

從歷年之研究得知，近30年來，利用調查者不介入法進行參考服務評鑑之研究日益增加，且研究者多肯定該法應用在參考服務的評鑑確有其價值，對於評估參考服務中解答問題之正確性，與解答問題過程之服務而言，此法不斥為一個重要且實用的資料蒐集方法。然經過多年來許多研究的使用與驗證，許多從事參考服務品質評鑑之學者亦發覺到該法應用之諸多限制與缺點，而由於該法的應用主要乃僅針對館員回答事實型及書目型參考問題之正確性作評鑑，故可以說只是對參考服務內容中之單一層面作評鑑，對於整體參考服務品質的評鑑而言，該法確顯周延性不足。當然如僅以其研究結果中之55%原則，來宣稱圖書館的參考服務均是半對的說法，則更是明顯有代表性不足的問題存在。根據學者們的研究分析結果亦知，目前尚未有任何評鑑方法可以單獨用來評鑑整個參考服務的績效而不發生缺失，因此為使能更完整、周延地評鑑參考服務品質，參考服務品質之評鑑方式漸有走向混合型評鑑的趨勢。

為使參考服務評鑑的結果具實質的意義，則必須將之整合到服務的設計與改良中，以確實提昇服務之品質。調查者不介入法用來評鑑館員回答問題之正確率，其主要評鑑的即是參考館員對館藏的認識能力及使用技巧。歸納學者們評鑑的結果可知，人員的訓練被認為是最重要的服務品質改善策略，而戴森(Lille Seward Dyson)則更進一步對馬里蘭教育部圖書館發展與服務部門因應評鑑結果所實施的人員訓練計畫成果進行調查，調查顯示，訓練計畫對於提高正確解答率確實有助益。（註40）此調查研究除證明改善計畫成果之有效性外，亦強調了評鑑活動旨在改善服務，需與實際的改善結合才能凸顯其價值所在。其次，評鑑活動也是不斷地、循環的長期作業，藉由一次次的評鑑--改善--再評鑑，圖書館的服務才能愈來愈進步。

總之，圖書館任何的參考服務評鑑研究，目的都應旨在改善參考服務品質而非僅是做為學術研究之課題。調查者不介入參考服務評鑑法除了提供研究者從不同的角度評鑑參考服務品質外，更強調評估結果與實際應用結合之重要性，重視評估的結果必須用來發展策略，如建構人員訓練計畫來確實改善參考服務品質。因此，從管理層面來看，圖書館管理者必須根據調查者不介入評鑑所得之結果，採取適當的行動，來幫助改善圖書館參考服務品質。所採取的角度應包括：

1.提供支援性的組織氣候：良好的組織氣候應能支持並鼓勵館員績效及生產力；故需是創新性、支持性、民主性以及激勵性的。

隨著時代的變遷，由於讀者的問題與反應之多樣化且更難掌握，參考服務本身的範圍與內容亦隨之日益廣泛與複雜。為因應多樣化之參考服務本質，參考服務評鑑方式更必須因時制宜，與新科技有效結合，俾透過有效的評鑑找出問題，藉由不斷地改善來達成品質提昇的目標，滿足大多數讀者的需求。而正因參考服務本質之複雜化，參考服務之評鑑更應針對各服務層面不同之特質，設計或採用適切的評鑑方式，以確保完整且周延地評鑑參考服務之品質。

評鑑乃是診斷現有問題，提出改善策略，促使資源重新分配之重要工作。因此圖書館界應建立正確評鑑的觀念，以促進服務之進步與成長。圖書館參考服務的評鑑是相當費時費力的作業，尤其需要圖書館全體人員的積極參與以及配合，因此建立全體一致的理念乃首要條件，而建構有效之評鑑系統以為依循則是管理階層必須建立的基礎作業，期透過有效評鑑系統之建立，推動各圖書館評鑑工作與研究之蓬勃發展。

[Answer is correct if actual CFR citation is given.]

8. In 1983, President Reagan established a task force on Food assistance. I would like to know its specific charge or function.

[Answer is correct if charge or function is located.]

B.給一般參考館員回答

9. Where can I find the text of the act which created the U.S. Office of Science and Technology Policy?

[Answer is correct if the staff member located the text or provides the reference of the statutes at large.]

10. I would like to know the percentage of vehicles exceeding 55 m.p.h. for every year, from 1945 to 1970. Also what was the average speed of passenger cars for those years? Where can I find summery statistics?

[Answer is correct if the title and page number of the appropriate source is given.]

11. Within the State department, there is the office of the historian. Who is the historian and what is the mailing address of the office?

[Answer is correct if his name and mailing address are given.]

12. In 1980, a public law was enacted and it provided universities and small businesses with the right to obtain patents for inventions which their faculties and staffs created with the use of Federal funds. Please help me locate a copy of the law.

[Answer is correct if the public law number or law itself is located.]

13.Please help me locate Policy Implications of Information Technology.

[Answer is correct if title is located, the sudocs number is found, or referral is made to a source which answers the question correctly.]

14.Please help me locate the book Computer-Based National Information Systems?

[Answer is correct if the staff member identifies the title as a government publication.]

15. In March 1984, Glenn English gave a speech in which he identified public policy issues related to electronic information. Can you please help me find a copy of the issues which he identified?

[Answer is correct if a copy is located or if the staff member identifies the actual date and pa ge number of the Congressional Record.]

註 1 ：S. R. Ranganathan, The Five Laws of Library Science( Madras: The Madras Library Association, 1931).
註 2：Samuel Rostein, "The Measurement and Evaluation of Reference Service," Library Trends 12(Jan. 1964): 458.
註 3：Charles R. McClure, "Measurement and Evaluation," in The ALA Yearbook of Library and Information Services 9 (Chicago, Ill.: American Library Association, 1984): 195.
註 4：1. F. W. Lancaster and C. W. Cleverdon, Evaluation and Scientific Management of Libraries and Information Centres (Leyden: Noordhoff, 1977):42.
2. Charles R. McClure and Peter Hernon, "Unobtrusive Testing and the Role of Library Management," Reference Librarian 18 (Summer 1987): 75.
註 5：Charles R. McClure, "Output Measures, Unobtrusive Testing, and Assessing Quality of Reference Services," Reference Librarian 15(1984): 216-217.
註 6：沈寶環，西文參考資料（臺北市：臺灣學生，民國74年），頁1-2。
註 7：Bryce Allen, "Evaluation of Reference Services," in Reference and Information Services: an Introduction, ed. Richard E. Bopp. & Linda C. Smith (Colo.: Libraries Unlimited, 1989):207.
註 8：F. W. Lancaster, The Measurement and Evaluation of Library Service (Washington, DC. : Information Resource, 1977).
註 9：1. Kenneth D. Crews, "The Accuracy of Reference Service: Variables for Research and Implementation," Library and Information Science Review 10(1988): 337.
2. William A. Katz, "Evaluation of Reference Services and Librarians," in Introduction to Reference Work, 6th ed. (New York: McGraw-Hill, 1992):225.
註 10：1. Jo Bell Whitlatch, "Reference Services: Research Methodologies for Assessment and Accountability," The Reference Librarian 38(1992): 9-19.
2. William Katz, "Evaluation of Reference Services and Librarians," Chap. 10 in Introduction to Reference Work, 7th ed. (New York: McGraw-Hill, 1995):257.
3. Charles A. Bunge, "Evaluating Reference Services and Reference Personnel: Questions and Answers from the Literature," The Reference Librarian 43 (1994): 198-201.
註 11：Patricia Hults, "Reference Evaluation: an Overview," in Assessment and Accountability in Reference Work. eds. Susan G. Blandy et al.(New York: Haworth Press, 1992):145-146.
註 12：同註10（1）: 10.
註 13：G. R. Mossard, "A TQM Technical Skills Framework, "Journal of Management Science Policy Analysis 8(1991): 223-246.
註 14：Douglas Herman, "But Does it Work? Evaluating the Brandeis Reference Model," RSR 22 (Winter 1994): 17-28.
註 15：Thomas Seay, Sheila Seaman, and David Cohen, "Measuring and Improving the Quality of Public Services: a Hybrid Approach," Library Trends 44(Winer 1996):464-472.
註 16：黃綠婉，「無感式參考服務評鑑：談55 Percent Rule」，書苑季刊19期（民國83年1月），頁49-68。
註 17：Lancaster, F. W. 原著；高撰熹譯，「就參考服務論『解答問題』之評鑑」，國立中央圖書館館刊25卷1期（民國81年6月），頁59-72。
註 18：俞依秀，「參考服務評鑑」，在圖書館學與資訊科學大辭典(臺北市：漢美，民84)，頁1576-1577。
註 19：同上註，頁1576。
註 20：Terence Crowley and Thomas Childers, Information Service in Public Libraries: Two Studies (Mctuchen, NJ : Scarecrow Press, 1971).
註 21：Thomas Childers, "Managing the Quality of Reference/Information Service," The Library Quarterly 42(1972): 213.
註 22：Cheryl Eley, Alan Nourie, F. W. Lancaster, and Kurt M. Joseph, "Evaluating Reference Service in a Large Academic Library," College & Research Libraries (Sep. 1991): 455.
註 23：同註21，頁216.
註 24：Peter Hernon and Charles R. McClure, Unobtrusive Testing and Library Reference Services (New Jersey: Ablex Publishing Company, 1987):130-132.
註 25：Thomas Seay, Sheila Seaman, and David Cohen, "Measuring and Improving the Quality of Public Services: a Hybrid Approach," Library Trends 44(Winter 1996): 464-472.
註 26：同註4（1），頁71-85.
註 27：同註21，頁212-217.
註 28：Peter Hernon and Charles R. McClure, "Unobtrusive Reference Testing: the 55 Percent Rule," Library Journal 111(April 1986): 37-41.
註 29：同註22，頁454-465.
註 30：F. W. Lancaster, "Question Answering," Chap. 10 in If You Want to Evaluate Your Library (Illinois: University of Illinois, 1988): 108-126.
註 31：Ralph Gers and Lille J. Seward, "Improving Reference Performance: Results of a Statewide Study," Library Journal (Nov. 1985): 32.
註 32：Bill Bailey, "The 55 Percent Rule Revisited," Journal of Academic Librariship 13(Nov. 1987): 280-281.
註 33：同註31，頁32。
註 34：Terence Crowley, "Half-Right Reference : is it True?" RQ 25 (Fall 1985): 64.
註 35：Thomas Childers, "The Quality of Reference: Still Moot after 20 Years," Journal of Academic Librarianship 13(1987): 73-74.
註 36：Marjorie E. Murfin, "Evaluation of Reference Service by User Report of Success," The Reference Librarian 49/50(1995): 235.
註 37：同註16，頁58-59。
註 38：Marjorie E. Murfin, "Evaluation of Reference Service by User Report of Success " The Reference Librarian 49/50(1995): 236.
註 39：Peter Hernon and Charles R. McClure, "Quality of Data Issues in Unobtrusive Testing of Library Reference Service: Recommendations and Strategies," Library and Information Science Research 9(April-June 1987): 90-91.
註 40：Lille Seward Dyson, "Improving Reference Services: a Maryland Training Program Brings Positive Results," Public Libraries (Sep/Oct. 1992): 284-289.