文獻展現次序對讀者相關判斷影響之研究
An empirical study of the influence of
document presentation order on users' judgments of document relevance
王慧玉 Hui-yu Wang
國立中興大學圖書館編目組
Cataloging
Department, National Chung Hsing University Library
【摘 要】
隨著資訊時代的來臨，電腦資訊檢索系統之重要性與日俱增，而良好系統之設計與評估實有賴對讀者相關判斷行為之研究。在影響相關判斷的眾多因素中，文獻展現次序這項變數是系統所易於控制的，且許多研究發現，訊息呈現次序的不同可能導致受試者判斷結果產生改變，因此對文獻展現次序進行深入探討實有其必要性。有鑑於此，本文首先對文獻展現次序所造成之「次序效應」進行文獻分析，並以本土化之實證研究驗證次序效應中之「賭注效應」，同時以多種筆數之文獻組設計觀察文獻筆數對次序效應產生之影響，以期對資訊檢索系統之設計有些許助益。
【Abstract】
Among the
numerous variables which influence relevance judgment, document presentation
order has been attested to be actually influential by many studies. Since this
variable is easy to be controlled by automated information retrieval system, it
deserves our more attention and
discussion. There are three points in this article: (1) to review the literature on "order effects",
which is induced by document presentation order; (2) to verify the hypothesis
of "hedging effect", which is one kind of order effect, by a
two-stage experiment; and (3) to
identify the relationship between number of document and hedging effect.
關 鍵 詞：文獻展現次序；相關判斷；次序效應；賭注效應
Keywords：document presentation order；relevance judgment；order effects；hedging effect
壹、問題陳述
在邁入資訊時代的今日，資訊科學研究的重要性已不言而喻，而其中「相關」（relevance）概念之研究可謂此科學最重要的研究核心之一。（註[1]）隨著資訊的爆炸及科技的進步，今日資訊處理已無法脫離電腦檢索系統之應用，而如何在生硬的系統框架中將「互相關聯」的資訊聚集一處，以幫助資訊需求者找到他所想要或需要的資訊，此實為資訊檢索系統設計及評估之要點，也正是「相關」概念之重要性所在。
相關判斷的影響因素非常多，一般多將其歸納為文獻及文獻表徵、檢索問題、判斷情境、判斷尺度、以及判斷者等五大類。（註[2]）其中許多情境變數對相關判斷影響甚鉅，卻往往因涉及認知心理學及學習理論等領域而難以窺其全貌。情境變數一般包括時間壓力、文獻展現次序、資料筆數等變項，而其中「文獻展現次序」（document presentation order） ──亦即檢出文獻呈現給讀者瀏覽時之次序──是系統易於控制的變因。研究發現，同一文獻會因展現順序不同而得到不同的相關判斷結果，此即「次序效應」（order effects）（註[3]），亦即因文獻展現次序不同所產生之各種影響。一般而言，文獻依相關程度由高至低排列時其相關性易被全面低估，由低至高排列時則易被全面高估，此現象學者稱之為「賭注效應」（hedging effect）（註[4]），是次序效應之一種具體表現。由於文獻的展現順序是系統可操控的，因此若能徹底瞭解文獻展現次序對讀者相關判斷的影響，對資訊系統之設計與評估將有相當的助益，也將促使系統設計更符合使用者導向的理念。有鑑於此，本研究特以國人為對象，進行文獻展現次序對相關判斷影響之實證研究，並援引認知心理學與傳播學中有關次序效應之理論作為解釋依據，以期對此議題提供理論上及實證上些許助益。
貳、文獻分析
一、次序效應概說
假設有資訊A與B，若干受試者接收到的資訊順序為先A後B，其他受試者接收的順序為先B後A，當此二群體接收資訊後表示的意見達到顯著差異，則表示產生「次序效應」。（註[5]）簡單地說，當判斷結果因訊息呈現次序的不同而導致差異時，即表示發生了「次序效應」。（註[6]）
次序效應可透過計算二種不同訊息呈現方式所得評分值之差異加以測量。以上述A、B二資訊而言，假設A資訊的客觀評定值大於B，若判斷者對AB、BA二種訊息呈現次序之反應有所差異，則其計算公式如下：
次序效應＝RAB－RBA
RAB 表示訊息呈現次序為先A後B時之判斷反應
RBA 表示訊息呈現次序為先B後A時之判斷反應
上述公式中如果RAB－RBA的差值大於零，表示先呈現的訊息對於判斷結果有較大的影響力，此即所謂「最初效應」（primacy effect）；反之，如果RAB－RBA的差值小於零，則表示後面呈現的訊息對於判斷結果有較大的影響力，此即所謂「臨近效應」（recency effect）。（註[7]）
二、影響次序效應的因素
次序效應的產生原因相當複雜，其影響因素亦未有定論。學者分別提出下列各種不同的看法。
1974年N. M. Bradburn和W. M. Mason指出：訊息的顯著性（saliency）、重複性（redundancy）、一致性（consistency）以及疲乏性（fatigue）是四種可能導致次序效應產生的因素。（註[8]）
1981年Sam G. McFarland指出，次序效應即使存在，其規模亦往往視受試樣本的特性而定。例如教育程度低者較容易受次序效應之影響。因此，年齡、性別、教育程度等人口統計學變項都可能是影響次序效應的因素。（註[9]）
1992年Robin M. Hogarth和Hilled J. Einhorn指出，影響次序效應的因素有三方面：（註[10]）
1. 資訊的複雜性：人們對訊息的處理策略往往視該資訊之複雜性而定。所謂複雜性係指各筆資料內包含大量的資訊或充斥著受試者所不熟悉的資訊。
2. 資訊的數量：隨著資訊數量的增加，可能會有二種效應發生：其一為受試者因處理大量的資訊而產生疲勞；其二為受試者對後面出現的資訊感受度降低。
3.反應模式：係指受試者進行實驗時所被要求的作答方式，常見有「逐步反應模式」（step-by-step mode）與「終止點反應模式」（end-of-sequence mode）二種。前者係要求受試者在接收每個訊息時即分別表示意見；後者則為接收全部訊息後才表示意見。一般來說，採用逐步反應模式較容易產生臨近效應，而採用終止點反應模式則容易產生最初效應。
綜合上述可知，影響次序效應的因素極多，舉凡資訊的顯著性、重複性、一致性、複雜性、資訊量等特性，以及人口統計學上年齡、性別、教育程度等變項，皆可能對其造成影響。
三、次序效應相關理論
在有關次序效應的研究中，學者較常援用的理論以「訊息整合理論」（Information Integration Theory）、「注意力下降假說」（attention decrement hypothesis）以及「信念調整模式」（the belief-adjustment model）最受重視；其他如「意義轉變假說」（change-in-meaning）、「顯著作用」（salience effects）、「疲勞作用」（fatigue effects）、「參考作用」（reference effects）等理論，在文獻上雖未見詳細的闡述及引用，但對於解釋次序效應之種種現象仍有幫助。茲分別依各理論提出之先後順序介紹如下。
(一)意義轉變假說
此說係S. E. Asch於1946年所提出。1946 年Asch在其著名的研究報告中指出，受試者會因訊息呈現次序的不同，而產生不同的判斷結果。例如：人們會比較喜歡「聰明的－勤勉的－衝動的－挑剔的－倔強的－忌妒的」這種特質呈現順序的人，而較不喜歡「忌妒的－倔強的－挑剔的－衝動的－勤勉的－聰明的」這樣的人，此即大家所熟知的「第一印象」。據此發現，Asch提出「意義轉變假說」，主張同一訊息通常可從不同的角度去解讀，而較早接收的訊息會影響受試者對其後接收資訊的解釋。就上例而言，每個形容詞的意義可能不只一個，但由於人們有先入為主的觀念，以致人們對較後接收的形容詞在選擇其意義時會不自覺地傾向以適合較早接收的形容詞為標準。故此假說又可稱之為「導向印象」（directed impression）。（註[11]）
(二)注意力下降假說
1963年Norman H. Anderson及Stephen Hubert提出「注意力下降假說」，主張人們在對一連串訊息進行連續判斷時，受較先呈現的訊息衝擊較大，對其後各訊息之判斷加權則隨訊息次序位置之增加而減少，而形成注意力下降現象。此說係建立在Anderson及 Hubert於同年所提出之「雙記憶假說」（the two-memory hypothesis）基礎上，該假說主張人類的記憶有「印象記憶」（impression memory）與「言辭記憶」（verbal memory）之別，前者係指在接收一系列訊息的過程中，受試者僅記憶對各訊息的相對印象，以便將新訊息整合入既有信念中；後者則指受試者在判斷過程中一一記憶各訊息之言辭內容，並根據回想作用對所有訊息作一整合。（註[12]）此二種記憶模式對不同序列位置訊息判斷結果之差異，可從圖1窺其一斑：（註[13]）
|
|
圖1
訊息次序位置對回憶和判斷之影響
資料來源：Norman H. Anderson, “Functional Memory
and On-line Attribution,” in On-line Cognition in Person Perception, ed.
John N. Bassili (Hillsdale, N.J. : Lawrence Erlbaum Associates, 1989), 181.
由圖1之記憶曲線可看出，當人們倚賴言辭記憶對一系列訊息進行判斷時，其對較晚接收的訊息所能回憶之百分比較高，亦即對愈後面的訊息愈容易回憶，對判斷結果的影響也愈大，因而容易導致「臨近效應」。而從判斷曲線則可看出，當人們倚賴印象記憶對一系列訊息進行連續判斷時，則受較先呈現的訊息衝擊較大，其對各訊息之判斷加權隨訊息次序位置之增加而減少，致使前面訊息對最終判斷產生較大的影響，因而產生「最初效應」。
據此假說，則當人們對一系列訊息進行連續判斷時，係倚賴其印象記憶進行判斷，故受較先呈現的訊息衝擊較大，因此對各訊息之判斷加權隨訊息次序位置之增加而減少，乃形成注意力下降現象。此現象可能肇因於受試者在進行連續判斷時，為對整體資訊先建立一基本印象，以便有效地統整其後各訊息，因此傾向於對前面接收的訊息給予較大的加權，而對後面訊息的加權相對減少。注意力下降假說並認為無論訊息間之互動性、一致性或關連性如何，人們的注意力都將隨著訊息序列位置之增加而逐漸下降。（註[14]）
(三)訊息整合理論
1971年Anderson觀察人們的判斷過程，提出「訊息整合理論」，主張人們的態度隨著其所接收之新資訊而改變，並整合入原有之信念中。（註[15]）Anderson對資訊整合的基本看法如下：（註[16]）
在日常生活中，資訊的整合是一種連續的過程。資訊在各時間點上被片段地吸收，並整合入一連續演進的印象（impression）裡。此種印象是一種變動的概念，不同的人，在不同的社會組織中，其所抱持之各種印象都將隨著時間成長及改變。因此，在任何時刻，人們心中對某一事物的印象，都似乎受到過去及未來的影響。
據此基本概念，Anderson提出訊息整合理論，將訊息整合的過程歸納為四個核心概念：1.評價；2.整合；3.認知代數；4.功能性測量。Anderson認為物理性的刺激是透過評價的過程轉換成心理性的刺激，再經由認知代數及功能性測量將所有資訊整合為隱藏的反應，最後再經由反應功能將隱藏的反應轉換成具體的反應。（註[17]）
訊息整合理論中先後提出二種以數學符號模擬訊息整合方式的代數模式，分別為「相加模式」（the additive model）和「平均模式」（the averaging model）。所謂相加模式是指我們的判斷反應是建立在對n個訊息刺激的評定值總合上，其概念可以下列公式表示之：（註[18]）
R = S1 + S2 + … + Sn
R 表示判斷的反應
Si 表示訊息在序列位置i時之評定值，i = 1 ~ n
平均模式則是指我們的判斷反應是建立在對n個訊息刺激的平均評定值上，包括對最初印象的評定值（也就是在做判斷之前，對一些已經知道的人、事、物之評定值），其中每個訊息都須經過加權，其計算方式是以每個評定值經過加權後的總和除以總加權值，公式如下：（註[19]）
R=
R 表示判斷的反應
S0 表示初始印象的評定值
W0 表示初始印象的加權
Si 表示訊息在序列位置i時的評定值，i = 1 ~ n
Wi 表示訊息在序列位置i時的加權，i = 1 ~ n
上述二公式中以平均模式較為後續研究所支持。事實上，平均模式中對各訊息在各序列位置i時的加權（Wi）觀念恰可與「注意力下降假說」相呼應，當受試者處於接收連續訊息的判斷情境中，為了先對實驗中的目標建立初步印象，通常會對前面幾個訊息給予較多的注意，進而在訊息整合的過程中給予較多的加權，因此容易產生「最初效應」。相對地，較後出現（序列位置在後）的訊息，則其加權值會隨著i值的增加而遞減。（註[20]）
(四)疲勞作用
此理論係由K. J. Clancy及R. A. Wachsler於其1971年的實證研究結果中所提出。此觀點之基本假設為：當資訊項目多到某個程度時，受試者可能因產生疲勞，而在未經仔細思考的狀態下作答。一般而言，資訊項目在12項以下算是簡短；若資訊項目在17項以上，則可能因疲勞作用而產生次序效應。（註[21]）
(五)顯著作用
此說係C. Gibson等人在其1978有關全國犯罪調查之研究結果中所提出。在該次調查之二組受訪者中，Gibson等人發現，先被詢問16項與犯罪有關態度問題的受訪者，其回答自己輕度犯罪及欺騙經驗之意願顯著高於未被詢問態度問題的另一組受訪者。因此，C. Gibson等提出顯著作用假說，認為藉由前導問題的設計，使問題增加其顯著性或形成更具吸引力的形式，將可能導致受試者不同的反應結果。（註[22]）
(六)參考作用
此說係由E. H. Carpenter與L. G. Blackwood於1979年所提出。其實證研究結果發現：當受試者被要求以數據式量表（numerical scales）對一系列資訊加以評定時，其將面臨建立內在參考點的問題。研究指出，一系列資訊中第一筆資訊的評分值往往和其後各筆資訊評分值略有差異；當欲評定資料的主題不顯著，並且採用數據式評分量表時，此種參考作用會最為顯著。因此，在評定一連串資訊時，受試者往往因內在參考架構不斷地變動，因而使評分結果受到影響。（註[23]）
(七)信念調整模式
1992年Hogarth與Einhorn提出「信念調整模式」，主張人們在處理訊息時會透過一種連續性的「定錨與調整過程」（anchoring-and-adjustment
process），以將目前接收的資訊整合入原有的信念架構中。換言之，人們通常依據第一筆資訊形成個人的最初信念，而後對後續接收的資訊不斷調整其所持之評判標準（即所持的錨—anchor），使之得以融入原有概念中。此信念調整模式之公式如下：（註[24]）
Sk = Sk-1 + Wk
[ S (Xk) - R ]
Sk 表示評定k筆資訊後所形成的信念，0≦Sk≦1
Sk-1 表示先前的信念，當k=1時為最初信念，其定義為S0
Wk 表示對第k筆資訊的調整加權值，0≦Wk≦1
S (Xk)表示對第k筆資訊的主觀評定值
R 表示評定第k筆資訊時之參考點
Hogarth與Einhorn認為資訊的方向性（正向或負向）、強度、以及型態（一致或不一致），皆可與資訊呈現的次序合併考慮。由於獲得一筆資訊後會對原先的信念加以調整，而調整的大小又受調整加權值（Wk）的影響，故其認為調整加權值（Wk）是先前信念（Sk-1）的函數：當新資訊為正面資訊時，若先前信念弱，則正面資訊對信念調整的影響大；反之，則影響小。而另一方面，負面資訊對信念調整的影響則與正面資訊相反，當先前信念弱時影響小，反之則影響大。（註[25]）
四、資訊科學領域有關次序效應之實證研究
1986年Michael Eisenberg在其博士論文中，以其所服務之Syracuse University資訊研究學院80名學生為對象，將檢索系統輸出之15篇檢出文獻隨機排序，分由80位學生作相關判斷。判斷所用之評量工具包括七點式類別評分量表（seven-point category rating
scale）及開放式連續量表（magnitude estimation）等多種量表。此次實驗之重點在評估各種量表在相關判斷研究之應用，對於文獻展現次序對相關判斷之影響並未多作說明；然其隨機排序所得各文獻之相關評分值成為後續實驗之基礎。（註[26]）
同年，Eisenberg和Carol Barry更進一步繼續此方面之研究，以驗證「刺激次序」（stimulus order）對相關判斷的影響。其以Eisenberg博士論文中文獻隨機排序時所得相關評分值之總和平均數為基礎，將此15篇文獻依其相關性由高至低及由低至高排列，分給二組受試者（各21名）再次進行相關判斷。本次實驗之評分工具為七點式類別評分量表。研究結果顯示：文獻展現次序確實會影響相關判斷的結果，亦即發生「次序效應」。當文獻依相關程度由高至低排列時，判斷者有低估檢出文獻相關性的傾向；反之，文獻依相關性由低至高排列時，判斷者則往往高估文獻之相關性，Eisenberg及Barry稱之為「賭注現象」（hedging phenomena）。此現象之產生可能肇因於判斷者將第一篇文獻的評分作為判斷時的參考點，依此增加或減少分數，以反映其後文獻之相關性。受此參考作用影響，為分散賭注之風險，判斷者通常會避免給予第一篇文獻極高或極低的評價，因而使排序的文章容易產生被全面低估或全面高估的情形。（註[27]）
1988年Eisenberg和Barry再次針對次序效應進行更深入的研究。此次實驗分二部分進行，實驗一以七點式類別評分量表作為測量相關判斷之工具，實驗二則採用開放式連續量表。二組實驗皆將15筆檢出文獻依相關性由高至低及由低至高排列，再隨機分給受試者作相關判斷。實驗結果顯示，採用七點式類別評分量表的一組，其三種排序方式（隨機排序、依相關性由高至低排序、依相關性由低至高排序）所得相關評分結果，兩兩之間皆呈現顯著差異，且由高至低排序的結果顯著低於隨機排序，而由低至高排序的結果則顯著高於隨機排序，呈現明顯的「賭注效應」；而採用開放式連續量表的一組，則只有由高至低排序的結果與隨機排序結果達顯著差異，其餘則否。此研究再度驗證次序效應中之賭注效應，同時證實了開放式連續量表可有效防止次序效應的影響，是學者進行相關判斷研究時之良好選擇。作者並建議在進行相關判斷實證研究時，最好將檢索結果隨機呈現，或是根據其他非主題欄位（如年代、作者）排序輸出，以降低文獻排序對相關判斷之影響。（註[28]）
1990年Purgailis Parker與Johnson針對「次序效應」作進一步實驗，以驗證讀者是否因文獻展現次序不同而產生偏見，進而影響相關判斷的結果。該實驗採用三點式評分量表（分相關/不知道/不相關三級），用以測試之文獻組則完全隨機排列。研究結果顯示，檢出文獻大於或等於15筆時會產生次序效應。此效應之具體表現為：排列次序在後的文獻較容易被判斷為不相關，而排列次序在前的文獻則比排列在後的文獻約有1.5倍的機率被判斷為相關；但文獻少於15篇時則無此現象。（註[29]）
參、研究對象與研究設計
在研究對象方面，基於專業學科背景之考量，本研究之受試者限圖書館學相關科系大學畢業以上之學歷。研究對象的選取採「便利性取樣」，以便獲取足夠數量且配合意願高之受試者。至於實驗地點，由於必須配合研究對象的正規活動與作息，因此就近尋找對受試者方便且安靜、不受打擾的場地為實驗地點（例如圖書館、研究者家中、研究室等）。共得有效樣本48人。所有受試者皆非資訊需求者，而為次判斷者，但皆受過圖書館學專業訓練，且皆有線上檢索之經驗。
本研究前後共進行二階段的實驗。第一階段實驗其主要目的在於取得文獻隨機排序時之相關評分值，以作為第二階段依相關性排序之客觀依據；該數據之取得係由各文獻所得相關評分值之總和平均數（grand mean）計算而來。第二階段實驗目的則在於操控文獻筆數及展現方式（依相關性由高至低排序及由低至高排序），以與第一階段隨機排序的結果進行比較。研究之設計主要分為四部分，分別為：設計實驗判斷之文獻組、設計實驗工具、設計第一階段實驗以及設計第二階段實驗等。茲分述如下。
一、設計實驗判斷之文獻組
為控制實驗之變數，本研究供作實驗判斷之文獻組，由研究者自行擬訂檢索主題後，定題目為「網路資訊時代圖書資訊學編目課程之探討」，在Library and Information
Science Abstracts（簡稱LISA）光碟資料庫中檢索獲得。檢索結果限英文文獻，依系統內定之輸出順序（應為出版年）選取前80筆作為本研究之實驗文獻組。（註[30]）文獻類型不作任何限制；各篇文獻提供之資訊包括題名、作者、出處、摘要、及敘述語等欄位。
二、設計實驗工具
實驗進行前，研究者針對實驗之需要事先設計各式實驗工具，包括相關判斷之指引說明、相關判斷評分表、判斷時間記錄表及受試者背景資料表等。其中「相關判斷之指引說明」係用於實驗進行前對受試者進行之解說，內容包括文獻組所含資料筆數（第一階段所有文獻組皆為40筆；第二階段則有5至75筆不等）、檢索來源（LISA資料庫）、書目資料內容（題名、作者、資料來源、摘要、及主題敘述語）、書目資料的格式、判斷情境（假設被指定撰寫一篇學期報告）、判斷主題（網路資訊時代圖書資訊學編目課程之探討）、評分方式（七點式評分量表：0至6分），並請受試者模擬在電腦前瀏覽檢索結果之情境，對書目資料行概略瀏覽即可；只要受試者覺得足以判斷該文獻之相關性，即可作成評分。受試者並被要求依各文獻組之序號作答，不得跳號或重複翻閱。在進行正式實驗前，先作三題練習題作為暖身，並詢問受試者是否對檢索主題或答題方式有任何疑問。此指引說明在第二階段實驗時不再重複敘述，但要求受試者將此說明再瀏覽一遍。
三、設計第一階段實驗
第一階段實驗之文獻組係依其自系統輸出的順序分為A、B二卷，單號為A卷，雙號為B卷，各含40筆文獻。此系統輸出之順序並作為研究者控制各文獻之編號。各卷所含40筆文獻在提供受試者判斷之前，先由研究者以隨機取號的方式逐一決定各文獻之序號，並依序號編製成文獻組，故每位受試者所判斷之文獻組內含文獻之展現次序皆不相同，以達到隨機排序的目的。所有文獻組皆以書面形式呈現，每筆文獻佔一頁之篇幅。各文獻於右上角浮貼其在該文獻組中之序號，以便受試者依號作答，並供研究者記錄判斷時間時觀察核對之用。實驗採逐步反應模式，受試者被要求於看完各文獻後即在研究者設計之「相關判斷評分表」上立即寫下評分，研究者坐在其旁觀察，並記錄判斷時間。受試者未被告知任何「相關」概念的定義，而被要求依其本身對「相關」的原始概念進行判斷。
四、設計第二階段實驗
第二階段實驗之設計係以第一階段實驗結果為基礎，取各文獻相關評分值之總和平均數，依其高低加以排序後，再將此80筆排序的文獻分為五個層次（序號1-16、17-32、33-48、49-64、65-80），依比例分層隨機抽取各1筆、各3筆、各6筆、各9筆、各12筆、及各15筆文獻，以組成總筆數為5筆、15筆、30筆、45筆、60筆、及75筆之文獻組。各不同筆數文獻組又依其所含文獻相關評分值之高低製成由高至低排序及由低至高排序二種，故共得十二種不同的文獻組，分別分配給六組受試者，每組八人。其組別分配如表1所示：
表1 第二階段實驗組別分配表
|
總樣本數 |
組別 |
各組人數 |
文獻組(一) |
文獻組(二) |
|
48人 |
C組 |
8人 |
5篇由高至低排序 |
75篇由低至高排序 |
|
D組 |
8人 |
75篇由高至低排序 |
5篇由低至高排序 |
|
|
E組 |
8人 |
15篇由高至低排序 |
60篇由低至高排序 |
|
|
F組 |
8人 |
60篇由高至低排序 |
15篇由低至高排序 |
|
|
G組 |
8人 |
30篇由高至低排序 |
45篇由低至高排序 |
|
|
H組 |
8人 |
45篇由高至低排序 |
30篇由低至高排序 |
由表1可清楚看出，各組受試者在第二階段實驗中皆須判斷二份文獻組。為減輕受試者的疲勞並避免第一份文獻組帶來的影響，實驗進行時一律以筆數較少的一份先作判斷，並強迫中場休息10分鐘後，方才繼續第二份文獻組之判斷。判斷過程維持與第一階段相同之情境，由研究者在旁觀察並記錄時間。
肆、實證結果分析
一、文獻序列位置對相關評分結果之影響
第一階段實驗係將文獻依隨機排序的方式呈現給受試者進行相關判斷，故其所得評分值應可視為常態下之客觀數據。由第一階段實驗結果加以分析，我們得到文獻序列位置與該位置文獻平均評分之相關係數為0.195，二者之間略呈正相關，但未達顯著水準（p>.05）。圖2即依據此二變項之關係所繪製之線性迴歸圖：
圖2 第一階段實驗文獻序列位置與各位置文獻平均評分關係圖
由圖2可清楚看出，文獻隨機排序時，其相關評分值在不同序列位置之變化極為平順，並不因文獻序列位置的改變而有明顯變化；換言之，在隨機排序的情況下，各文獻在文獻組中之展現次序並不影響其相關判斷的評分結果。將此結果與Purgailis Parker和Johnson之實證結果相較，該研究發現排列次序在前的文獻較易被判斷為相關，而排列次序在後的文獻較不易被判斷為相關，二者被判斷為相關之比例為1.5：1。（註[31]）此結果與本研究之實證結果並不相符。
二、文獻隨機排序與依相關性排序判斷結果之比較
第二階段實驗，各文獻組係依其所含文獻相關評分值之高低排序，並組成筆數5至75筆不等之文獻組，以檢測文獻筆數對次序效應之影響。以下即分別就各組文獻在三種不同排序方式（依相關性由高至低排序、依相關性由低至高排序、隨機排序）所得之評分結果進行分析比較。
（一）5篇組文獻判斷結果之比較
C組的5篇由高至低排序的文獻、與D組5篇由低至高排序的文獻、以及第一階段中該5筆文獻隨機排序時所得之評分結果，其評分值之比較如表2所示：
表2
5篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
27 |
4.75 |
5.38 |
4.92 |
|
2 |
25 |
3.75 |
4.25 |
4.04 |
|
3 |
55 |
3.75 |
3.38 |
3.25 |
|
4 |
62 |
3.38 |
3.75 |
2.75 |
|
5 |
5 |
4.50 |
3.87 |
2.25 |
|
|
總平均 |
4.02 |
4.13 |
3.44 |
由表2所列數值看來，依相關性由高至低排序及由低至高排序之評分結果（其平均分別為4.02與4.13）皆大於隨機排序之評分結果（3.44），並不符合賭注效應的假設。進一步對此三數列進行重複量數變異數分析（Repeated Measures ANOVA），結果顯示三者之間未達顯著差異水準（p>.05）。由以上分析可得知，當文獻筆數為5筆時，其相關判斷結果並不因文獻排列次序之不同而有顯著差異；亦即未出現次序效應。此結果與1990年Purgailis Parker及Johnson所指出：「文獻筆數少於15筆時不會發生次序效應」之說相符。（註[32]）由圖3可更清楚看出此三種評分值分布的情形。
圖3
5篇組文獻隨機排序與依相關性排序評分結果之比較
由圖3可看出，5篇組文獻其三種排序方式所得到之相關評分值高低互見，且依相關性由高至低排序及由低至高排序之平均評分值皆高於隨機排序組，並不符合賭注現象。
（二）15篇組文獻判斷結果之比較
E組的15筆由高至低排序的文獻、與F組的15筆由低至高排序的文獻、以及第一階段中該15筆文獻隨機排序時所得之相關評分值，此三種數據之比較如表3所示：
表3 15篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
27 |
4.38 |
5.50 |
4.92 |
|
2 |
71 |
3.50 |
4.25 |
4.50 |
|
3 |
43 |
4.75 |
4.63 |
4.41 |
|
4 |
20 |
3.75 |
4.25 |
4.29 |
|
5 |
53 |
3.25 |
3.13 |
4.17 |
|
6 |
2 |
2.38 |
3.25 |
3.92 |
|
7 |
56 |
3.13 |
3.88 |
3.71 |
|
8 |
44 |
2.63 |
3.00 |
3.29 |
|
9 |
54 |
2.25 |
3.38 |
3.25 |
|
10 |
8 |
1.75 |
3.00 |
3.13 |
|
11 |
47 |
2.63 |
2.13 |
3.00 |
|
12 |
50 |
2.00 |
3.50 |
2.83 |
|
13 |
18 |
1.63 |
3.87 |
2.67 |
|
14 |
45 |
0.87 |
2.25 |
2.29 |
|
15 |
46 |
1.75 |
2.63 |
2.13 |
|
|
總平均 |
2.71 |
3.51 |
3.50 |
由表3所列數值看來，依相關性由高至低排序組，其平均評分（2.71）低於隨機排序組（3.50）；而由低至高排序組，其平均評分（3.51）則稍稍高於隨機排序的結果。上述三數值之差異雖不大，但仍符合賭注效應之假設。進一步對此三數列進行重複量數變異數分析，結果顯示三者間之差異達顯著水準（p<.001）。再進一步進行兩兩之間的多變項變異數分析（Multivariate ANOVA），發現依相關性由高至低排序與由低至高排序所得之評分值達顯著差異（p<.05），由高至低排序與隨機排序所得之評分值亦達顯著差異（p<.05），而由低至高排序與隨機排序二組之間則未達顯著差異水準（p>.05）。
由圖4可更清楚看出此三種評分值分布的情形：
圖4 15篇組文獻隨機排序與依相關性排序評分結果之比較
由圖4可明顯看出，依相關性由低至高排序的文獻組，其評分值僅比隨機排序時之評分值略高一些；而由高至低排序的文獻組，其評分值則明顯低於隨機排序時之評分結果。造成由低至高排序文獻組之評分值與隨機排序文獻組評分值未達顯著差異的原因，可從組間差異的分析中得到解釋。由於判斷E、F二組文獻（其文獻筆數為15筆與60筆）之受試者，其所給予之評分顯著低於其他各組受試者，致使其所判斷之15篇組文獻評分全面偏低，而使得由低至高排序之評分結果未顯著高於隨機排序之評分結果。此15篇組文獻之評分結果雖因樣本因素導致偏差，但由低至高排序的文獻組評分值仍高於隨機排序，由高至低排序的文獻評分值則低於隨機排序，仍符合賭注效應之基本原則。可知當文獻筆數為15筆時，文獻依相關性由高至低排序所得之相關評分值有被低估的情形，而由低至高排序之文獻其平均值則有被高估的趨勢。此結果與1986年Michael Eisenberg以及Carol Barry的實證結果完全吻合，且印證其「賭注效應」（註[33]）；並與1990年Purgailis Parker及Johnson指出文獻超過15筆時會產生次序效應之說吻合。（註[34]）
（三）30篇組文獻判斷結果之比較
G組的30篇由高至低排序的文獻、與H組30篇由低至高排序的文獻、以及第一階段中該30筆文獻隨機排序時的判斷結果，其平均評分如表4所示：
表4
30篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
27 |
4.63 |
5.25 |
4.92 |
|
2 |
66 |
4.75 |
4.25 |
4.75 |
|
3 |
29 |
3.88 |
5.25 |
4.54 |
|
4 |
6 |
3.50 |
4.8 |
4.46 |
|
5 |
43 |
3.75 |
4.13 |
4.42 |
|
6 |
4 |
4.13 |
5.38 |
4.38 |
|
7 |
48 |
3.13 |
5.13 |
4.29 |
|
8 |
53 |
3.88 |
4.75 |
4.17 |
|
9 |
58 |
3.88 |
5.00 |
4.04 |
|
10 |
2 |
3.13 |
5.13 |
3.92 |
|
11 |
9 |
3.87 |
4.87 |
3.92 |
|
12 |
12 |
3.75 |
4.25 |
3.83 |
|
13 |
56 |
3.75 |
4.63 |
3.71 |
|
14 |
39 |
3.25 |
4.38 |
3.63 |
|
15 |
65 |
3.38 |
4.38 |
3.33 |
|
16 |
55 |
2.87 |
4.75 |
3.25 |
|
17 |
23 |
1.75 |
2.75 |
3.17 |
|
18 |
42 |
2.75 |
2.63 |
3.17 |
|
19 |
28 |
3.50 |
3.63 |
3.08 |
|
20 |
31 |
4.00 |
4.88 |
3.08 |
|
21 |
33 |
3.38 |
3.25 |
3.08 |
|
22 |
63 |
2.13 |
2.50 |
2.96 |
|
23 |
67 |
2.50 |
4.38 |
2.88 |
|
24 |
62 |
1.88 |
1.75 |
2.75 |
|
25 |
18 |
3.13 |
1.75 |
2.67 |
|
26 |
49 |
2.75 |
3.38 |
2.63 |
|
27 |
38 |
3.38 |
3.13 |
2.58 |
|
28 |
14 |
2.63 |
3.00 |
2.42 |
|
29 |
69 |
1.63 |
1.75 |
2.25 |
|
30 |
61 |
2.13 |
2.38 |
1.92 |
|
|
總平均 |
3.23 |
3.92 |
3.47 |
由表4所列數值看來，依相關性由高至低排序組，其平均評分（3.23）低於隨機排序組（3.47）；而由低至高排序組，其平均評分（3.92）則高於隨機排序組。此結果相當符合賭注效應之假設。進一步對此三數列進行重複量數變異數分析，結果顯示三者間之差異達顯著水準（p<.001）。再進一步進行兩兩之間的多變項變異數分析，發現此三組數列兩兩之間皆達顯著差異，非常清楚地呈現明顯的次序效應。故知當文獻筆數為30筆時，其相關判斷結果受到文獻展現次序明顯的影響，且文獻依相關性由高至低排序時其所得評分值有明顯被全面低估的情形，而由低至高排序時評分值則被全面高估。此結果再度印證Eisenberg及Barry之「賭注效應」。（註[35]）
由圖5可更清楚看出此三種評分值分布的情形：
圖5 30篇組文獻隨機排序與依相關性排序評分結果之比較
從圖5可清楚看出：依相關性由高至低排序及由低至高排序二文獻組，其評分值均勻分布在隨機排序所得評分值之兩側。其中由高至低排序組，其評分值明顯低於隨機排序的結果；而由低至高排序組，其評分值則明顯高於隨機排序時。此種分布正是典型的賭注效應現象。故知文獻筆數為30筆時，賭注效應極為明顯。
（四）45篇組文獻判斷結果之比較
H組的45筆由高至低排序的文獻、與G組45筆由低至高排序的文獻、以及第一階段中該45筆文獻隨機排序時之判斷結果，其平均評分之比較如表5所示：
表5 45篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
3 |
5.75 |
5.50 |
5.58 |
|
2 |
10 |
5.13 |
4.63 |
4.75 |
|
3 |
73 |
4.88 |
4.25 |
4.58 |
|
4 |
71 |
4.50 |
4.25 |
4.50 |
|
5 |
16 |
4.50 |
4.13 |
4.46 |
|
6 |
74 |
4.00 |
4.25 |
4.46 |
|
7 |
1 |
5.13 |
4.38 |
4.42 |
|
8 |
41 |
4.25 |
3.87 |
4.38 |
|
9 |
72 |
4.00 |
3.13 |
4.38 |
|
10 |
20 |
4.75 |
4.00 |
4.29 |
|
11 |
7 |
4.63 |
4.75 |
4.25 |
|
12 |
24 |
3.88 |
3.88 |
4.25 |
|
13 |
75 |
4.25 |
3.63 |
4.25 |
|
14 |
19 |
4.50 |
4.75 |
4.21 |
|
15 |
21 |
4.63 |
5.25 |
4.04 |
|
16 |
25 |
4.25 |
4.13 |
4.04 |
|
17 |
37 |
3.75 |
3.75 |
4.04 |
|
18 |
30 |
3.63 |
2.88 |
3.88 |
|
19 |
15 |
2.88 |
4.00 |
3.75 |
|
20 |
13 |
3.88 |
3.25 |
3.71 |
|
21 |
64 |
4.00 |
3.50 |
3.71 |
|
22 |
52 |
4.25 |
3.63 |
3.67 |
|
23 |
59 |
3.75 |
2.38 |
3.42 |
|
24 |
44 |
3.75 |
3.50 |
3.29 |
|
25 |
36 |
3.63 |
3.88 |
3.25 |
|
26 |
54 |
3.62 |
3.50 |
3.25 |
|
27 |
70 |
3.88 |
2.75 |
3.21 |
|
28 |
51 |
2.88 |
3.25 |
3.17 |
|
29 |
8 |
2.50 |
4.13 |
3.13 |
|
30 |
47 |
2.13 |
2.50 |
3.00 |
|
31 |
26 |
3.13 |
3.38 |
2.96 |
|
32 |
22 |
3.50 |
2.75 |
2.88 |
|
33 |
17 |
2.25 |
4.00 |
2.83 |
|
34 |
35 |
2.75 |
2.75 |
2.83 |
|
35 |
50 |
2.50 |
3.00 |
2.83 |
|
36 |
57 |
2.00 |
2.50 |
2.75 |
|
37 |
32 |
3.00 |
4.00 |
2.63 |
|
38 |
11 |
1.38 |
3.88 |
2.58 |
|
39 |
60 |
1.50 |
3.13 |
2.58 |
|
40 |
45 |
1.13 |
2.00 |
2.29 |
|
41 |
5 |
3.13 |
3.50 |
2.25 |
|
42 |
68 |
1.88 |
3.38 |
2.21 |
|
43 |
46 |
2.63 |
2.13 |
2.13 |
|
44 |
40 |
1.38 |
1.75 |
2.04 |
|
45 |
34 |
0.87 |
1.25 |
1.29 |
|
|
總平均 |
3.43 |
3.53 |
3.48 |
由表5所列數值看來，依相關性由高至低排序組，其平均評分（3.43）低於隨機排序組之評分（3.48）；而由低至高排序組，其平均評分（3.53）則高於隨機排序組之評分結果；此現象符合賭注效應的假設。進一步對此三數列進行重複量數變異數分析，結果顯示三者間之差異未達統計上顯著水準（p>.05）。
|
|
由圖6可更清楚看出此三種評分值分布的情形：
由圖6可以看出，文獻組筆數為45筆時，其三種排序方式所得之評分值相當接近，雖兩兩之間皆未達顯著差異，但由高至低排序的評分值仍低於隨機排序，由低至高排序的評分值仍高於隨機排序，依然符合賭注現象。
(五)60篇組文獻判斷結果之比較
F組的60筆由高至低排序的文獻、與E組的60筆由低至高排序的文獻、以及第一階段中該60筆文獻隨機排序時之判斷結果，其平均評分之比較如表6所示：
表６ 60篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
3 |
6.00 |
5.88 |
5.58 |
|
2 |
10 |
4.50 |
4.63 |
4.75 |
|
3 |
66 |
3.75 |
3.88 |
4.75 |
|
4 |
73 |
3.75 |
4.00 |
4.58 |
|
5 |
29 |
3.88 |
3.75 |
4.54 |
|
6 |
6 |
2.88 |
3.50 |
4.46 |
|
7 |
16 |
3.75 |
5.13 |
4.46 |
|
8 |
74 |
3.75 |
4.13 |
4.46 |
|
9 |
1 |
5.00 |
4.13 |
4.42 |
|
10 |
4 |
4.00 |
4.75 |
4.38 |
|
11 |
41 |
2.37 |
3.63 |
4.38 |
|
12 |
72 |
4.13 |
2.38 |
4.38 |
|
13 |
48 |
3.50 |
3.38 |
4.29 |
|
14 |
7 |
3.75 |
3.62 |
4.25 |
|
15 |
24 |
3.25 |
3.13 |
4.25 |
|
16 |
75 |
3.50 |
3.50 |
4.25 |
|
17 |
19 |
2.38 |
4.00 |
4.21 |
|
18 |
21 |
3.38 |
4.25 |
4.04 |
|
19 |
25 |
3.38 |
2.75 |
4.04 |
|
20 |
37 |
2.88 |
4.13 |
4.04 |
|
21 |
58 |
3.25 |
2.88 |
4.04 |
|
22 |
9 |
3.75 |
3.00 |
3.92 |
|
23 |
30 |
2.75 |
3.75 |
3.88 |
|
24 |
12 |
3.75 |
3.25 |
3.83 |
|
25 |
15 |
3.50 |
2.50 |
3.75 |
|
26 |
13 |
3.13 |
3.88 |
3.71 |
|
27 |
64 |
2.13 |
2.50 |
3.71 |
|
28 |
52 |
3.13 |
2.38 |
3.67 |
|
29 |
39 |
3.50 |
4.00 |
3.63 |
|
30 |
59 |
2.63 |
3.00 |
3.42 |
|
31 |
65 |
3.38 |
3.63 |
3.33 |
|
32 |
36 |
3.00 |
3.50 |
3.25 |
|
33 |
55 |
2.75 |
2.38 |
3.25 |
|
34 |
70 |
3.00 |
2.25 |
3.21 |
|
35 |
23 |
3.00 |
2.25 |
3.17 |
|
36 |
42 |
3.13 |
2.75 |
3.17 |
|
37 |
51 |
2.88 |
3.13 |
3.17 |
|
38 |
28 |
2.50 |
3.63 |
3.08 |
|
39 |
31 |
2.25 |
3.25 |
3.08 |
|
40 |
33 |
2.38 |
3.00 |
3.08 |
|
41 |
26 |
2.00 |
3.25 |
2.96 |
|
42 |
63 |
2.25 |
2.13 |
2.96 |
|
43 |
22 |
2.13 |
2.63 |
2.88 |
|
44 |
67 |
2.50 |
3.25 |
2.88 |
|
45 |
17 |
2.75 |
1.62 |
2.83 |
|
46 |
35 |
2.13 |
2.25 |
2.83 |
|
47 |
57 |
2.25 |
2.25 |
2.75 |
|
48 |
62 |
3.00 |
2.88 |
2.75 |
|
49 |
32 |
3.38 |
2.88 |
2.63 |
|
50 |
49 |
1.63 |
2.00 |
2.63 |
|
51 |
11 |
2.25 |
2.75 |
2.58 |
|
52 |
38 |
2.88 |
3.50 |
2.58 |
|
53 |
60 |
2.38 |
1.75 |
2.58 |
|
54 |
14 |
3.00 |
2.13 |
2.42 |
|
55 |
5 |
3.50 |
2.63 |
2.25 |
|
56 |
69 |
1.88 |
1.63 |
2.25 |
|
57 |
68 |
2.25 |
2.50 |
2.21 |
|
58 |
40 |
2.25 |
1.13 |
2.04 |
|
59 |
61 |
1.63 |
1.63 |
1.92 |
|
60 |
34 |
1.13 |
1.50 |
1.29 |
|
|
總平均 |
3.02 |
3.09 |
3.47 |
由表6所列數值看來，依相關性由高至低排序及由低至高排序之評分結果（分別為3.02與3.09）皆小於隨機排序之評分結果（3.47），此現象並不符合賭注效應的假設。進一步對此三數列進行重複量數變異數分析，結果顯示三者間之差異達顯著水準（p<.001）。再進一步以多變項變異數分析進行兩兩之間的比較，發現由高至低排序組與由低至高排序組所得之評分值並無顯著差異（p>.05），然而二者與隨機排序的評分結果比較則皆達顯著差異水準（p值皆小於.001），顯示60篇組由高至低排序與由低至高排序之評分結果皆顯著低於隨機排序之評分結果。
由圖7可更清楚看出此三種評分值分布的情形：
圖7 60篇組文獻隨機排序與依相關性排序評分結果之比較
由圖7很明顯可以看出，由高至低排序及由低至高排序的結果皆顯著低於隨機排序的評分結果。此現象與文獻組筆數為15筆是同樣的情形，係因該組受試者之給分顯著低於整個樣本群所致。雖然如此，由低至高排序組的評分結果仍略高於由高至低排序組，仍有輕微的賭注現象，但已不明顯。
（六）75篇組文獻判斷結果之比較
D組的75筆由高至低排序的文獻、與C組75筆由低至高排序的文獻、以及第一階段中該75筆文獻隨機排序所得之判斷結果，其平均評分值之比較如表7所示：
表7
75篇組文獻隨機排序與依相關性排序評分結果之比較
|
流水號 |
文獻編號 |
由高至低排序時平均評分(n=8) |
由低至高排序時平均評分(n=8) |
隨機排序時平均評分(n=24) |
|
1 |
3 |
5.25 |
5.63 |
5.58 |
|
2 |
10 |
4.75 |
4.25 |
4.75 |
|
3 |
66 |
4.63 |
4.13 |
4.75 |
|
4 |
73 |
4.50 |
4.38 |
4.58 |
|
5 |
29 |
4.62 |
4.00 |
4.54 |
|
6 |
71 |
4.25 |
4.13 |
4.50 |
|
7 |
6 |
4.00 |
4.38 |
4.46 |
|
8 |
16 |
4.50 |
4.38 |
4.46 |
|
9 |
74 |
4.38 |
3.88 |
4.46 |
|
10 |
1 |
4.13 |
4.50 |
4.42 |
|
11 |
43 |
4.38 |
3.63 |
4.42 |
|
12 |
4 |
4.38 |
4.50 |
4.38 |
|
13 |
41 |
3.38 |
4.25 |
4.38 |
|
14 |
72 |
3.75 |
4.00 |
4.38 |
|
15 |
79 |
3.63 |
4.00 |
4.33 |
|
16 |
20 |
3.88 |
4.00 |
4.29 |
|
17 |
48 |
3.38 |
3.75 |
4.29 |
|
18 |
7 |
4.25 |
4.00 |
4.25 |
|
19 |
24 |
4.50 |
4.50 |
4.25 |
|
20 |
75 |
3.25 |
3.38 |
4.25 |
|
21 |
19 |
4.13 |
4.63 |
4.21 |
|
22 |
53 |
4.25 |
4.13 |
4.17 |
|
23 |
21 |
3.50 |