14 Oct 06 新手和老手的网络检索行为

原文出处：Web search behavior of Internet experts and newbiesBy Christoph Hőlscher, Gerhard Strube

在网上查找相关信息是件费时费力的事情，为了更好的帮助用户得到资料，基于对用户特征的更好理解，我们调查了与网络信息查询相关的知识，以及相关背景知识结构和策略。本研究进行了两个实验，从不同角度、不同方法说明这些问题。实验一，首先选定了12位网络专家采访他们的检索策略，然后用术语列举了一系列的现实检索任务；实验二，两类隐性相关的知识类型做了对比。同时还对网络经验和专业背景知识在一系列检索任务中的影响做了调查。我们发现，网络经验和专业知识存在着差异性和互补的作用，成功的检索应当是两种特长相结合，直接与网络经验和专业知识相关的特长都是有用的。
文章首先提出问题：网络信息查询与什么样的知识有关，与什么样的知识结构和策略有关。
对网络“新手”和“老手”的检索行为的调查有几个现实应用特点。首先，要有一个模型作为改进现有检索系统的界面和功能的基础；还有，帮助和向导也可以使得用户在使用过程中更好的理解。
1 网络检索的相关研究：
Byrne et al. [1]对网络用户行为主要调查方面是对浏览的研究，但是浏览并不注重信息查询和检索。Choo et al. [3]，Navarro-Prieto et al. [12]，Several researchers (e.g., [9,15])，Lau and

Horvitz [10]等等对用户检索行为做了一系列的研究，但是他们都没有强调用户个人特征和专业水平。
2 实验1：专家知识和检索习惯的预调查
因对这些“老手”的专业知识没有系统的了解，所以第一个实验是预调查，希望可以得到恰当的描述语言，对相关网络技术的描述、网络老手典型检索行为的恰当表述，以及构建使用搜索引擎查询信息的描述样式。我们把网络技术定义为一种使用媒介的能力。我们选择的调查对象是网络专业人士，都有至少三年以上的经验，在日常工作中获取网络信息，包括信息经济人、网页负责人、网络咨询者、网站内容设计师、图书馆员等。

2.1 第一步：面谈首先要求被调查者描述可以获得的检索服务的经验，他们的检索行为、目的，以及选择特定资源和策略的依据。面谈过程中用卡片记录下他们对相关术语和行为的表述，并让他们对这些概念做图示结构来界定他们的行为，使其概念化。
2.2 第二步：基于网络的信息检索行为实验实验中给这些老手们一些具体的检索任务，让他们在网上操作，可以自由选择自己的检索工具和途径，但是要求他们对自己的检索过程口头表述出来，讲给调查者通过录音记录下来。
2.3 老手的研究结果对于面谈的结果是，老手们的描述各有特点，因此将他们的描述词汇归类建立矩阵，用一些对多数人熟悉的概念来表达。
对于查询任务的调查，我们做了两个层次的分析，信息搜索步骤和个人信息查询提问。被调查者总共处理了56个问题，三分之二都解决了，共划分出1956个动作，主要分析结果如下。

图1: Global level of the process model of information seeking in Experiment 1: Browsing vs. Searching. (values represent transition probabilities to the next unit. The transition probabilities going out from a given step of the model add up to 100%, but transition probabilities of .03 and below are omitted here to reduce visual clutter)

图1显示了浏览和检索的比例，三分之二的检索任务是以检索完成的，老手们最初都是选择搜索引擎的。只有三分之一的问题首选浏览。而一旦开始选择了浏览就会接着点击几次浏览到找到需要的信息，但是通常也会返回到搜索引擎，因此经常是有必要就会浏览和查询交替使用。

图2: Close-up of direct interaction with a search engine. (values represent transition probabilities to the next unit. Transition probabilities of .03 and below are omitted to reduce visual clutter)

图2显示的是对搜索引擎的使用。但是当没有相关查询结果的时候，反应就不大相同了，有修改检索式的，选择其他搜索引擎的，修改其他检索结果或者检查先前的结果的。老手们的检索行为是灵活多变的。同时，个人查询也做了分析，与可得用户行为数据做了对比。Jansen和Silverstein分别对EXCITE与AltaVista搜索引擎描述了大量普通用户的查询数据。如表1所示FIREBALL搜索引擎的管理人员给我们的用户资料与我们的老手用户资料对比，有几点差异：首先，FIREBALL平均每次查询包含1.66个词，而我们的老手是3.64个词，都是平均检索两次。还有就是老手们比普通用户使用高级检索要频繁的多，例如：布尔逻辑、词组检索等。

表1 Usage of query formating in experiment 1 (the Expert study) and aggregated statistics from the Fireball search engine.
第一部分的实验证明了网络用户使用媒介的技术的重要性。专家们频繁的抱怨缺少关于个要搜索的问题的相关知识，因为对自己技术能力有信心所以清楚的知道这个障碍。
3 实验2 (EURO研究）
实验2以对比网络技术操作能力和专业领域知识对检索过程的直接影响。选中了当前经济领域的欧洲货币联盟一个课题，对该课题的信息检索问题作为实验对象。2因素2水平独立因素实验，设计了4个小组，参与者中“新手”是招募的经济学领域的学生，“老手”网络专家是经过面谈、预测试评估的，这样数据分析中去掉了中间水平的用户。
实验中使用了两种检索任务，一种是模拟检索，一种是必须执行的检索任务。
3.1模拟检索由“老手”的预测试过程中的经验，我们将复杂检索任务根据检索过程中的独立步骤拆分为几个任务，检索式选择、查询修改等。这些模拟任务在问卷中做了比较。这种研究方法是为了确保每个被测者使用的单词、查询和结果显示页面有可比性。在“真实”的检索任务中，被测者通过不同的途径解决任务。
3.2 网络检索任务第二部分中，我们尽可能的减少限定，不采用复杂的技术。被测者要通过网络解决5个问题，可以自由的选择处理方式和搜索，唯一的限制是每个问题10分钟内解决。所有的操作行为都用代理服务器以日志记录下来。服务器监测协议可以记录下来大多数的相关信息，例如访问时间、次数、访问网址（URL）以及访问时长。此外，我们还有HTTP编码记录结果，例如，要访问的文档物理上不可获取等，很多情况下，参考链接也是一个重构行为线索的重要工具。分析的时候，服务器日志和监测协议的记录要结合用来分析用户行为分类。
通过比较检索的过程中显示的浏览和检索行为，区分信息查询的策略和技术的差异。
3.3 “老手”和“新手”的双重比较结果
下面列出的数据是一个24个被测试者，网络技能（高/低）和领域知识（高/低）即2×2的设计中，每个单元6人。我们分析了四类数据：完成速度、操作程序、花费时间以及检索式的准确性。
完成速度
实验证明网络检索任务对所有的被测试者都相当难，除了那些既有网络技能又有领域知识的人（双老手）解决问题数可以达到3.2-5，其他三组测试者解决的问题多数不超过2-5个。
操作程序
所有被试人群的操作顺序与“老手”们的顺序对比
一个明显的差异是被试者明显没有找到有用的网页而不得不重新检索（详见图3和图4）。这就使得可能反映任务难度和被测试者差异的研究增加了难度，请注意从专家的研究到EURO的研究有些许变动。

图3: Global level of the process model of information seeking: all four groups of the EURO study combined. (transition probabilities)

图4: Close-up of direct interaction with a search engine: all four groups (novices & experts) of the EURO study combined. (transition probabilities)
“老手”和“新手”的差异

图5: Initial behavior - the first action performed after receiving a task. (Web +/- refers to Web expertise, Econo +/- refers to domain knowledge)
看一下被测试者选择的初始行为（图5），我们发现组间有几个主要的差别。只有“双老手”直接进入经济学相关网站，其他人则都选择搜索引擎、网络专家直接输入他们喜欢使用的搜索引擎的URL，而“双新手”则更愿意选择浏览器的搜索按钮。

图6: Actions selected on a search engine result page. (Web +/- refers to Web expertise, Econo +/- refers to domain knowledge)
一旦检索到了结果（图6），网络老手相对新手更倾向于选择看起来相关的一些目标文件（35％：25％），而新手更频繁的是重新检索。我们还分析了熟悉领域知识的人和熟知网络技能的人的主要差异：没有领域知识的网络专家更多的挑选目标文件（可能缺乏明确的选择标准）。“双新手”则更频繁的修改检索式，而看的相关目标文件不仅数量少而且相关性比例也低；同时还发现他们的检索式修改少而且无效，因而导致了反复重新检索。

图7: Transitions while Browsing. (Web +/- refers to Web expertise, Econo +/- refers to domain knowledge)
看看浏览行为，我们同样可以找到一些明确的差异。图7显示了一旦他们从浏览页面中找到一个相关文件以后的行为。“双老手”的行为如下：他们更可能继续浏览（顺着链接）发现新的内容，或者变化策略选择另外一个搜索引擎。他们很少返回操作，或者返回到先前的检索结果。而对不太熟练的人则是返回操作非常普遍，而“双新手”使用的最多。现在还没有定论，是否新手浏览的有用信息比老手少，一旦他们没有得到结果唯一的出路就是返回，而老手们有更为灵活的反应。
花费时间
从代理服务器可以看到翻页之间的时间间隔。这些间隔不能认为检索模型的步骤对于所有步骤是等同的。例如，当一个用户开始第一步检索，接下来的翻页过程包括三步：浏览最初的检索结果，发现并调整检索式，提交新检索式。这就使得分析直接花费在利用搜索引擎上的的时间有了困难，而且这几步的测量不是很清晰。
这个问题对于网页内容上花费的时间远不够明确。因此，在网页内容上用户花费的时间差异就比较大（图8）。

图8: Time spent with Web pages. (Web +/- refers to Web expertise, Econo +/- refers to domain knowledge)
我们发现，从搜索引擎得到的结果中直接选定的一个网页上的文件所花费的时间，与领域知识直接相关(MANOVA: F=11.44, p。在一个领域了解的知识越多，查找该领域的一个文件的时间就越少，阅读检索结果的时间越少采取下一步行动就越快。网络技能也可以减少花费在文件选择的时间，但是这个因素的作用不太明显。
在浏览检索结果链接网页中各组的差异不大。这完全可能是因为这类网页本身的问题。一类是与经济领域相关的内容，还有像导航页面功能的网页，以及搜索引擎帮助页面。这些网页就可能减少了领域知识因素对阅读网页内容所花时间的造成的差异。同时我们还发现，网络老手的阅读时间稍短一些，但是没有显著的影响。因此网络技能在时间量度方面的影响较弱，但并非与链接到一个主题相关的页面没有关系。
检索式准确性
我们发现同一检索式对于网络检索和模拟检索任务，模拟检索的数据更为明显（表2）。

表2：Query formatting in Simulated Search tasks (percent of all queries).
网络老手比新手明显更依赖于查询格式工具（87％：47％），而熟知领域知识的人使用布尔逻辑操作和调整的少。相比网络老手的检索式中错误率更高（19.6％：1.9％）。
每个提问中检索词数目，检索词来源也是时间条件因素，但仅限于网络检索而非模拟检索。
从实验1得到经验，网络老手可能会用较长的检索式。然而这个假设不成立：老手与新手的检索词比例为2.61：2.32词/检索式，相反我们发现领域知识有显著的作用：领域知识缺乏的人的检索式相对较长，平均每个检索式的长度2.96：1.97个词，也许是因为领域专家知道准确的专业术语，字数上就少了。
表2中检索式格式分析表明，被测试者有丰富的领域知识但是缺乏网络经验就较少使用查询形式。他们为了弥补这项缺陷，更多的使用口头语、更为灵活：他们更多的运用自己的术语而不使用检索任务陈述语言中的词，而且调整检索式的时候比别人更彻底的改变检索词。
4. 结论：
在针对老手的实验1中，我们调查了检索过程中的网络专业概念，并且得到了一个与搜索引擎交互过程的模型。这个模型首先应用到同一组网络专业人士的检索行为，我们认为这个模型发挥了获取专家检索行为的作用。
第二部分EURO的研究中，我们集中在对网络老手和新手检索的对比上。结果表明上面的模型可以应用于老手和新手检索行为研究，而且还可以获得不同人群之间的差异。
老手分为网络技能老手和专业领域背景知识的老手，本研究中的专业知识是经济学领域。这两类人群表现出了独立和交互作用。在检索行为中，被测试者可以就自己的强项发挥优势。某一方面不足的就会有补偿行为，例如，熟知领域知识并且是网络新手的就依靠专业术语而避免用查询格式。领域知识缺乏的在策略方面不够灵活，他们就转向多次检索而不是尝试新的方法。
“双新手”在EURO研究中面临的主要问题仍然是在检索过程中领域知识和网络技能的结合。
对于实验1和实验2的被测试者来说，网络信息检索比较难。这也就表明了网络检索有很大的改进空间。实验人群之间的行为差异显示出搜索引擎用户是异源人群，需要区别对待。新手在建立正确的检索式方面有较大的困难，因而要为他们提供形成检索式的帮助工具。
因为对新手来说成功的网络检索很难，学习如何有效使用搜索引擎成为所有的网络技能训练中的中心内容。我们的研究中的新手对网络检索中的问题都不知道，例如，搜索引擎的范围有限，用适当的标准来建立检索式是必要的。网络老手和新手之间的差异在于新手知识缺乏，可以直接对其进行网络技能训练。
[1] Byrne, M. D., John, B. E., Wehrle, N. S., & Crow, D. C. (1999). The tangled web we wove: A taskonomy of WWW use. In Human Factors in Computing Systems: Proceedings of CHI 99 (pp. 544-551). Reading, MA: Addison Wesley.

[2] Catledge, L. D., & Pitkow, J. E. (1995). Characterizing Browsing Strategies in the World-Wide Web. Computer Networks and ISDN Systems, 27, 1065-1073.

[3] Choo, C. W., Detlor, B., & Turnbull, D. (1999). Information Seeking on the Web - An integrated model of browsing and searching. Proceedings of the Annual Meeting of the American Society for Information Science (ASIS). [WWW document]. Available: URL http://choo.fis.utoronto.ca/fis/respub/aisis99/

[4] Cockburn, A., & Jones, S. (1996). Which way now? Analysing and easing inadequacies in WWW navigation. International Journal of Human-Computer Studies, 45, 105-129.

[5] Ericsson, K. A. & Simon, H. A. (1993). Protocol analysis: verbal reports as data. Cambridge, MA: MIT Press.

[6] Hsieh-Yee, I. (1993). Effects of Search Experience and Subject Knowledge on the Search Tactics of Novice and Experienced Searchers. Journal of the American Society for Information Science, 45(3), 161-174.

[7] Hurtienne, J., & Wandke, H. (1997). Wie effektiv und effizient navigieren Benutzer im World Wide Web? Eine empirische Studie [How effectively and efficiently do users navigate in the WWW? An empirical study]. In D. Janetzko, B. Batanic, D. Schoder, M. Mattingley-Scott & G. Strube (Eds.), CAW-97: Workshop Cognition & Web. (pp. 93-104). Freiburg. IIG Berichte 1/97

[8] Jansen, B. J., Spink, A., Bateman, J., & Saracevic, T. (1998). Real life information retrieval: A study of user queries on the Web. SIGIR Forum, 32(1), 5-17.

[9] Janetzko, Dietmar (1998). Card-sorting and knowledge elicitation. unpublished manuscript.

[10] Lau, T., & Horvitz, E. (1999). Patterns of Search: Analyzing and Modeling Web Query Dynamics. Proceedings of the Seventh International Conference User Modelling - UM99, 119-128.

[11] Marchionini, G., Dwiggins, S., Katz, A., & Lin, X. (1993). Information Seeking in Full-Text End-User-Oriented Search Systems: The Roles of Domain and Search Expertise. LISR, 15, 35-69.

[12] Navarro-Prieto, R., Scaife, M., & Rogers, Y. (1999). Cognitive Strategies in Web Searching. Proceedings of the 5th Conference on Human Factors & the Web, June 1999. [WWW document] Available: URL http://zing.ncsl.nist.gov/hfweb/proceedings/navarro-prieto/index.html

[13] Pollock, A., & Hockley, A. (1997). What’s wrong with Internet Searching. D-Lib Magazine.[WWW document]. Available: URL http://www.dlib.org/dlib/march97/bt/03pollock.html

[14] Shneidermann, B., Byrd, D., & Croft, W.B., (1997). Clarifying Search: A User-Interface Framework for Text Searches. D-Lib Magazine. [WWW document] Available: URL http://www.dlib.org/dlib/january97/retrieval/01shneiderman.html

[15] Silverstein,C., Henzinger, M., Marais, H., & Moricz, M. (1998). Analysis of a very large Alta Vista Query Log (SRC Technical Note 1998-014). Palo Alto, CA: digital Systems Research Center.

[16] Strube, G., Janetzko, D., & Knauff, M. (1996). Cooperative construction of expert knowledge: the case of knowledge engineering. In P. B. Baltes & U. M. Staudinger (Eds.), Interactive minds (pp. 366-393). Cambridge: Cambridge University Press.

[17] Tauscher, L., & Greenberg, S. (1997). How people revisit web pages: Empirical findings and implications for the design of history systems. International Journal of Human-Computer Studies, 47, 97-137.