[摘要]基于爬虫(也叫Spider)的搜索引擎利用一个称为Spider的程序自动访问Web站点,提取站点上的网页,并根据网页中的链接进一步提取其它网页或转移到其它站点上。Robot搜集的网页被加入到搜索引擎的数据库中供用户查询使用。基于Spider的搜索引擎山三个主要部分构成Spider, Index和搜索软件。
[关键词]搜索引擎,分类,爬虫,元搜索引擎
目前Internet上的搜索引擎按其工作方式主要可分为三种,分别是爬虫式的搜索引擎(Spider Based Search Engine),目录搜索引擎(Search Directory)和元搜索引擎(Meta Search Engine)。
一、爬虫式的搜索引擎
爬虫从一个事先制定好的URLs列表出发,这个列表中的URLs通常是从以往访问记录中提取出来的,特别是一些热门站点和“Whats New”网页,从Usenet等地方检索得到的URLs也常被用作起始URLs,很多搜索引擎还接受用户提交的URLs,这些URLs也会被安排在列表中供爬虫问列表中,如此递归地访问Web。
爬虫作为一个程序,可以用C, Perl, Java等语言来编写,可以运行在Unix, Solaris, Windows, NT, OS2和MAC等平台上。爬虫设计是否合理将直接影响它访问Web的效率,影响搜索数据库的质量,另外在设计爬虫时还必须考虑它对网络和被访问站点的影响,因为爬虫一般都运行在速度快,带宽高的主机上,如果它快速访问一个速度比较慢的目标站点,就有可能会导致该站点出现阻塞甚至当机。Robot还应遵守一些协议,以便被访问站点的管理员能够确定哪些内容能被访问,哪些不能。Index是一个庞大的数据库,爬虫提取的网页将被放入到Index中以便建立索引,不同的搜索引擎会采取不同方式来建立索引,有的对整个HTML文件的所有单词都建立索引,有的只分析HTML文件的标题或前几段内容,还有的能处理HTML文件中的META标记或其它小可见的特殊标记。当用户查询一个关键词时,搜索软件将搜索Index,找出所有与关键词相符合的网页,有时候这些网页可能有成千上万,等级值的用途就是作为一种排序的依据,搜索软件将按照等级值从高到低的顺序把搜索结果送回到用户的浏览器中。
这类搜索引擎因为依靠程序搜集数据,所以其数据库相当庞大,搜索的结果查全率较高,但查准率较低。例如著名的搜索引擎Google, Baidu,A1taVista, InfoSeek等。
二、目录搜索引擎
目录搜索引擎的数据库是依靠专职编辑或志愿人员建立起来的,这些编辑人员在访问了某个Web站点后撰写一段对该站点的描述,并根据站点的内容和性质将其归为一个预先分好的类别,把站点的URL和描述放在这个类别中,当用户查询某个关键词时,搜索软件只在这些描述中进行搜索。很多目录也接受用户提交的网站和描述,当目录的编辑人员认可该网站及描述后,就会将之添加到合适的类别中。目录的结构为树形结构,首页提供了最基本的几个大类的入口,用户可以一级一级地向下访问,直至找到自己感兴趣的类别,另外,用户也可以利用目录提供的搜索功能直接查找一个关键词。不过,由于目录式搜索引擎只在保存了对站点的描述中进行搜索,因此站点本身的动态变化不会反映到搜索结果中来,这也是目录式搜索引擎与基于Robot的搜索引擎之间的一大区别。
三、元搜索引擎
元搜索引擎也叫做Multiple Search Engine,元搜索引擎在接受用户查询请求时,同时在其他多个引擎上进行搜索,将结果进行相关处理,以整体统一的格式反馈给用户。它的特点是本身并没有存放网页信息的数据库。严格意义上来讲,元搜索引擎只能算是一种用户代理,而不是真正的搜索引擎。多数元搜索引擎在处理其它的搜索引擎返回结果时,只提取出每个搜索引擎的结果中考前的条目,然后将这些条目合并在一起返回给用户,因此最后结果的数量可能会远少于直接在一个搜索引擎上进行查找所得到的数量。
元搜索引擎实现起比较简单,但是它也有一定的局限性,例如多数元搜索引擎都只能访问少数几个搜索引擎,并且通常不支持这些搜索引擎的高级搜索功能,在处理逻辑查询时也常常会出现错误。著名的元搜索引擎有InfoSpace,Dogpile,Vivisimo等(元搜索引擎列表)。在搜索结果排列方面,有的直接按来源引擎排列搜索结果,如Dogpile,有的则按自定的规则将结果重新排列组合,如Vivisimo。
在这几中检索工具中,目录式搜索引擎虽有成本高,信息t少的缺点,但它的信息准确这一优点是另二者所无法比拟的,故在一定的领域,一定的时间,它仍会被使用:机器人搜索引擎是当前各种搜索引擎的主流;但随着网络信息量的不断增加,单一的搜索引擎已经难已满足其要求,结合目录式搜索引擎,机器人搜索引擎的优势,以元搜索引擎核心的多层代理搜索引擎是搜索引擎的发展方向。
搜索引擎技术从出现至今已获得了飞速的发展,现在的搜索引擎功能越来越强大,提供的服务也越来越全面,它们的目标不仅仅是提供单纯的查询功能,而是把自己发展成为用户首选的Internet入口站点。目前的搜索引擎主要有以下几个主要特点:
1.多样化和个性化的服务。现在绝大多数搜索引擎都提供多样化的服务,以吸引更多的用户,商业搜索引擎尤其注重这一点。以Yahoo为例,用户可以从它的首页中查看新闻,金融证券,天气预报等信息,还可以进行网上购物,拍卖或者使用Email等服务。可以说多样化和个性化的服务既满足了用户更多的需求,也为搜索引擎网站带来了更多的利润。
2.强大的查询功能。与最早的搜索引擎相比,现在的搜索引擎在查询功能方面已有了很大的改进。除了简单的AND,OR和NOT逻辑外,不少搜索引擎还支持相似查询,例如AltaVista,Lycos等支持短语查询,AltaVista的高级搜索功能支持NEAR逻辑等。
3.目录和基于Robot的搜索引擎相互结合。目录和基于Robot的搜索引擎都具有自己的特点,在当前的技术条件下,最好的选择是将两种技术进行结合,同时为用户提供这两种类型的服务。以Yahoo为例,用户既可以进行分类网站查询也可以进行全部网页查询,这两种不同的查询方式很好的满足了不同用户的需求。虽然搜索引擎已经为用户提供了快捷和便利的服务,但是也存在着许多问题和不足。特别是在系统的稳定性,速度,易用性和返回的信息量及相关度方面还与人们的要求存在着一定的差距,搜索引擎技术的发展任重而道远。
参考文献:
[1]刘建国.搜索引擎概述.北京大学计算机与科学技术,1999,(10):200.
[2]李晓明,刘建国.搜索引擎技术及趋势.大学图书馆学报.2000,(16).
