LUCENE与SPIDER结合的搜索引擎系统设计

毕业论文在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了新闻搜索引擎的实现代码来说明，图文并茂、易于理解。

搜索引擎的构成

网络机器人

    网络机器人也称为“网络蜘蛛”(Spider)，是一个功能很强的WEB扫描程序。它可以在扫描WEB页面的同时检索其内的超链接并加入扫描队列等待以后扫描。因为WEB中广泛使用超链接，所以一个Spider程序理论上可以访问整个WEB页面。

    为了保证网络机器人遍历信息的广度和深度需要设定一些重要的链接并制定相关的扫描策略。

索引与搜索

    网络机器人将遍历得到的页面存放在临时数据库中，如果通过SQL直接查询信息速度将会难以忍受。为了提高检索效率，需要建立索引，按照倒排文件的格式存放。如果索引不及时跟新的话，用户用搜索引擎也不能检索到。

    用户输入搜索条件后搜索程序将通过索引数据库进行检索然后把符合查询要求的数据库按照一定的策略进行分级排列并且返回给用户。

Web服务器 

客户一般通过浏览器进行查询，这就需要系统提供Web服务器并且与索引数据库进行连接。客户在浏览器中输入查询条件，Web服务器接收到客户的查询条件后在索引数据库中进行查询、排列然后返回给客户端。

查询服务端的具体实现

服务端使用Java Servlet技术，并且部署在Tomcat 服务器上。

构造Result类并继承自HttpServlet

Public class Results  extends HttpServlet { }

覆盖doGet方法来处理客户端Get请求方法

Public void doGet (request , response) {

//具体处理Get请求方法

}