189jsp基于网络爬虫的搜索引擎

点击上面课题下载设计演示录像（建议用电脑用爱奇艺万能播放器看录像）

摘要

本文从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地住，提出了网络蜘蛛的功能和设计要求。在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。

关键字：爬虫、搜索引擎

Abstract

The paper，discussing from the application of the search engine，searches the importance and function of Web spider in the search engine．and puts forward its demand of function and design．On the base of analyzing Web Spider’s system strtucture and working elements．this paper also researches the method and strategy of multithreading scheduler，Web page crawling and HTML parsing．And then．a program of web page crawling based on Java is applied and analyzed．

Keyword: spider, search engine

目录

摘要

Abstract

一、项目背景

1.1搜索引擎现状分析

1.2课题开发背景

1.3网络爬虫的工作原理

二、系统开发工具和平台

2.1关于java语言

2.2 Jbuilder介绍

2.3 servlet的原理

三、系统总体设计

3.1系统总体结构

3.2系统类图

四、系统详细设计

4.1搜索引擎界面设计

4.2 servlet的实现

4.3网页的解析实现

4.3.1网页的分析

4.3.2网页的处理队列

4.3.3 搜索字符串的匹配

4.3.4网页分析类的实现

4.4网络爬虫的实现

五、系统测试

六、结论

致谢

参考文献

admin

收藏 链接