基于java网络爬虫的设计与实现毕业设计论文
技术:Java、JSP等摘要:
本课题主要从Java编程角度出发设计一个网络爬虫系统,系统主要有文件解析模块,响应请求模块以及主程序控制模块组成。该程序能够实现自动抓取网页内容,利用tamcat服务器,通过给定的URL种子,在服务其中键入所需查找的关键字就可以抓取所需要的信息。
关键字:Java;网页解析;爬虫
目录:
第1章绪论 1
1.1 网络爬虫的背景 1
1,2 国内外技术发展分析 1
1.3 系统设计的意义 1
第2章总体设计方案 2
2.1 系统设计方案 2
2.2 网络爬虫框架分析 2
2.3 爬虫逻辑架构设计 3
第3章爬虫相关技术介绍 4
3.1 Java简介 4
3.2网页解析 4
3.3URL 5
3.4 Tomcat介绍 5
3.5系统开发环境 5
3.5.1硬件环境 5
3.5.2软件环境 5
第4章爬虫的设计与功能模块介绍 6
4.1爬虫工作流程设计 6
4.2主要功能模块(类)设计 7
第5章系统测试 8
第6章总结 9
6.1设计小结 9
6.2收获体会 9
参考文献 10
致谢 11
附录 12
附录A:文件解析类 12
附录B:响应请求类 14
附录C:主程序 16
论文字数:6560
包含资料:
截图:
百度网盘下载地址(金币充值):
**** 本内容需购买 ****
页:
[1]