基于python网络爬虫与实现(论文+源码)
摘要:从互联网创立以来,存在于网络上的信息量越来越多,为了帮助人们更好的梳理这些内容,从中提取出自身所需要的信息,搜索引擎便诞生了。市面上的搜索引擎多种多样,然而它们的本质大多相同,那便是搜集网络上的内容,并加以整理,建立出一个索引列表,当用户输入关键字时,再将列表中的内容提供给用户。如此大量的信息只能去依靠计算机程序进行自动工作运算,而这个工具——网络爬虫,即是搜索引擎的核心所在。本文将使用Python这个语言平台,编写网络爬虫,以此来探究搜索引擎的工作原理。
关键词:
关键词:网络爬虫;搜索引擎;Python
目录:
第一章 概述 1
1.1 课题背景 1
1.2 搜索引擎与网络爬虫的联系 1
1.3 网络爬虫的分类 2
1.4网页搜索策略 2
1.5 网络爬虫的发展趋势 2
第二章 相关的技术背景 3
2.1 Python 3
2.2 网络爬虫 4
2.3 Chrome DevTools 4
2.4 API接口 4
2.5 HTTP协议 5
2.6 Beautiful Soup 5
第三章 网络爬虫的设计和实现 5
3.1开发目的 5
3.2可行性测试 6
3.3具体实现 8
第四章 测试 10
4.1测试目的 10
4.2详细测试 10
第五章 总结和展望 12
参考文献 13
论文字数:7999
包含资料:
此套毕业设计百度网盘下载地址(金币充值):
**** 本内容需购买 ****
页:
[1]