|
技术:Java等
摘要:
在当今社会,互联网的发展,给人类的生活和工作带来了极大的便利,随着互联网的进步与改革,“大数据”这个词在近几年逐渐的渗透进我们生活中。大数据,它的基本的含义是指不能在能承受的时间内使用常规的软件捕捉、管辖和使用的数据集合,是必须要新的处理方法才可能有更加强大的决策能力、洞察能力和优化流程能力从而适合大量、高增长和多样的信息资源。
在大数据概念日益普及的情况下,我们如何从中获得自己需要的数据,成为了我们首先需要考虑的问题。所以,互联网界在近几年兴起了关于各种网络爬虫搜索引擎的浪潮。
今天,我的毕业设计主题就是《基于网络爬虫的股票信息收集软件的设计与实现》,该设计主要分为如下四个部分:(1)首先需要设计一个网络爬虫的程序对目标网站(https://xueqiu.com/)进行爬取必要的信息;(2)将爬取的数据保存;(3)我对数据进行画图分析(主要是柱状图);(4)向其他人展示;通过上述规划,我认为可以实现我的目的:向大家说明近期排在热股榜的股票公司信息,并且通过柱状图定期展示这些股票公司的上榜次数,从而让人们了解到最近什么股票是热门的,达到简单的推荐效果。
本系统主要运用的技术有:JDBC链接mysql数据库,Java网络编程的知识,eclipse的使用方法。
关键词:大数据;网络爬虫;Java;mysql
目录:
1 绪 论 1
1.1 课题背景 1
1.2 目的和意义 2
1.3 国内外研究现状综述 2
1.4 网络爬虫基本思想 3
1.5 作者的论文结构 5
2 系统分析 7
2.1 经济可行性 7
2.2 技术可行性 7
2.3 市场可行性 8
2.4 软件需求分析 9
2.5 开发工具的分析 9
2.6 Java与mysql的特点分析 11
2.6.1 Java特点分析 11
2.6.2 Mysql特点分析 13
2.7 本章小结 14
3 总体设计 15
3.1 系统模块设计 15
3.1.1 系统模块信息 15
3.1.2 系统模块图 16
3.2 爬虫流程设计 16
3.2.1 流程描述 16
3.2.2 流程图 17
3.3 编程思想设计 17
3.4 本章小结 18
4 系统实现 20
4.1 App.java 20
4.2 Customer.java 20
4.3 Stock.java 22
4.4 MainUi.java 23
4.5 JdbcUtils.java 26
4.6 HttpUni.java 29
4.7 本章小结 33
5 系统说明及测试 34
5.1 系统开始步骤 34
5.2 爬虫的基本规则 34
5.3 系统测试及总结说明 34
5.4 本章小结 37
6 结 论 38
参考文献 39
致 谢 40
附 录 41
外文原文: 41
中文翻译: 46
论文字数:23266
包含资料:
截图:
百度网盘下载地址(金币充值):
游客,本付费内容需要支付 200金币 才能浏览 支付
|
|