SparkSQL大数据日志分析并可视化毕业设计论文

admin

技术：sparkSQL等
摘要：伴随着大数据科技的发展和成熟，越来越多的企业和机构使用大数据来进行分析和决策。其主要的分析数据来源于日志文件，所以对日志文件的分析是很重要的也是很关键的步骤。
本系统实现的功能是，将日志信息生成、日志信息传送、日志信息分析，最后落地并可视化展示。完成的业务需求是统计课程TOPN信息，按照地市统计课程TOPN信息，按照流量统计TOPN信息。
系统从需求分析、结构设计、数据库设计，最后到系统实现，分别实现了数据采集、数据收集集群、消息队列、大数据集群、spark数据的处理和落地、java web从数据库读取数据并可视化的功能。本文从系统描述、系统分析、系统设计、系统实现和系统测试几个方面对系统进行了描述和开发。系统使用了大数据的各个框架来辅助完成数据采集和分析功能。系统使用了hadoop集群和spark混用的模式，日志采集使用了flume框架对日志进行采集处理，消息队列使用了kafka框架来搭建，使用zookeeper进行集群容错性管理。最后Spark集群上使用了SparkSQL来对大数据进行离线批处理。在可视化的过程中使用了echarts开源框架等技术进行实现。
关键字：sparkSQL；离线批处理；日志采集；mysql数据库；echarts

目录：
1  概述    6
1.1 开发背景    6
1.2 开发意义    6
1.3 论文结构    7
1.4 本章小结    8
2  关键技术和使用的工具环境等的说明    9
2.1 IDEA简介    9
2.2 HTML/CSS简介    9
2.3 Spark简介    10
2.4 SparkSQL简介    10
2.5. Hadoop简介    11
2.6. ECharts简介    11
2.7. Mysql简介    11
2.5 本章小结    12
3  需求分析    13
3.1 功能需求分析    13
3.2 业务流程分析    13
3.3 数据流图    17
3.4 数据库概念模型设计    20
3.5 本章小结    20
4  总体设计    21
4.1 系统网络架构设计    21
4.2 系统总体设计    21
4.3 系统功能模块设计    22
4.4 数据库逻辑结构设计    24
4.5 本章小结    24
5  详细设计    25
5.1    程序系统的结构    25
5.2  大数据集群框架模块设计说明    25
5.2.1 程序描述    25
5.2.2 功能    25
5.2.3 算法    26
5.3  大数据处理模块设计说明    26
5.3.1 程序描述    26
5.3.2 功能    27
5.3.3 算法    27
5.4  数据可视化模块设计    27
5.4.1 程序描述    27
5.4.2 功能    28
5.4.3 算法    28
5.4  数据库详细设计    28
5.4.1 数据库表设计    28
5.4.2 数据库连接设计    30
6  系统编码    32
6.1 数据清洗的实现    32
6.2 数据库工具类编写实现    34
6.3导入IPUtils工具类对IP进行解析    36
6.4编写Dao层将数据解析并存储到数据库中    36
6.5 对各维度数据的统计并调用Dao入库    40
6.6 构建数据可视化项目    45
6.7 使用echarts进行数据可视化    47
6.8 本章小结    50
7  系统测试    51
7.1 运行环境说明    51
7.2 服务器集群测试    51
7.3 单元测试    52
7.4 测试结果    55
7.5 本章小结    55
结束语    56
参考文献    58
致  谢    59
外文原文    60
中文翻译    68

论文字数：24253
包含资料：


功能：

编号	功能名称	功能描述	输入内容	输出内容
1	数据清洗	将数据进行清洗，从大量的数据中筛选出重要的字段	原始日志文件	需要的数据格式
2	数据格式转换	对数据格式进行转换，转换成格式文件	第一次清洗后的日志	Parquet格式文件
3	数据分析	对格式文件进行读取并分析	Parquet文件	分析统计结果
4	数据库存储	将分析和统计结果写入到数据库中	分析统计结果	数据库数据
5	可视化数据读取处理	将mysql数据库中的数据读并转换成前端需要的格式	Mysql数据库表数据	前端需要的数据块
6	数据可视化	将数据转换成图表	数据结果	直观图表

截图：


百度网盘下载地址（金币充值）：

游客,本付费内容需要支付 200金币 才能浏览支付