基于Hadoop生态圈的数据采集和分析系统（论文+源码）

admin

摘要：

本系统是基于Hadoop生态圈的日志监控和告警系统，主要使用了Hadoop，storm，kafka，flume，Zookeeper等技术。运用大数据技术解决企业日志实时监控和告警的问题。主要的流程是通过Flume对企业的日志进行采集,传输到kafka中，然后kafka的数据通过storm实时消费，同时将kafka中数据落地到hdfs中，storm获取到数据后，对数据进行解析，首先过滤掉没有使用日志监控的应用信息，然后判断是否触发规则，如果触发则通过RPC向相应的企业系统管理人员发送短信和邮件。最后将触发的信息保存在mysql中。通过这些流程可以实现日志实时监控和告警。


关键词：大数据 日志 监控 告警 storm

目录：

1. 项目的背景和意义        4
2. 可行性分析        5
2.1架构可行性分析        5
2.2技术可行性分析        5
3. 系统需求分析        7
3.1业务分析        7
3.2数据库分析        7
4. 数据库设计        10
4.1用户表设计        10
4.2应用表设计        11
4.3应用类型表设计        11
4.4 规则表设计        12
4.5规则记录表设计        12
5. 集群设计        13
5.1 Flume集群的设计        13
5.2 kafka集群的设计        13
5.3 Storm集群的设计        13
6. 系统详细设计        14
6.1模型层设计        14
6.2 DAO层设计        16
6.3 发送短信设计        18
6.4 发送邮件设计        18
6.5 日志监控和告警核心处理类设计        20
7. 系统测试        21
7.1 测试的目的与目标        21
7.2 测试方法        21
7.3测试用例        22
7.4 测试结论        22
8.结论        23


论文字数：6984
包含资料：






此套毕业设计百度网盘下载地址（金币充值）：

游客,本付费内容需要支付 200金币 才能浏览支付