|
技术:Java、Hadoop等
摘要:
随着大数据时代的到来,我们对数据的依赖性大大提升,在奔流的数据大河中,数据的信息量呈爆炸性涌向我们的面前。伴随着数据量爆炸的同时,我们对数据的选择产生了盲目,迷失于数据的银河当中,而推荐系统,正是解决这一问题的钥匙。推荐系统是目前在商贸领域处理买家数据最受欢迎的系统。推荐系统就是从买家的视角出发,以买家视角去将买家从未浏览过的产品信息进行整合,将这些信息中,买家感兴趣的,可能会用到的进行分类处理,然后筛选、推荐。
本文将运用Hadoop平台,实现一些简单的、基础的用户推荐。Hadoop Distributed File System,简称HDFS,即Hadoop分布式系统。在Hadoop中包含了MapReduce分布式计算系统,一般的 MapReduce分布式计算系统至少包含 三个组成函数: Map、Reduce和main函数。main 函数的作用是将对作业的掌控和对文件的处理结合起来。同时为 Hadoop开发人员提供许多工具,可用于调试程序等任务。
本文将通过简单的MapReduce来进行操作,完成推荐。
关键字:大数据;推荐系统;Hadoop;MapReduce
目录:
摘要…………………………………………………………………………I
Abstract…………………………………………………………………………………...II
目录……………………………………………………………………………………....III
1 引言……………………………………………………………………………………...1
1.1编写目的…………………………………………………………………………………...1
1.2背景……………………………………………………………………………..................1
1.3定义…………………………………………………………………................................2
1.4采用hadoop集群的优劣性 ……………………..………………………………….......2
1.4.1采用Hadoop集群的优势 ……………..…………………………………...................2
1.4.2采用Hadoop集群的劣势 …………..…………………………………......................2
1.5Hadoop简介...................……………...………………………………….……………….3
1.5.1名字起源.......... ……………..…………………………………................................3
1.5.2 Hadoop生态系统..... …………..…………………………………............................3
2系统结构……...……………………………......................................................5
2.1推荐系统模型图.......……………………………………………………………………...5
2.2集群结构模型......………………………....………………………………………………6
2.3Mapreduce架构.................……………....……………………………………….……8
2.3.1Mapreduce相关代码…………..…………………………………...............................9
2.3.2Mapreduce提供的主要功能..…………………………………...............................11
3开发工具与技术…….……………………………………….............................12
3.1Ecilpse...............................…………………………………………………………….12
3.2HDFS…………………………………………………………………………....................12
3.3UltraEdit……………………………………………………………….........................12
4推荐系统的设计与实现……...…………………………........................................13
4.1HDFS集群搭建……………………………………………………….........................13
4.2程序设计与实现……………………………………………………….........................16
5结论…………….…………………………………………........................................21
5.1HDFS搭建结果……………...…………………………………………………………...21
5.1程序运行结果…..……………………………………………………………………...21
6致谢…………….…………………………………………...................................23
7参考文献…………….………………………………………….................................24
论文字数:9558
包含资料:
截图:
百度网盘下载地址(金币充值):
游客,本付费内容需要支付 200金币 才能浏览 支付
|
|