收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2988030
访问用户量:3026
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2017-08-29 22:51:27
某大型互联网企业用户上网行为日志分析系统——云计算项目实战
浏览(29199)|评论(73)   交流分类:Java|笔记分类: 云计算综合实战项目

配套视频课程:http://sishuok.com/product/661

配套PPT下载:http://sishuok.com/forum/posts/list/6766.html

 

 

某大型互联网企业用户上网行为日志分析系统

 

每天5亿条数据,上百个节点的实际商业项目

为您展现云计算技术真正的商业使用方式,Hadoop,Hive,HBaseZookeeper、Oozie等技术在真实商业系统中到底如何使用

 

该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对

 

该项目为真实完整的商业项目,涉及Hadoop,Hive ,HBase,Zookeeper,Oozie等技术。

 

项目背景介绍

 

背景介绍

架构分析

环境搭建

数据清洗与导入模块(3小时)

模块介绍:该模块为日志的清洗与导入模块

系统的数据导入入口,具体为FTP的方式

涉及技术有Hadoop,HBase,Hive

功能包括:数据导入

          数据清洗

查询执行模块(3小时)

模块介绍:该模块为运行查询任务的模块

用来处理所有查询的统一组件

原创实现

功能包括:处理任务,更新任务状态

          ….

作业流程控制模块(3小时)

模块介绍:该模块为控制作业执行顺序

控制作业执行的工作流

涉及技术为Oozie

 

功能包括:工作流定制

          作业执行顺序控制

          作业时间控制

          。。。。。

统计分析模块(10个功能)(3小时)

 

模块介绍:是通过统计、分析上网用户的日志记录,反映目标用户群体的属性、特征及变化,并最终形成数据报表,同样为无线增值业务的精准营销提供可靠的依据和保障

 

 

真正的商业大型分布式系统是如何来做统计分析的,涉及到技术有Hive,HBase,Hadoop,zookeeper、Hive与HBase整合使用

 

功能包括:用户区域分布特征及数量变化

            用户终端品牌型号特征及变化

            用户上网时段分布及变化

             。。。。。。。。。。。。

系统初始化模块(1小时)

模块介绍:该模块为系统初始化模块,包括分词,分类的初始化工作

我们来看看,分布式系统是如何进行初始化的工作

涉及到技术有Hive,HBase。

 

功能包括:表的初始化

          测试代码的执行

          。。。。。

作业加载与处理模块(2小时)

 

模块介绍:该模块为加载作业模块,控制执行周期

采用了可配置的,智能的作业配置组件。

独家代码实现

 

功能包括:作业时间控制

         失败处理

         。。。

SQL Like API 接口模块(3小时)

 

模块介绍:该模块为对外提供的接口,主要为SQL,用来查询处理结果

对外提供的通用的SQL Like 接口用来查询作业处理结果,使用方便

涉及技术有传统RDBMS

功能包括:统计分析结果查询

          号码包导出

          。。。。。

分词管理(3 小时)

模块介绍:主要是针对上网日志的URL对应的关键词进行分析与管理

 

 

百度热词,庖丁热词,的分析与使用,让您了解实际项目中,网页分词如何使用

 

功能包括:爬取分词

            训练分词

          。。。。。

爬虫模块(2小时)

模块介绍:主要是针对上网日志的URL对应的关键词进行分析与管理

模块介绍:对日志中中URL的爬取功能

 

自我实现爬虫,设计巧妙

 

功能包括:爬取关键词

          爬取内容

          …..

用户上网行为分析模块分析与实现(6小时)

 

模块说明:用户行为分析,是以号码、编号、用户名或ID作为用户身份标识,通过记录手机上网用户的上网行为轨迹,分析、总结手机上网用户的上网习惯,描绘出用户形象,最终为无线增值业务的精准营销提供可靠的依据和保障

 

日志分析的核心—用户行为,这也是所有分析项目的重中之重

 

功能包括:用户行为分析生成

          用户行为分析结果导出

          。。。。。

         

----MapRuduce实现

----Hive实现

系统监控模块(2小时)

模块说明:该模块主要用来监控,系统的进程执行情况,任务运行情况

涉及到Linux系统知识,让你了解Linux

 

包括:CPU监控

      硬盘监控

      服务进程监控

      。。。。。。。。。

 

精品视频课程推荐

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

云计算综合实战项目视频教程(更新版)
内容概述:通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统,系统学习Hadoop、Hive,HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。 该系统是一个每天5亿条数据,上百个节点的实际商业项目,该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对。 技术要点:Hadoop、Hive、HBase、Zookeeper、爬虫技术等

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

浏览(29199)|评论(73)   交流分类:Java|笔记分类: 云计算综合实战项目

评论(73)
73楼 奔跑的ccc  2017-08-29 引用

学习收藏

72楼 瑞泉  2017-04-09 引用

学习

71楼 瑞泉  2017-04-09 引用

感谢分享

70楼 landfox  2017-03-19 引用

可以学学学习

69楼 bluebee  2017-03-19 引用

不知我能力能不能达到

68楼 superfatsheep  2016-08-19 引用

好好学习。

67楼 ligz1989  2016-08-19 引用
好东西
66楼 樂天猪  2016-08-19 引用

不错 不错!!

65楼 neosmemory  2016-05-16 引用

感谢分享!

64楼 mbxmxm  2016-05-16 引用

thank

63楼 764482734  2016-04-11 引用

希望能用

62楼 yeah_go  2016-02-02 引用

希望能用。。。

61楼 tanxinwuyu  2016-02-02 引用
好资料,学习学习
60楼 mingcheng  2016-01-03 引用

看上去很好 得看看

59楼 让梦自由  2015-11-22 引用

感谢分享!

58楼 让梦自由  2015-11-22 引用

感谢分享!

57楼 让梦自由  2015-11-22 引用

感谢分享!

56楼 我爱晴天  2015-11-06 引用

good

55楼 anchen418857063  2015-11-06 引用

能下载吗

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网