收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:3292132
访问用户量:3108
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(89)
ta的所有交流贴(96)
ta的全部笔记
全部笔记(163)
未分类笔记(0)
hadoop(62)
luoli的Hado……(18)
精通hadoop(7)
Hadoop原理与代……(1)
HBase(6)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(2)
Hive(15)
zookeeper(4)
Hadoop Str……(7)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(112)
2012-07(19)

2015-10-12 14:25:57
项目背景介绍——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
浏览(22588)|评论(6)   交流分类:Java|笔记分类: 云计算综合实战项目

配套视频课程:http://sishuok.com/product/681

配套PPT下载:http://sishuok.com/forum/posts/list/6765.html

 

项目目的

通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销
同时记录用户的上网行为,可以掌握用户的上网情况,如时间、频次等
实际生产环境
每天约有 5T 的数据
实际运行节点到达 100
涉及到技术 Hadoop,Hive,HBase,Zookeeper,Ozzie

部分 项目架构

 


部分 环境搭建

Hadoop
HBase
Hive
Zookeeper
Oozie
HBase 装 
安装前提
Hadoop 安装成功
软件准备
Hbase -0.92.0.tar.gz
步骤 
解压
tar – zxvf hbase-0.92.0.tar.gz
配置环境变量
vi . bash_profile
加入:
export HBASE_HOME=/home/ hbase
export PATH=$HBASE_HOME/bin
配置HBase
进入 / hbase_home /conf/
Vi hbase-env.sh
加入
export JAVA_HOME=your java_home
export HBASE_MANAGERS_ZK=false
export HBASE_HOME=your hbase home
export HADOOP_INSTALL=your hadoop home
进入 / hbase_home /conf/
Vi hbase-site.xml
加入
<property>
<name> hbase.rootdir </name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name> hbase.cluster.distributed </name>
<value>true</value>
</property>
<property>
<name> hbase.master </name>
<value>localhost:60000</value>
</property>
<property>
<name> hbase.master.port </name>
<value>60000</value>
</property>

Vi hbase_home/conf/regionservers

加入localhost

 

 

Zookeeper安装

软件准备
zookeeper -3.4.3.tar.gz
解压
Tar – zxvf zookeeper-3.4.3.tar.gz
配置环境变量
Vi bash _profile
Export ZOOKEEPER _HOME=/home/zookeeper-3.4.3
Export PATH =$ZOOKEEPER_HOME/bin
打开
Zookeeper/home/conf/zoo.cfg
加入
tickTime =2000
dataDir =home/xxx/zookeeper
clientPort =2181

私塾在线原创独家云计算课程,转载请注明【http://sishuok.com/forum/blogPost/list/0/6769.html

精品视频课程推荐

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

云计算综合实战项目视频教程(更新版)
内容概述:通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统,系统学习Hadoop、Hive,HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。 该系统是一个每天5亿条数据,上百个节点的实际商业项目,该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对。 技术要点:Hadoop、Hive、HBase、Zookeeper、爬虫技术等

浏览(22588)|评论(6)   交流分类:Java|笔记分类: 云计算综合实战项目

评论(6)
6楼 archerhong  2015-10-12 引用
啥内容
5楼 zhangyongjun  2015-09-07 引用

看看谢谢

4楼 Abner_zhang  2015-05-07 引用
真贵!
3楼 likang123  2014-11-09 引用

谢谢分享 真心希望hadoop的视频能便宜一些,这样能够买的人就更多

2楼 sarape  2014-11-04 引用

正好在了解这方面的内容,看看,谢谢!

1楼 wugewuge  2013-12-04 引用

学习一下,看看有什么精彩内容

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网