收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:3641249
访问用户量:3104
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2015-10-12 14:25:57
项目背景介绍——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
浏览(21262)|评论(6)   交流分类:Java|笔记分类: 云计算综合实战项目

配套视频课程:http://sishuok.com/product/681

配套PPT下载:http://sishuok.com/forum/posts/list/6765.html

 

项目目的

通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销
同时记录用户的上网行为,可以掌握用户的上网情况,如时间、频次等
实际生产环境
每天约有 5T 的数据
实际运行节点到达 100
涉及到技术 Hadoop,Hive,HBase,Zookeeper,Ozzie

部分 项目架构

 


部分 环境搭建

Hadoop
HBase
Hive
Zookeeper
Oozie
HBase 装 
安装前提
Hadoop 安装成功
软件准备
Hbase -0.92.0.tar.gz
步骤 
解压
tar – zxvf hbase-0.92.0.tar.gz
配置环境变量
vi . bash_profile
加入:
export HBASE_HOME=/home/ hbase
export PATH=$HBASE_HOME/bin
配置HBase
进入 / hbase_home /conf/
Vi hbase-env.sh
加入
export JAVA_HOME=your java_home
export HBASE_MANAGERS_ZK=false
export HBASE_HOME=your hbase home
export HADOOP_INSTALL=your hadoop home
进入 / hbase_home /conf/
Vi hbase-site.xml
加入
<property>
<name> hbase.rootdir </name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name> hbase.cluster.distributed </name>
<value>true</value>
</property>
<property>
<name> hbase.master </name>
<value>localhost:60000</value>
</property>
<property>
<name> hbase.master.port </name>
<value>60000</value>
</property>

Vi hbase_home/conf/regionservers

加入localhost

 

 

Zookeeper安装

软件准备
zookeeper -3.4.3.tar.gz
解压
Tar – zxvf zookeeper-3.4.3.tar.gz
配置环境变量
Vi bash _profile
Export ZOOKEEPER _HOME=/home/zookeeper-3.4.3
Export PATH =$ZOOKEEPER_HOME/bin
打开
Zookeeper/home/conf/zoo.cfg
加入
tickTime =2000
dataDir =home/xxx/zookeeper
clientPort =2181

私塾在线原创独家云计算课程,转载请注明【http://sishuok.com/forum/blogPost/list/0/6769.html

精品视频课程推荐

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

云计算综合实战项目视频教程(更新版)
内容概述:通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统,系统学习Hadoop、Hive,HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。 该系统是一个每天5亿条数据,上百个节点的实际商业项目,该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对。 技术要点:Hadoop、Hive、HBase、Zookeeper、爬虫技术等

深入浅出学Spring Web MVC视频教程
系统、完整的学习Spring Web MVC开发的知识。包括:Spring Web MVC入门;理解DispatcherServlet;注解式控制器开发详解;数据类型转换;数据格式化;数据验证; 拦截器;对Ajax的支持;文件上传下载;表单标签等内容;最后以一个综合的CRUD带翻页的应用示例来综合所学的知识

浏览(21262)|评论(6)   交流分类:Java|笔记分类: 云计算综合实战项目

评论(6)
6楼 archerhong  2015-10-12 引用
啥内容
5楼 zhangyongjun  2015-09-07 引用

看看谢谢

4楼 Abner_zhang  2015-05-07 引用
真贵!
3楼 likang123  2014-11-09 引用

谢谢分享 真心希望hadoop的视频能便宜一些,这样能够买的人就更多

2楼 sarape  2014-11-04 引用

正好在了解这方面的内容,看看,谢谢!

1楼 wugewuge  2013-12-04 引用

学习一下,看看有什么精彩内容

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网