收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


xiaohu0422的笔记
状态: 离线
人气:15115
访问用户量:33
笔记经验:
总积分:2090
级别:VIP1
搜索本笔记
ta的交流分类
ta的交流主题贴(0)
ta的所有交流贴(12)
ta的全部笔记
全部笔记(9)
未分类笔记(0)
课程笔记(9)
存档
2018-06(2)
2018-04(2)
2016-12(2)
2016-11(1)
2016-10(1)
2016-07(1)

2018-06-18 16:59:20
云计算综合实战项目视频教程(更新版)-视频教程学习笔记
浏览(525)|评论(0)   交流分类:学习问题讨论|笔记分类: 课程笔记

项目背景与环境搭建 视频教程学习笔记
视频课程地址:云计算综合实战项目视频教程(更新版)
当前播放的视频地址:项目背景与环境搭建

某大型互联网企业用户上网行为日志分析系统项目
1.项目背景介绍
2.数据清洗与导入模块
3.查询执行模块
4.作业流程控制模块
5.统计分析模块
6.系统初始化模块
7.作业加载与处理模块
8.SQL API接口模块
9.分词管理
10.爬虫模块
11.用户上网行为分析模块
12.系统监控模块
13.总结回顾

----------------------------------
1.背景介绍
2.架构分析
3.环境搭建

目的: 通过分析用户上网日志,来分析用户的一些访问行为喜好,进而进行精准的广告投放于营销。
对用户的上网今晚可以掌握用户的喜好情况,可以实现个性化推荐和精准营销。

同时记录用户的上网行为,可以掌握用户的上网情况,如时间,频次等。
----------------------------------
实际生产环境情况
1.每天大约有5TB的数据日志文件
2.实际运行节点达到100
3.涉及的技术有Hadoop,hive,HBASE,zookeeper,ooize等。
----------------------------------
技术架构图
1. 应用程序--->日志采集集群---->数据处理监控层。

----------------------------------
环境搭建
hbase 安装部署
ooize 安装部署

hbase 就相当于hadoop的 数据库,前提是hadoop 部署成功。底层文件系统使用hadoop的hdfs系统。

步骤: 解压文件,配置安装文件。配置环境变量
架构: regionServer 存储数据层,表
Master: 管理表的元数据信息。

多个个zookeeper : 分布式协调服务。最终元数据存储在zk中。客户端先和zk通信。

配置hbase 文件内容
编辑hbase-env.sh ,加入java_home;
hbase_managers_zk=false; 使用外置的zk; 配置hbase_home;目录
hadoop_install 目录配置好,刷新。

不要在windows上搞,不专业,而且出现问题不好确定。
尽量复制,不要手敲,容易出错。

配置hbase-site.xml 文件; 配置rootdir目录,保持和hadoop一致。
cluser.distribbuted=true;
配置master端口: 60000;

配置regionservers; 可以和hadoop的slave 一样。

安装配置zookeeper;
zk1,zk2,zk3

配置zookeeper, 创建zoo.cfg 文件
启动zk; zkServer.sh start 出现querum peer main ; 客户端可以连接到zk Server;
zk 的jar 移动到hbase到lib中;
否则会出现jar的版本不一致冲突问题

当然如果出现端口冲突,可以自定义端口。
启动hbase; 命令: start-hbase.sh

验证hbase是否安装成功: hbase-shell; 如果进入成功;可以敲命令:
list; 查看列表中的表
创建表; crete 'sishu','test01';
退出quit;

hbase的数据模型:
列簇,rowkey, id, timestamp; 多版本存储;
传统的数据库是以行来存储数据的;





























精品视频课程推荐

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

研磨设计模式——跟着cc学设计系列视频教程
本视频课程是北京Java私塾原创精品书籍《研磨设计模式》一书的配套学习视频,由《研磨设计模式》的第一作者CC录制 课程目标:全面、系统的掌握GoF设计模式的知识,达到可以在实际项目开发中运用的能力 技术要点:如何实现可配置、如何实现缓存以及缓存的管理、如何实现用缓存来控制多实例的创建、如何实现参数化工厂、 如何实现可扩展工厂、如何实现原型管理器、如何实现Java的静态代理和动态代理、如何实现多线程处理队列请求、 如何实现命令的参数化配置、可撤销的操作、宏命令、队列请求和日志请求、如何实现翻页迭代、如何检测环状结构、 如何实现通用的增删改查、如何模拟工作流来处理流程、如何实现简单又通用的XML读取、如何实现模拟AOP的功能......

云计算综合实战项目视频教程(更新版)
内容概述:通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统,系统学习Hadoop、Hive,HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。 该系统是一个每天5亿条数据,上百个节点的实际商业项目,该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对。 技术要点:Hadoop、Hive、HBase、Zookeeper、爬虫技术等

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

浏览(525)|评论(0)   交流分类:学习问题讨论|笔记分类: 课程笔记

评论(0)
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网