收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


xiaohu0422的笔记
状态: 离线
人气:12037
访问用户量:31
笔记经验:
总积分:2090
级别:VIP1
搜索本笔记
ta的交流分类
ta的交流主题贴(0)
ta的所有交流贴(12)
ta的全部笔记
全部笔记(9)
未分类笔记(0)
课程笔记(9)
存档
2018-06(2)
2018-04(2)
2016-12(2)
2016-11(1)
2016-10(1)
2016-07(1)

2018-06-18 16:59:20
云计算综合实战项目视频教程(更新版)-视频教程学习笔记
浏览(157)|评论(0)   交流分类:学习问题讨论|笔记分类: 课程笔记

项目背景与环境搭建 视频教程学习笔记
视频课程地址:云计算综合实战项目视频教程(更新版)
当前播放的视频地址:项目背景与环境搭建

某大型互联网企业用户上网行为日志分析系统项目
1.项目背景介绍
2.数据清洗与导入模块
3.查询执行模块
4.作业流程控制模块
5.统计分析模块
6.系统初始化模块
7.作业加载与处理模块
8.SQL API接口模块
9.分词管理
10.爬虫模块
11.用户上网行为分析模块
12.系统监控模块
13.总结回顾

----------------------------------
1.背景介绍
2.架构分析
3.环境搭建

目的: 通过分析用户上网日志,来分析用户的一些访问行为喜好,进而进行精准的广告投放于营销。
对用户的上网今晚可以掌握用户的喜好情况,可以实现个性化推荐和精准营销。

同时记录用户的上网行为,可以掌握用户的上网情况,如时间,频次等。
----------------------------------
实际生产环境情况
1.每天大约有5TB的数据日志文件
2.实际运行节点达到100
3.涉及的技术有Hadoop,hive,HBASE,zookeeper,ooize等。
----------------------------------
技术架构图
1. 应用程序--->日志采集集群---->数据处理监控层。

----------------------------------
环境搭建
hbase 安装部署
ooize 安装部署

hbase 就相当于hadoop的 数据库,前提是hadoop 部署成功。底层文件系统使用hadoop的hdfs系统。

步骤: 解压文件,配置安装文件。配置环境变量
架构: regionServer 存储数据层,表
Master: 管理表的元数据信息。

多个个zookeeper : 分布式协调服务。最终元数据存储在zk中。客户端先和zk通信。

配置hbase 文件内容
编辑hbase-env.sh ,加入java_home;
hbase_managers_zk=false; 使用外置的zk; 配置hbase_home;目录
hadoop_install 目录配置好,刷新。

不要在windows上搞,不专业,而且出现问题不好确定。
尽量复制,不要手敲,容易出错。

配置hbase-site.xml 文件; 配置rootdir目录,保持和hadoop一致。
cluser.distribbuted=true;
配置master端口: 60000;

配置regionservers; 可以和hadoop的slave 一样。

安装配置zookeeper;
zk1,zk2,zk3

配置zookeeper, 创建zoo.cfg 文件
启动zk; zkServer.sh start 出现querum peer main ; 客户端可以连接到zk Server;
zk 的jar 移动到hbase到lib中;
否则会出现jar的版本不一致冲突问题

当然如果出现端口冲突,可以自定义端口。
启动hbase; 命令: start-hbase.sh

验证hbase是否安装成功: hbase-shell; 如果进入成功;可以敲命令:
list; 查看列表中的表
创建表; crete 'sishu','test01';
退出quit;

hbase的数据模型:
列簇,rowkey, id, timestamp; 多版本存储;
传统的数据库是以行来存储数据的;





























精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

浏览(157)|评论(0)   交流分类:学习问题讨论|笔记分类: 课程笔记

评论(0)
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网