收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2647359
访问用户量:2918
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2016-08-19 13:42:28
系统API模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
浏览(6518)|评论(3)   交流分类:Java|笔记分类: 云计算综合实战项目

第一部分 需求分析

 

用户上网区域分布及变化-user_online_info_area(Hive)

字段名

地区

用户数

 

日期

 

字段类型

String

 

bigint

 

String

 

 

1. 根据开始时间结束时间来查询用户的变化情况

2. 2012 02 02 2012 02 03,那么代表查这样日期之间的用户数

 

用户上网流量统计-user_online_traffic(Hive)

字段名

用户ID

总流量

 

日期

 

字段类型

String

 

double

 

String

 


1. 根据开始时间结束时间来查询流量的汇总情况

2. 2012 02 02 2012 02 03那么代表查这样日期之间的流量的汇总

 

热门网站统计-hot_url (Hive)

字段名

url

pv

 

日期

 

字段类型

String

 

bigint

 

String

 


1. 根据开始时间结束时间来查询URL的排序情况

2. 2012 02 02 2012 02 03那么代表查这样日期之间的URL的排序

 

Ip地址流量统计-user_traffic_by_ip (Hive)

字段名

流量

ip

 

日期

 

字段类型

double

 

bigint

 

String

 


 

1.根据开始时间结束时间来查询IP的流量汇总情况

2. 2012 02 02 2012 02 03那么代表查这样日期之间的IP的流量汇总


根据IP或者URL导出用户包

根据输入的IP或者URL来导出用户的ID包

 

部分 技术点

Hive各类SQL的使用


部分 代码实现


 

 

私塾在线原创独家云计算课程,转载请注明【http://sishuok.com/forum/blogPost/list/6770.html

相关笔记推荐
浏览(6518)|评论(3)   交流分类:Java|笔记分类: 云计算综合实战项目

评论(3)
3楼 baobao  2016-08-19 引用

............

2楼 xiongpf  2015-05-07 引用

卡卡卡卡卡卡

1楼 zyb_sol  2013-05-16 引用
看看内容
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网