收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2936215
访问用户量:3016
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 2013-04存档笔记
2017-08-29 22:51:27
某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/661 配套PPT下载:http://sishuok.com/forum/posts/list/6766.html     某大型互联网企业用户上网行为日志分析系统   每天5亿条数据,上百个节点的实际商业项目 为您展现云计算技术真……
浏览(28823)|评论 (73)|笔记分类 云计算综合实战项目

2017-03-19 15:37:57
爬虫部分——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

第一部分: 需求分析   爬虫在项目中间的作用 • 分析用户的行为需要根据用户浏览网页的分类及特征来决定,所以获取网页内容需要爬虫 • 单线程爬虫难以满足项目的需求,需要多线程爬虫来处理 第二部分: 技术点 Wget与HttpClient • Wget 是一个从网络上自动下载文件的自由工具 , 支持……
浏览(7347)|评论 (10)|笔记分类 云计算综合实战项目

2016-08-19 13:42:28
系统API模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

第一部分: 需求分析   用户上网区域分布及变化-user_online_info_area(Hive) 字段名 地区 用户数   日期   字段类型 String   bigint   String     1. 根据开始时间结束时间来查询用户的变化情况 2. 如2012 02 02 ,2012 ……
浏览(7213)|评论 (3)|笔记分类 云计算综合实战项目

2016-08-19 13:42:28
数据清洗与导入模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html   第一部分: 需求分析 • 将原始日志做清洗,提取符合规范的数据 • 将用户信息保存到用户信息表 中 • 将未爬去……
浏览(6555)|评论 (2)|笔记分类 云计算综合实战项目

2016-02-02 10:56:03
程序模块说明——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

程序模块说明   私塾在线原创独家云计算课程,转载请注明【http://sishuok.com/forum/blogPost/list/6770.html】
浏览(7236)|评论 (13)|笔记分类 云计算综合实战项目

2015-10-12 14:25:57
url 关键词及分类管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

第一部分: 需求分析 url与分类 • 分类决定了 URL 及决定了用户行为 • 需要提供模块对该项管理 url与keyword • keyword 决定了决定了用户行为 • 需要提供模块对该项管理 第二部分: 技术点 url_keyword rowkey: url!`!keywordid C_FA……
浏览(5691)|评论 (2)|笔记分类 云计算综合实战项目

2015-10-12 14:25:57
项目背景介绍——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html   项目目的 • 通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销 • 同时记录……
浏览(17184)|评论 (6)|笔记分类 云计算综合实战项目

2013-04-26 15:15:04
系统监控模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

第一部分: 需求分析 • 需要对现有的系统的 CPU ,硬盘,内存的使用情况进行监控 • 达到一定使用程度时需要产生告警日志记录 • 产生的告警存入到 HBase 中 第二部分: 技术点 代码示例  ArrayList rtn = new ArrayList();         Runtime r……
浏览(3839)|评论 (0)|笔记分类 云计算综合实战项目

2013-04-26 15:09:04
分词管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html     第一部分: 需求分析 什么是中文分词 • 中文分词 ( Chinese Word Segmentation)……
浏览(4628)|评论 (0)|笔记分类 云计算综合实战项目

2013-04-26 15:05:06
系统初始化模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html     功能需求 • 对系统表进行初始化的工作包括 Hive 、 HBase 日志表-log(Hive) 字段名 用……
浏览(3211)|评论 (0)|笔记分类 云计算综合实战项目

2013-04-26 14:59:42
查询执行模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战
交流分类:Java

配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html   第一部分: 需求分析   Query  HBase表 rowkey: task_id C_FAMILY data……
浏览(3327)|评论 (0)|笔记分类 云计算综合实战项目

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网