|
记笔记 » hadoop的笔记» 2013-04存档笔记
2017-04-09 19:25:46 某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/661 配套PPT下载：http://sishuok.com/forum/posts/list/6766.html 某大型互联网企业用户上网行为日志分析系统 每天5亿条数据，上百个节点的实际商业项目 为您展现云计算技术真……
浏览(28239)|评论 (72)|笔记分类 云计算综合实战项目
2017-03-19 15:37:57 爬虫部分——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
第一部分： 需求分析 爬虫在项目中间的作用 • 分析用户的行为需要根据用户浏览网页的分类及特征来决定，所以获取网页内容需要爬虫 • 单线程爬虫难以满足项目的需求，需要多线程爬虫来处理 第二部分： 技术点 Wget与HttpClient • Wget 是一个从网络上自动下载文件的自由工具 ， 支持……
浏览(7126)|评论 (10)|笔记分类 云计算综合实战项目
2016-08-19 13:42:28 系统API模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
第一部分： 需求分析 用户上网区域分布及变化-user_online_info_area(Hive) 字段名 地区 用户数 日期 字段类型 String bigint String 1. 根据开始时间结束时间来查询用户的变化情况 2. 如2012 02 02 ，2012 ……
浏览(7060)|评论 (3)|笔记分类 云计算综合实战项目
2016-08-19 13:42:28 数据清洗与导入模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/681 配套PPT下载：http://sishuok.com/forum/posts/list/6765.html 第一部分： 需求分析 • 将原始日志做清洗，提取符合规范的数据 • 将用户信息保存到用户信息表 中 • 将未爬去……
浏览(6407)|评论 (2)|笔记分类 云计算综合实战项目
2016-02-02 10:56:03 程序模块说明——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
程序模块说明 私塾在线原创独家云计算课程，转载请注明【http://sishuok.com/forum/blogPost/list/6770.html】
浏览(7082)|评论 (13)|笔记分类 云计算综合实战项目
2015-10-12 14:25:57 url 关键词及分类管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
第一部分： 需求分析 url与分类 • 分类决定了 URL 及决定了用户行为 • 需要提供模块对该项管理 url与keyword • keyword 决定了决定了用户行为 • 需要提供模块对该项管理 第二部分： 技术点 url_keyword rowkey: url!`!keywordid C_FA……
浏览(5579)|评论 (2)|笔记分类 云计算综合实战项目
2015-10-12 14:25:57 项目背景介绍——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/681 配套PPT下载：http://sishuok.com/forum/posts/list/6765.html 项目目的 • 通过分析，用户的上网日志，来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销 • 同时记录……
浏览(16758)|评论 (6)|笔记分类 云计算综合实战项目
2013-04-26 15:15:04 系统监控模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
第一部分： 需求分析 • 需要对现有的系统的 CPU ，硬盘，内存的使用情况进行监控 • 达到一定使用程度时需要产生告警日志记录 • 产生的告警存入到 HBase 中 第二部分： 技术点 代码示例 ArrayList rtn = new ArrayList(); Runtime r……
浏览(3757)|评论 (0)|笔记分类 云计算综合实战项目
2013-04-26 15:09:04 分词管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/681 配套PPT下载：http://sishuok.com/forum/posts/list/6765.html 第一部分： 需求分析 什么是中文分词 • 中文分词 ( Chinese Word Segmentation)……
浏览(4525)|评论 (0)|笔记分类 云计算综合实战项目
2013-04-26 15:05:06 系统初始化模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/681 配套PPT下载：http://sishuok.com/forum/posts/list/6765.html 功能需求 • 对系统表进行初始化的工作包括 Hive 、 HBase 日志表-log(Hive) 字段名 用……
浏览(3127)|评论 (0)|笔记分类 云计算综合实战项目
2013-04-26 14:59:42 查询执行模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类：Java
配套视频课程：http://sishuok.com/product/681 配套PPT下载：http://sishuok.com/forum/posts/list/6765.html 第一部分： 需求分析 Query HBase表 rowkey: task_id C_FAMILY data……
浏览(3253)|评论 (0)|笔记分类 云计算综合实战项目
|
![[头像]](http://sishuok.com/common/images/no_img.gif)
