|
记笔记 » hadoop的笔记» 交流贴
2013-04-26 系统API模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 第一部分: 需求分析 用户上网区域分布及变化-user_online_info_area(Hive) 字段名 地区 用户数 日期 字段类型 String bigint String 1. 根据开始时间结束时间来查询用户的变化情况 2. 如2012 02 02 ,2012 ……
浏览(10169)|回复 (3)|交流分类: Java
2013-04-26 程序模块说明——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 程序模块说明 私塾在线原创独家云计算课程,转载请注明【http://sishuok.com/forum/blogPost/list/6770.html】
浏览(11933)|回复 (16)|交流分类: Java
2013-04-26 url 关键词及分类管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 第一部分: 需求分析 url与分类 • 分类决定了 URL 及决定了用户行为 • 需要提供模块对该项管理 url与keyword • keyword 决定了决定了用户行为 • 需要提供模块对该项管理 第二部分: 技术点 url_keyword rowkey: url!`!keywordid C_FA……
浏览(8483)|回复 (2)|交流分类: Java
2013-04-26 系统监控模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 第一部分: 需求分析 • 需要对现有的系统的 CPU ,硬盘,内存的使用情况进行监控 • 达到一定使用程度时需要产生告警日志记录 • 产生的告警存入到 HBase 中 第二部分: 技术点 代码示例 ArrayList rtn = new ArrayList(); Runtime r……
浏览(6008)|回复 (0)|交流分类: Java
2013-04-26 爬虫部分——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 第一部分: 需求分析 爬虫在项目中间的作用 • 分析用户的行为需要根据用户浏览网页的分类及特征来决定,所以获取网页内容需要爬虫 • 单线程爬虫难以满足项目的需求,需要多线程爬虫来处理 第二部分: 技术点 Wget与HttpClient • Wget 是一个从网络上自动下载文件的自由工具 , 支持……
浏览(11819)|回复 (10)|交流分类: Java
2013-04-26 分词管理——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html 第一部分: 需求分析 什么是中文分词 • 中文分词 ( Chinese Word Segmentation)……
浏览(7089)|回复 (0)|交流分类: Java
2013-04-26 系统初始化模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html 功能需求 • 对系统表进行初始化的工作包括 Hive 、 HBase 日志表-log(Hive) 字段名 用……
浏览(5255)|回复 (0)|交流分类: Java
2013-04-26 查询执行模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html 第一部分: 需求分析 Query HBase表 rowkey: task_id C_FAMILY data……
浏览(5465)|回复 (0)|交流分类: Java
2013-04-26 数据清洗与导入模块——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html 第一部分: 需求分析 • 将原始日志做清洗,提取符合规范的数据 • 将用户信息保存到用户信息表 中 • 将未爬去……
浏览(10174)|回复 (2)|交流分类: Java
2013-04-26 项目背景介绍——某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/681 配套PPT下载:http://sishuok.com/forum/posts/list/6765.html 项目目的 • 通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销 • 同时记录……
浏览(22663)|回复 (6)|交流分类: Java
2013-04-26 某大型互联网企业用户上网行为日志分析系统——云计算项目实战 交流分类:Java 配套视频课程:http://sishuok.com/product/661 配套PPT下载:http://sishuok.com/forum/posts/list/6766.html 某大型互联网企业用户上网行为日志分析系统 每天5亿条数据,上百个节点的实际商业项目 为您展现云计算技术真……
浏览(45262)|回复 (75)|交流分类: Java
2013-04-26 《设计模式综合项目实战——X-gen代码生成利器》——跟着cc学设计系列精品教程 交流分类:Java 回复后才能下载 配套视频地址:http://sishuok.com/product/661
浏览(136356)|回复 (980)|交流分类: Java
2013-04-26 云计算项目实战——某大型互联网企业用户上网行为日志分析系统 PPT下载 交流分类:Java 回复后才能下载 配套视频地址:http://sishuok.com/product/681 来自网友的评论,非常感谢对私塾在线的支持,我们会继续努力,做最好的视频课程:
浏览(50322)|回复 (325)|交流分类: Java
2012-10-23 Hive的原理—— 深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:Hive原理 为什么要学习Hive的原理 ……
浏览(77856)|回复 (1)|交流分类: Java
2012-10-23 Hive体系结构 —— 深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:概念 概念 •用户接口:用户访问Hi……
浏览(49621)|回复 (1)|交流分类: Java
2012-10-22 hive 优化——深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:Hadoop 计算框架的特性 什么是数据倾……
浏览(54056)|回复 (1)|交流分类: Java
2012-10-22 Hive Shell 基本操作——深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:Hive bin下脚本介绍 Hive bi……
浏览(107261)|回复 (1)|交流分类: Java
2012-10-22 Hive QL——深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:DDL DDL •建表 •删除表 •修改表……
浏览(83222)|回复 (1)|交流分类: Java
2012-10-22 Hive 高级编程——深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:产生背景 产生背景 •为了满足客户个性化的……
浏览(92399)|回复 (1)|交流分类: Java
2012-10-22 hive参数——深入浅出学Hive 交流分类:Java 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分:Hive 参数 hive.exec.max……
浏览(45103)|回复 (1)|交流分类: Java
|