项目背景介绍

背景介绍

架构分析

环境搭建

数据清洗与导入模块(3小时)

模块介绍：该模块为日志的清洗与导入模块

系统的数据导入入口，具体为FTP的方式

涉及技术有Hadoop，HBase,Hive

功能包括：数据导入

          数据清洗

查询执行模块（3小时）

模块介绍：该模块为运行查询任务的模块

用来处理所有查询的统一组件

原创实现

功能包括：处理任务，更新任务状态

          ….

作业流程控制模块（3小时）

模块介绍：该模块为控制作业执行顺序

控制作业执行的工作流

涉及技术为Oozie

功能包括：工作流定制

          作业执行顺序控制

          作业时间控制

          。。。。。

统计分析模块(10个功能)（3小时）

模块介绍：是通过统计、分析上网用户的日志记录，反映目标用户群体的属性、特征及变化，并最终形成数据报表，同样为无线增值业务的精准营销提供可靠的依据和保障

真正的商业大型分布式系统是如何来做统计分析的，涉及到技术有Hive，HBase，Hadoop，zookeeper、Hive与HBase整合使用

功能包括：用户区域分布特征及数量变化

            用户终端品牌型号特征及变化

            用户上网时段分布及变化

             。。。。。。。。。。。。

系统初始化模块（1小时）

模块介绍：该模块为系统初始化模块，包括分词，分类的初始化工作

我们来看看，分布式系统是如何进行初始化的工作

涉及到技术有Hive,HBase。

功能包括：表的初始化

          测试代码的执行

          。。。。。

作业加载与处理模块（2小时）

模块介绍：该模块为加载作业模块，控制执行周期

采用了可配置的，智能的作业配置组件。

独家代码实现

功能包括：作业时间控制

         失败处理

         。。。

SQL Like API 接口模块（3小时）

模块介绍：该模块为对外提供的接口，主要为SQL，用来查询处理结果

对外提供的通用的SQL Like 接口用来查询作业处理结果，使用方便

涉及技术有传统RDBMS

功能包括：统计分析结果查询

          号码包导出

          。。。。。

分词管理（3 小时）

模块介绍：主要是针对上网日志的URL对应的关键词进行分析与管理

百度热词，庖丁热词，的分析与使用，让您了解实际项目中，网页分词如何使用

功能包括：爬取分词

            训练分词

          。。。。。

爬虫模块（2小时）

模块介绍：主要是针对上网日志的URL对应的关键词进行分析与管理

模块介绍：对日志中中URL的爬取功能

自我实现爬虫，设计巧妙

功能包括：爬取关键词

          爬取内容

          …..

用户上网行为分析模块分析与实现（6小时）

模块说明：用户行为分析，是以号码、编号、用户名或ID作为用户身份标识，通过记录手机上网用户的上网行为轨迹，分析、总结手机上网用户的上网习惯，描绘出用户形象，最终为无线增值业务的精准营销提供可靠的依据和保障

日志分析的核心—用户行为，这也是所有分析项目的重中之重

功能包括：用户行为分析生成

          用户行为分析结果导出

          。。。。。

----MapRuduce实现

----Hive实现

系统监控模块（2小时）

模块说明：该模块主要用来监控，系统的进程执行情况，任务运行情况

涉及到Linux系统知识，让你了解Linux

包括：CPU监控

      硬盘监控

      服务进程监控

      。。。。。。。。。