欢迎您来到私塾在线网！

只做精品视频课程服务

找课程

去学习

要交流

记笔记

免费视频

签到帮助

Java

Hadoop实战-中高级部分视频教程

顾客评分:

10人评

人气：32570 讲师： Alex
课次：33次课时：16小时28分钟

原价：~~990.00学币~~ 普通会员价：495.00学币

您是(【普通】会员，再优惠0.00学币)
您享有的最终折上折价格： 495.00学币

会员级别优惠列表：『点击了解会员等级的好处』

普通会员： 495.00学币

VIP1会员： 470.00学币

VIP2会员： 445.00学币

VIP3会员： 420.00学币

VIP4会员： 396.00学币

VIP5会员： 346.00学币

内容概述：Hadoop中高级精品课程，深入学习HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC；RESTFul API；集群等高级特性。
本课程包括很多源码级深入剖析的内容，还有很多实用的高级技巧。
本课程能让您彻底理解和掌握Hadoop，成为一名合格的云计算开发者，并掌握一些基本的运维知识，成为开发和运维兼修的高级人才。

加入购物车

第01节课：进行整体课程概览：了解中高级课程要学习的内容
第02节课：Hadoop IO：数据完整性：了解Hadoop是如何保证数据在HDFS内的数据完整性。
第03节课：继续Hadoop IO：压缩：了解Hadoop支持的压缩格式，使用压缩的意义，及如何在MapReduce中使用压缩。
第04节课：继续Hadoop IO：序列化：了解Hadoop的序列化机制，序列化的接口，及Hadoop提供的序列化类，如何自定义序列化对象。
第05节课：继续Hadoop IO：基于文件的数据结构：了解什么是SequenceFile MapFile，及这俩种数据结构如何使用，它们的应用场景
第06节课：MapReduce工作原理：MapReduce工作原理：源码级分析，提交作业、作业的初始化、任务的分配、任务的执行进度和状态的更新、作业的完成
的具体流程原理
第07节课：继续MapReduce工作原理：错误处理：了解任务的失败、TaskTracker 失败、jobTracker 失败 MapReduce是如何处理错误保证作业的顺利执行的。
第08节课：继续MapReduce工作原理：作业调度：了解MapReduce的作业调度机制，包括先进先出、公平调度器、容量调度器，并掌握配置基本的公平调度器。
第09节课：继续MapReduce工作原理：Shuffle与排序：了解MapReduce的核心Shuffle机制及排序。
第10节课：继续MapReduce工作原理：任务的执行时的一些特有的概念：包括推测式执行任务、JVM 重用、跳过坏记录、任务执行环境，了解这些特性的原理，如何使用。
第11节课：继续MapReduce工作原理：MapReduce的类型与格式：了解MapReduce的输入输出格式，类型，包括TextInputFormat等。
第12节课：MapReduce高级编程：重要组件-Combiner 了解Combiner的原理，如何使用
第13节课：继续MapReduce高级编程：重要组件-Partitioner 了解Partitioner的原理，如何使用
第14节课：继续MapReduce高级编程：重要组件-RecordReader 了解RecordReader的原理，如何使用
第15节课：继续MapReduce高级编程：Join-案例分析，分析一个案例，来讲解怎么样是进行Join，Join-Map Side Join,了解什么是Map Side Join，如何实现Map Side Join算法
第16节课：继续MapReduce高级编程：Join-Reduce Side Join,了解什么是Reduce Side Join，如何实现Reduce Side Join算法
第17节课：继续MapReduce高级编程：排序-普通排序，了解一些常见的排序的问题，排序-部分排序，了解什么是部分排序，如何实现部分排序算法，排序-全局排序，了解什么是全局排序，如何实现全局排序算法
第18节课：继续MapReduce高级编程：排序-二次排序，了解什么是二次排序，如何实现二次排序算法
第19节课：继续MapReduce高级编程：计数器了解什么是计算器，如何在新老API里进行Java的自定义的计数器
第20节课：继续MapReduce高级编程：合并小文件示例通过示例，掌握如何解决小文件问题。
第21节课：HDFS原理：当前HDFS架构详尽分析了解HDFS的详尽架构分析，各个服务的意义，元数据的存储细节等。
第22节课：继续HDFS原理：HDFS文件读取过程解析了解HDFS文件读取过程，源码级分析，彻底掌握该原理。
第23节课：继续HDFS原理：HDFS文件写入过程解析了解HDFS文件写入过程，源码级分析，彻底掌握该原理。
第24节课：继续HDFS原理：副本机制了解HDFS副本机制，彻底掌握该原理，HDFS负载均衡了解HDFS负载均衡，如何做负载均衡，彻底掌握该原理，HDFS机架感知了解HDFS机架感知，如何做HDFS机架感知，彻底掌握该原理
：HDFS访问方式了解HDFS访问方式，DFS健壮性了解HDFS健壮性，HDFS容错机制，HDFS文件删除恢复机制了解HDFS文件删除恢复机制，如何使用回收站，HDFS缺点了解HDFS缺点。
第25节课：Hadoop 管理：HDFS管理了解HDFS如何管理，包括命令行工具、规划组织HDFS目录、安全模式、访问操作记录日志、数据块扫描器。
第26节课：继续Hadoop 管理：MapReduce作业管理了解作业如何管理，包括命令行工具、UI介绍。
第27节课：继续Hadoop 管理：Hadoop安全与权限的管理了解Hadoop的安全与权限的管理机制，包括HDFS安全与权限，MapReduce安全与权限等。
第28节课：继续Hadoop 管理：Hadoop集群的状态监控与管理工具：了解Hadoop需要监控的项目及Ganglia这款工具
第29节课：Hadoop HA ：包括目前Hadoop 1.0 存在的架构的问题、常见的HA方案、Hadoop 0.23是如何解决HA的，对HA有全面的了解。
第30节课：Hadoop RPC机制：包括什么是RPC、Hadoop的RPC机制、使用Hadoop的RPC，彻底掌握RPC 源码级分析。
第31节课：Hadoop Rest Ful API ：了解什么什么是REST 与RESTFul、Hadoop的RESTFul API接口对该概念有全面的了解继续Hadoop Rest Ful API ：Hadoop的RESTFul API接口示例，了解如何使用该API
第32节课：Hadoop 作业调优参数调整及原理：包括 core-site.xml，hdfs-site.xml，mapred-site.xml基本的参数调整
第33节课：Hadoop 集群安装：包括环境规划、安装JDK并配置环境变量、建立互信配置SSH、安装Hadoop并配置环境变量、配置Hadoop集群、启动Hadoop集群、运行WordCount程序，掌握集群安装。

Hadoop是什么

Hadoop是一个由Apache基金会开发的分布式系统基础平台。

Hadoop能干什么

Hadoop使得用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力实现高速运算和海量数据存储。

为什么必须学Hadoop

云计算开发是当前最火、最热门、也将是今后最主流的技术之一，越早掌握就越容易走在他人的前列，所谓一步先步步先。

而开源的云计算开发体系中，四大金刚之首就是Hadoop，其声明绝对是如雷贯耳，因此，学习云计算开发，第一步就是要掌握Hadoop的开发知识。掌握得越全面、越系统、越深入越好。

为什么单独成课

最近，总有一些朋友问这样一个问题：“其他家做学习视频的网站也有云计算的课，但他们是把很多种技术糅合到一起，并配合项目的方式，问我们为什么不这么做？”

这里统一说明一下：

1：首先大家思考一个问题，把那么多技术揉到一起，还要加上项目，一共才20多个小时，请问每种技术能分配到多长时间？？

2：几个小时的Hadoop，能讲完吗？？能学会吗？？

其实时间在哪里摆着的，时间短了，很多重要的知识都没有讲了，比如你可以对比一下我们的hadoop课程大纲，和其他网站视频课程的Hadoop部分的大纲，你就知道了。有些网站的课程甚至连Hadoop核心的两大块都没有讲到，实在让人......

3：几个小时的项目，能讲啥？？如果没有工作经验的朋友，不理解这个也就罢了，对于有工作经验的朋友，你们自己清楚，几个小时能写出些啥东西来，静心想想吧！！

几个小时的东西也叫项目的话，那没有什么不是项目了，不过是几个CRUD而已。

4：这种大杂烩的结果，就是看着技术很多，其实每种技术都是蜻蜓点水，浅尝辄止，结果是你什么都没有学会，还不如把这些时间用来真正学会一个技术呢。

这不过是利用很多人的“贪多图便宜”的心理，一种营销手段而已，至于收获有多少，你最清楚。

再说说我们的考虑：

1：我们本身是专门做技术教育培训的公司，我们的地面培训已经开办了六年啦，深知学习是有其本质规律的，一味的贪多图快的结果是一事无成。

2：因此我们会本着只推精品课程的理念，做系列课程，把每一个课程做到最系统、最完整、最细致、最深入浅出，让每一个来学习的朋友真正有所收获

3：我们的技术课程和综合项目实战课程会分开，项目课就是单独的项目课程，真正的把多个技术综合起来，实现较为完整的、真实的项目，不做那种项目名头很大，内容很低级的、所谓的项目课程。

本课程说明

本课程由Java私塾为你精心准备，本课程是在调研多家开发企业广泛使用的技术的基础上，结合Alex老师多年的云计算开发和培训经验，经过近半年的调整和完善而成。

本课程在兼顾知识体系完善的前提下，把实际开发中应用最多、最深、最实用的技术抽取出来，结合Java私塾独特的教学理念和思维训练，精心编排，以期让学员能以最短的时间、花最少的精力去真正掌握Hadoop开发及原理。

在本课程中，你将会看到和学到很多Alex老师独特的东西，对知识深入的、一针见血的剖析，绝对会让你受益匪浅。

通过本课程的学习，你将彻底掌握Hadoop的IO；Hadoop HDFS原理；MapReduce原理；MapReduce的高级编程；Hadoop的RPC机制；Hadoop的RESTFul API；Hadoop的作业参数调优及原理；Hadoop的HA 方案；Hadoop的集群安装等知识。

同时你还会学到Hadoop的基本运维知识：如HDFS的管理、作业管理等，让你成为开发和运维兼修的高级人才。

其中有很多都是深入到Hadoop源码级的讲述，绝对让你对Hadoop有更深的理解和掌握。

整体课程概览

第一部分：Hadoop IO
    1：数据完整性
    2：压缩
    3：序列化
    4：基于文件的数据结构
第二部分：MapReduce工作原理
    1：MapReduce工作原理
    2：错误处理
    3：作业调度
    4：Shuffle与排序
    5：任务的执行时的一些特有的概念
    6：MapReduce的类型与格式
第三部分：MapReduce高级编程
    1：重要的组件
    2：排序
    3：Join
    4：计数器
    5: 合并小文件示例
第四部分：HDFS原理
    1：当前HDFS架构详尽分析
    2：HDFS文件读取过程解析
    3: HDFS文件写入过程解析
    4：副本机制
    5：HDFS负载均衡
    6：HDFS机架感知
    7：HDFS访问方式
    8：HDFS健壮性
    9：HDFS文件删除恢复机制
    10：HDFS缺点
第五部分：Hadoop 管理
   1：HDFS管理
   2: MapReduce 作业管理
   3: Hadoop安全与权限的管理
   4: Hadoop集群的状态监控与管理工具
   5: 集群维护
第六部分：Hadoop HA
   1：目前Hadoop 1.0 存在的架构的问题
   2: 常见的HA方案
   3：Hadoop 0.23是如何解决HA的
第七部分：Hadoop RPC机制
   1：什么是RPC
   2: Hadoop的RPC机制
   3：使用Hadoop的RPC
第八部分：Hadoop Rest Ful API
   1：什么是REST 与RESTFul
   2: Hadoop的RESTFul API接口
   3：API示例
第九部分：Hadoop 作业调优参数调整及原理
   1: core-site.xml
   2: hdfs-site.xml
   3：mapred-site.xml
第十部分：Hadoop 集群安装
   1：环境规划
   2: 安装JDK并配置环境变量
   3：建立互信配置SSH
   4：安装Hadoop并配置环境变量
   5：配置Hadoop集群
   6：启动Hadoop集群
   7：运行WordCount程序