|
记笔记 » hadoop的笔记» 精通hadoop笔记
2012-07-25 12:30:11 精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结 交流分类:Java
1.1 总结 这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。 你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的……
浏览(3803)|评论 (0)|笔记分类 精通hadoop
2012-07-25 12:29:37 精通HADOOP(十) - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer 交流分类:Java
1.1 创建客户化的Mapper和Reducer 正如你所见,MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出,但是,因为作业的关键字是数字的,这个排序不是你所期望的,因为它按照字符排序,而不是按照数字排序。现在,我们看看如何使用客户化的Mapper进行数字排序。然后我们会……
浏览(8028)|评论 (0)|笔记分类 精通hadoop
2012-07-25 12:28:42 精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业 交流分类:Java
1.1 执行作业 配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业,如列表2-1所示, logger .info("Launching the job.");
/** Send the job configurati……
浏览(4845)|评论 (0)|笔记分类 精通hadoop
2012-07-25 10:42:51 精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业 交流分类:Java
笔记内容有问题,无法显示
浏览(6800)|评论 (1)|笔记分类 未分类
2012-07-24 21:03:56 精通HADOOP(六) - 初识Hadoop - 解决问题/总结 交流分类:Java
笔记内容有问题,无法显示
浏览(7054)|评论 (1)|笔记分类 未分类
2012-07-24 12:30:50 精通HADOOP(三) - 初识Hadoop - Hadoop介绍 交流分类:Java
1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目,这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展,它提供一个框架,用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节,使得应用程序开发者可以专注于应用程序逻辑上……
浏览(3805)|评论 (0)|笔记分类 精通hadoop
2012-07-11 14:51:54 精通HADOOP(二) - 初识Hadoop - MapReduce模型介绍 交流分类:Java
1 初识Hadoop 一个独立的低端硬件通常不能满足应用程序对资源的需求。许多企业发现他们的业务流软件并不是安装在一台成本效益较好的计算机上。对于他们来说,一个简单的解决方案就是购买具有更多内存和CPU的高端硬件,这通常需要巨额资金。这个解决方案能够达到理想的效果只要你能买到最高端的硬件,但是通常来……
浏览(5442)|评论 (0)|笔记分类 精通hadoop
|