收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2936214
访问用户量:3016
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 精通hadoop笔记
2012-07-25 12:30:11
精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结
交流分类:Java

1.1 总结   这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。   你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的……
浏览(2736)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:29:37
精通HADOOP(十) - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer
交流分类:Java

1.1 创建客户化的Mapper和Reducer 正如你所见,MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出,但是,因为作业的关键字是数字的,这个排序不是你所期望的,因为它按照字符排序,而不是按照数字排序。现在,我们看看如何使用客户化的Mapper进行数字排序。然后我们会……
浏览(6367)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:28:42
精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
交流分类:Java

1.1 执行作业 配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业,如列表2-1所示, logger .info("Launching the job."); /** Send the job configurati……
浏览(3607)|评论 (0)|笔记分类 精通hadoop

2012-07-25 10:42:51
精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
交流分类:Java

1.1 配置作业 所有的Hadoop作业有一个用来配置实际上的MapReduce任务和提交它到Hadoop框架的主程序。JobConf对象是用来处理这些配置的。MapReduceIntro样例类为你使用JobConf类并且提交一个作业到Hadoop框架提供了一个模板。所有的代码都依赖于MapRedu……
浏览(5349)|评论 (1)|笔记分类 精通hadoop

2012-07-25 08:09:35
精通HADOOP(七) - MAPREDUCE任务的基础知识 - Hadoop MapReduce任务的基本构成要素
交流分类:Java

1 MapReduce任务的基础知识 这一章,整体的介绍MapReduce任务。读完这章,你能编写和执行单机模式的MapReduce任务程序。 这章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下,使用一台单机执行这些样例程序,你不需要启动Hadoop核心框架。对于调试和单……
浏览(3662)|评论 (0)|笔记分类 精通hadoop

2012-07-24 21:03:56
精通HADOOP(六) - 初识Hadoop - 解决问题/总结
交流分类:Java

1.1 解决问题 如果你在执行本书的样例程序过程中遇到问题,最有可能的就是因为执行环境的不同引起的,也可能由于你的计算机的存储空间不足导致问题。 然后,下面的环境变量的设置是重要的: JAVA_HOME:这是JDK的安装根路径。所有的样例程序假设JAVA_HOME环境变量指向JDK 1.6_07的安……
浏览(5528)|评论 (1)|笔记分类 精通hadoop

2012-07-24 12:32:34
精通HADOOP(五) - 初识Hadoop - 执行和测试Hadoop样例程序
交流分类:Java

1.1 执行和测试Hadoop样例程序 在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件,你可以用它来试用Hadoop。在你执行这些样例程序以前,你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到,check_basic_env.sh脚本能够帮助你校验……
浏览(8578)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:31:33
精通HADOOP(四) - 初识Hadoop - 安装Hadoop
交流分类:Java

1.1 安装Hadoop   和其他的软件一样,使用Hadoop需要一些先决条件。如果你安装了Cywin,在Windows上执行和开发Hadoop应用程序也是可能。但是,我们强烈建议你使用Linux作为运行Hadoop的产品平台。 请注意,你需要有Linux和Java的基础知识才能使用Hadoop。……
浏览(3982)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:30:50
精通HADOOP(三) - 初识Hadoop - Hadoop介绍
交流分类:Java

1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目,这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展,它提供一个框架,用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节,使得应用程序开发者可以专注于应用程序逻辑上……
浏览(2727)|评论 (0)|笔记分类 精通hadoop

2012-07-11 14:51:54
精通HADOOP(二) - 初识Hadoop - MapReduce模型介绍
交流分类:Java

1 初识Hadoop 一个独立的低端硬件通常不能满足应用程序对资源的需求。许多企业发现他们的业务流软件并不是安装在一台成本效益较好的计算机上。对于他们来说,一个简单的解决方案就是购买具有更多内存和CPU的高端硬件,这通常需要巨额资金。这个解决方案能够达到理想的效果只要你能买到最高端的硬件,但是通常来……
浏览(4077)|评论 (0)|笔记分类 精通hadoop

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网