收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2936210
访问用户量:3016
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 2012-07存档笔记
2017-03-19 15:36:36
在 Windows 上安装 Hadoop 教程
交流分类:Java

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 1. 1. 1. 安装 JDK JDK JDK JDK 不建议只安装 JRE ,而是建议直接安装 JDK ,因为安装 JDK 时,可以同时安装 J……
浏览(22418)|评论 (42)|笔记分类 hadoop

2012-07-30 15:00:54
Hadoop学习总结之二:HDFS读写过程解析
交流分类:Java

一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize) thro……
浏览(5677)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-30 14:59:35
Hadoop 学习总结之一:HDFS简介
交流分类:Java

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个……
浏览(5100)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-25 12:30:11
精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结
交流分类:Java

1.1 总结   这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。   你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的……
浏览(2736)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:29:37
精通HADOOP(十) - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer
交流分类:Java

1.1 创建客户化的Mapper和Reducer 正如你所见,MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出,但是,因为作业的关键字是数字的,这个排序不是你所期望的,因为它按照字符排序,而不是按照数字排序。现在,我们看看如何使用客户化的Mapper进行数字排序。然后我们会……
浏览(6367)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:28:42
精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
交流分类:Java

1.1 执行作业 配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业,如列表2-1所示, logger .info("Launching the job."); /** Send the job configurati……
浏览(3607)|评论 (0)|笔记分类 精通hadoop

2012-07-25 10:42:51
精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
交流分类:Java

1.1 配置作业 所有的Hadoop作业有一个用来配置实际上的MapReduce任务和提交它到Hadoop框架的主程序。JobConf对象是用来处理这些配置的。MapReduceIntro样例类为你使用JobConf类并且提交一个作业到Hadoop框架提供了一个模板。所有的代码都依赖于MapRedu……
浏览(5349)|评论 (1)|笔记分类 精通hadoop

2012-07-25 08:09:35
精通HADOOP(七) - MAPREDUCE任务的基础知识 - Hadoop MapReduce任务的基本构成要素
交流分类:Java

1 MapReduce任务的基础知识 这一章,整体的介绍MapReduce任务。读完这章,你能编写和执行单机模式的MapReduce任务程序。 这章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下,使用一台单机执行这些样例程序,你不需要启动Hadoop核心框架。对于调试和单……
浏览(3662)|评论 (0)|笔记分类 精通hadoop

2012-07-24 21:03:56
精通HADOOP(六) - 初识Hadoop - 解决问题/总结
交流分类:Java

1.1 解决问题 如果你在执行本书的样例程序过程中遇到问题,最有可能的就是因为执行环境的不同引起的,也可能由于你的计算机的存储空间不足导致问题。 然后,下面的环境变量的设置是重要的: JAVA_HOME:这是JDK的安装根路径。所有的样例程序假设JAVA_HOME环境变量指向JDK 1.6_07的安……
浏览(5528)|评论 (1)|笔记分类 精通hadoop

2012-07-24 12:32:34
精通HADOOP(五) - 初识Hadoop - 执行和测试Hadoop样例程序
交流分类:Java

1.1 执行和测试Hadoop样例程序 在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件,你可以用它来试用Hadoop。在你执行这些样例程序以前,你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到,check_basic_env.sh脚本能够帮助你校验……
浏览(8578)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:31:33
精通HADOOP(四) - 初识Hadoop - 安装Hadoop
交流分类:Java

1.1 安装Hadoop   和其他的软件一样,使用Hadoop需要一些先决条件。如果你安装了Cywin,在Windows上执行和开发Hadoop应用程序也是可能。但是,我们强烈建议你使用Linux作为运行Hadoop的产品平台。 请注意,你需要有Linux和Java的基础知识才能使用Hadoop。……
浏览(3982)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:30:50
精通HADOOP(三) - 初识Hadoop - Hadoop介绍
交流分类:Java

1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目,这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展,它提供一个框架,用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节,使得应用程序开发者可以专注于应用程序逻辑上……
浏览(2727)|评论 (0)|笔记分类 精通hadoop

2012-07-20 19:07:55
Hadoop完全分布模式安装实现详解
交流分类:Java

本节向大家介绍一下Hadoop完全分布模式安装方法,你可以和之前介绍的两种模式做一下对比,看看那种模式更适合你,欢迎大家一起来学习Hadoop完全分布模式安装。 Hadoop完全分布模式安装 Hadoop概念 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层……
浏览(3530)|评论 (1)|笔记分类 hadoop

2012-07-20 19:07:37
术语汇编 Hadoop简介
交流分类:Java

本节向大家描述一下Hadoop简介,主要包括Hadoop概念和Hadoop子系统功能等内容,希望通过本节的介绍大家对Hadoop有新的认识,让我们一起来学习Hadoop吧。 Hadoop简介 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发……
浏览(3515)|评论 (1)|笔记分类 hadoop

2012-07-20 19:06:02
在 Windows 平台下部署 Hadoop 开发环境
交流分类:Java

Hadoop简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System ) 。也许到目前为止,Hadoop 还不是那么广为人知,……
浏览(4051)|评论 (1)|笔记分类 hadoop

2012-07-20 19:05:26
一个生成10的N次方个整数的一段小程序,彰显出的大智慧
交流分类:Java

最近在学习Hadoop,上次用Map/Reduce模型写个了对大量整数数字求和的程序,为了测试就要生成大量测试数据,我用Ruby写了个随机生成整数,并将整数按指定的格式写入文本文件,然后将生成的数据输入Map/Reduce程序(NumerSum),进行求和。针对这样的小功能我相信学过编程的都能写出来……
浏览(6316)|评论 (1)|笔记分类 hadoop

2012-07-11 15:07:44
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习
交流分类:Java

  Map/Reduce编程模型型的原理是:利用一个输入key/value pair 集合来产生一个输出的key/value pair 集合。MapReduce 库的用户用两个函数表达这个计算:Map 和Reduce。Hadoop Map/Reduce实现主要是通过继承Mapper和Reducer两……
浏览(6239)|评论 (0)|笔记分类 hadoop

2012-07-11 15:03:22
Hadoop概念及其用法专家讲解
交流分类:Java

本节和大家继续学习Hadoop,Hadoop是一个分布式系统基础架构,由Apache基金会开发。它有什么奥秘呢,就让我们一起来继续关注Hadoop吧。 条款6:多个大输入的Job建议使用串行执行,多个小输入的Job建议使用并行执行。 Hadoop的任务处理分为map阶段以及reduce阶段,当集群的……
浏览(3937)|评论 (0)|笔记分类 hadoop

2012-07-11 15:01:47
Hadoop集群搭建过程中相关环境配置详解
交流分类:Java

本节向大家介绍一下Hadoop集群搭建的具体步骤,本节主要内容有系统配置和Hadoop文件配置等,相信通过本节的介绍大家对Hadoop集群搭建有一定的认识,让我们一起来学习吧。 下面是Hadoop集群搭建具体介绍。 Hadoop集群搭建 一、Linux系统配置 1、在所有的机器上都建立相同的目录,也……
浏览(3958)|评论 (0)|笔记分类 hadoop

2012-07-11 15:00:43
Hadoop简介:HDFS和MapReduce的实现
交流分类:Java

本节向大家描述一下Hadoop简介,本节主要介绍Hadoop中两个重要的组成部分HDFS和MapReduce,希望通过本节的介绍大家对Hadoop有初步的认识。 Hadoop简介 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。……
浏览(4574)|评论 (0)|笔记分类 hadoop

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网