收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2866685
访问用户量:2996
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» Hadoop原理与代码分析笔记
2012-08-02 12:50:15
Hadoop学习总结之五:Hadoop的运行痕迹
交流分类:Java

在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹,方便出现问题的时候可以通过这些痕迹来解决问题。 一、环境的搭建 为了能够跟踪这些运行的痕迹,我们需要搭建一个特殊的环境,从而……
浏览(6870)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-08-02 12:49:17
(转)MapReduce源码分析总结
交流分类:Java

转者注:本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的,然而查找资料的时候,发现了这篇文章,并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析,推荐大家阅读。 转自http://blog.csdn.net/HEYUTAO007/archive/20……
浏览(4852)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-08-20 13:50:06
Hadoop学习总结之四:Map-Reduce的过程解析
交流分类:Java

  一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的: public static RunningJob runJob(JobConf job) throws IOException {   ……
浏览(5312)|评论 (1)|笔记分类 Hadoop原理与代码分析

2012-08-01 14:06:18
Hadoop学习总结之三:Map-Reduce入门
交流分类:Java

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+ 004……
浏览(4072)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-30 15:00:54
Hadoop学习总结之二:HDFS读写过程解析
交流分类:Java

一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize) thro……
浏览(5567)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-30 14:59:35
Hadoop 学习总结之一:HDFS简介
交流分类:Java

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个……
浏览(4983)|评论 (0)|笔记分类 Hadoop原理与代码分析

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网