2012-08存档笔记 - hadoop的笔记 - 记笔记 - 私塾在线

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 Had……

浏览(31544)|评论 (2)|笔记分类 Hadoop实战-中高级部分

2012-10-01 00:36:53
hadoop常见配置含义备忘录
交流分类：Java

列了很多配置的参数其中红色的配置为必须配置参数参数取值备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列……

浏览(8341)|评论 (1)|笔记分类 hadoop

2012-08-30 14:47:26
提高hadoop的mapreduce job效率笔记之二（尽量的用Combiner）
交流分类：Java

当job 运行中发现如下的现象，通常job是可以优化的： Job的运行过程中会有一系列的sort 的操作，并且reduce input groups的counter变量的值远远要小于reduce input records counter。 Job在 mapper完成以后，shuffle过程中传输……

浏览(2913)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:47:09
提高hadoop的mapreduce job效率笔记之一（修改mapper和reducer数量）
交流分类：Java

hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情况：每一个map或者reduce只有30-40秒钟就结束超大规模的job 时，通常会需要大量的map和reduce的slots 支持，但是job运行起来后，running的map和reduce并没有沾满集群的可用slo……

浏览(5316)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:46:49
hadoop中使用lzo压缩格式支持笔记
交流分类：Java

通常hadoop中的mapreduce作业都会产生大量都中间文件，当要处理当原始数据非常大，并且在一定大map处理逻辑的情况下，这些中间文件会非常的大，hadoop mapreduce的中间文件是通过slave上hadoop-site.xml配置文件中的mapred.local.dir 配置……

浏览(1992)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:46:23
使hadoop支持Splittable压缩lzo
交流分类：Java

在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。由于压缩的数据通常只有原始数据的1/……

浏览(4209)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:45:59
hadoop中使用 Gzip 压缩格式支持笔记
交流分类：Java

hadoop中支持的压缩方式有多种，比如Gzip，bzip2，zlib等，其中Gzip是hadoop中内置就支持的一种压缩方式，这种压缩方式在平时linux 的开发人员和管理员中使用的比较广泛，压缩比也比较高，压缩速度也还不错，所以很多人都喜欢第一趋向于使用这种压缩格式进行文件的压缩。 ……

浏览(8052)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:45:24
hadoop海量put时出现的socket超时导致put失败解决方案
交流分类：Java

当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes *** are bad. Abor……

浏览(8800)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:43:48
Hadoop关于处理大量小文件的问题和解决方法
交流分类：Java

HDFS处理大量小文件时的问题小文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而 HDFS的问题在于无法很有效的处理大量小文件。任何一个文件，目录……

浏览(3675)|评论 (0)|笔记分类 hadoop

2012-08-29 15:20:17
hadoop下运行多个SecondaryNameNode的配置
交流分类：Java

光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的……

浏览(4370)|评论 (0)|笔记分类 hadoop

2012-08-29 15:13:56
DatanodeProtocol
交流分类：Java

DatanodeProtocol是一个接口类，从它的名字就可以看出它是用来实现datanode 和 namenode之间通信的一个协议类。在实际的代码中，namenode是实现了这个接口的，也就是说namenode实现了这个接口中的各种方法，以满足在特定情况下datanode应该如何根据和 na……

浏览(1764)|评论 (0)|笔记分类 hadoop

1 2 3 4 5 6 ► Go

前往页面...