|
记笔记 » hadoop的笔记» 2012-08存档笔记
2018-06-01 09:40:40 Hadoop实战-初级部分 之 HDFS 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(103073)|评论 (79)|笔记分类 Hadoop实战-初级部分
2018-06-01 09:40:40 Hadoop实战-初级部分 之 开启云计算之旅 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Shell 基……
浏览(151617)|评论 (149)|笔记分类 Hadoop实战-初级部分
2018-06-01 09:40:40 Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Had……
浏览(132054)|评论 (107)|笔记分类 Hadoop实战-初级部分
2018-06-01 09:40:40 Hadoop实战-初级部分 之 MapReduce 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(105368)|评论 (97)|笔记分类 Hadoop实战-初级部分
2017-08-29 22:51:26 Hadoop实战-初级部分 之 HDFS API 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(95575)|评论 (103)|笔记分类 Hadoop实战-初级部分
2017-08-29 22:51:25 Hadoop实战-初级部分 之 Shell 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(59130)|评论 (70)|笔记分类 Hadoop实战-初级部分
2017-03-19 15:27:31 Hadoop实战-初级部分 之 Hadoop IO 交流分类:Java
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(74581)|评论 (54)|笔记分类 Hadoop实战-初级部分
2013-12-29 10:08:02 hbase code 交流分类:Java
package com.run.hbase.dataImport; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; im……
浏览(13943)|评论 (9)|笔记分类 HBase
2012-10-09 00:03:25 Hadoop实战-中高级部分 之 Hadoop RestFul 交流分类:Java
Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 Had……
浏览(31544)|评论 (2)|笔记分类 Hadoop实战-中高级部分
2012-10-01 00:36:53 hadoop常见配置含义备忘录 交流分类:Java
列了很多配置的参数 其中红色的配置为必须配置参数 参数 取值 备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要,用这个文件控制许可的datanode列……
浏览(8341)|评论 (1)|笔记分类 hadoop
2012-08-30 14:47:26 提高hadoop的mapreduce job效率笔记之二(尽量的用Combiner) 交流分类:Java
当job 运行中发现如下的现象,通常job是 可以优化的: Job的运行过程中会有一系列的sort 的操作,并且reduce input groups的counter变量的值远远要小于reduce input records counter。 Job在 mapper完成以后,shuffle过程中传输……
浏览(2913)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:47:09 提高hadoop的mapreduce job效率笔记之一(修改mapper和reducer数量) 交流分类:Java
hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情 况: 每一个map或者reduce只有30-40秒钟就结束 超 大规模的job 时,通常会需要大量的map和reduce的slots 支持,但是job运行起来后,running的map和reduce并没有沾满集群的可用slo……
浏览(5316)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:46:49 hadoop中使用lzo压缩格式支持笔记 交流分类:Java
通常hadoop中的mapreduce作业都会产生大量都中间文 件 ,当要处理当原始数 据 非常大,并且在一定大map处理逻辑的情况下,这些中间文件会非常的大,hadoop mapreduce的中间文件是通过slave上hadoop-site.xml配置文件中的mapred.local.dir 配置……
浏览(1992)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:46:23 使hadoop支持Splittable压缩lzo 交流分类:Java
在hadoop中使用lzo的压缩算法可以减小数 据 的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行 的被hadoop处理。这样的特点,就可以让lzo在hadoop上成为一种非常好用的压缩格式。 由于压缩的数据通常只有原始数据的1/……
浏览(4209)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:45:59 hadoop中使用 Gzip 压缩格式支持笔记 交流分类:Java
hadoop中支持的压缩方式有多种,比如Gzip,bzip2,zlib等,其中Gzip是hadoop中内置就支持的一种压缩方式,这种压缩方式在平 时linux 的开发人员和管理 员中使用的比较广泛,压缩比也比较高,压缩速度也还不 错,所以很多人都喜欢第一趋向于使用这种压缩格式进行文 件 的压缩。 ……
浏览(8052)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:45:24 hadoop海量put时出现的socket超时导致put失败解决方案 交流分类:Java
当一个HDFS系统同时处理许多个并行的put操作,往HDFS上传数 据 时,有时候会出现dfsclient 端发生socket 链接超时的报错,有的时候甚至会由于这种原因导致最终的put操作失败,造成数据上传不完整。 log类似如下: All datanodes *** are bad. Abor……
浏览(8800)|评论 (0)|笔记分类 luoli的Hadoop
2012-08-30 14:43:48 Hadoop关于处理大量小文件的问题和解决方法 交流分类:Java
HDFS处理大量小文件 时的问题 小 文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。 而 HDFS的问题在于无法很有效的处理大量小文件。 任何一个文件,目录……
浏览(3675)|评论 (0)|笔记分类 hadoop
2012-08-29 15:20:17 hadoop下运行多个SecondaryNameNode的配置 交流分类:Java
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的……
浏览(4370)|评论 (0)|笔记分类 hadoop
2012-08-29 15:13:56 DatanodeProtocol 交流分类:Java
DatanodeProtocol是一个接口类,从它的名字就可以看出它是用来实现datanode 和 namenode之间通信的一个协议 类。在实际的代码 中,namenode是实现了这个接口的,也就是说namenode实现了这个接口中的各种方法,以满足在特定情况下datanode应该如何根据和 na……
浏览(1764)|评论 (0)|笔记分类 hadoop
|