收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2728411
访问用户量:2950
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 2012-08存档笔记
2017-04-09 19:25:46
Hadoop实战-初级部分 之 HDFS API
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(56842)|评论 (101)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 开启云计算之旅
交流分类:Java

私塾在线《深入浅出学 Hadoop- 初级 部分》  —— 系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Shell 基……
浏览(97235)|评论 (146)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
交流分类:Java

私塾在线《深入浅出学   Hadoop-   初级   部分》    ——   系列精品教程 视频课程地址》》》  http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Had……
浏览(85757)|评论 (104)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 Hadoop安装部署
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(121630)|评论 (147)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 MapReduce
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(65831)|评论 (94)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:31
Hadoop实战-初级部分 之 Hadoop IO
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(51934)|评论 (54)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 HDFS
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(66749)|评论 (77)|笔记分类 Hadoop实战-初级部分

2017-03-19 15:27:32
Hadoop实战-初级部分 之 Shell
交流分类:Java

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Sh……
浏览(38813)|评论 (69)|笔记分类 Hadoop实战-初级部分

2013-12-29 10:08:02
hbase code
交流分类:Java

  package com.run.hbase.dataImport;   import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; im……
浏览(11315)|评论 (9)|笔记分类 HBase

2012-10-09 00:03:25
Hadoop实战-中高级部分 之 Hadoop RestFul
交流分类:Java

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 Had……
浏览(24152)|评论 (2)|笔记分类 Hadoop实战-中高级部分

2012-10-01 00:36:53
hadoop常见配置含义备忘录
交流分类:Java

列了很多配置的参数   其中红色的配置为必须配置参数   参数 取值 备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要,用这个文件控制许可的datanode列……
浏览(7077)|评论 (1)|笔记分类 hadoop

2012-08-30 14:47:26
提高hadoop的mapreduce job效率笔记之二(尽量的用Combiner)
交流分类:Java

当job 运行中发现如下的现象,通常job是 可以优化的: Job的运行过程中会有一系列的sort 的操作,并且reduce input groups的counter变量的值远远要小于reduce input records counter。 Job在 mapper完成以后,shuffle过程中传输……
浏览(2030)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:47:09
提高hadoop的mapreduce job效率笔记之一(修改mapper和reducer数量)
交流分类:Java

hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情 况: 每一个map或者reduce只有30-40秒钟就结束 超 大规模的job 时,通常会需要大量的map和reduce的slots 支持,但是job运行起来后,running的map和reduce并没有沾满集群的可用slo……
浏览(3316)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:46:49
hadoop中使用lzo压缩格式支持笔记
交流分类:Java

通常hadoop中的mapreduce作业都会产生大量都中间文 件 ,当要处理当原始数 据 非常大,并且在一定大map处理逻辑的情况下,这些中间文件会非常的大,hadoop mapreduce的中间文件是通过slave上hadoop-site.xml配置文件中的mapred.local.dir 配置……
浏览(1264)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:46:23
使hadoop支持Splittable压缩lzo
交流分类:Java

在hadoop中使用lzo的压缩算法可以减小数 据 的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行 的被hadoop处理。这样的特点,就可以让lzo在hadoop上成为一种非常好用的压缩格式。     由于压缩的数据通常只有原始数据的1/……
浏览(3268)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:45:59
hadoop中使用 Gzip 压缩格式支持笔记
交流分类:Java

hadoop中支持的压缩方式有多种,比如Gzip,bzip2,zlib等,其中Gzip是hadoop中内置就支持的一种压缩方式,这种压缩方式在平 时linux 的开发人员和管理 员中使用的比较广泛,压缩比也比较高,压缩速度也还不 错,所以很多人都喜欢第一趋向于使用这种压缩格式进行文 件 的压缩。  ……
浏览(5917)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:45:24
hadoop海量put时出现的socket超时导致put失败解决方案
交流分类:Java

当一个HDFS系统同时处理许多个并行的put操作,往HDFS上传数 据 时,有时候会出现dfsclient 端发生socket 链接超时的报错,有的时候甚至会由于这种原因导致最终的put操作失败,造成数据上传不完整。 log类似如下: All datanodes  *** are bad. Abor……
浏览(5295)|评论 (0)|笔记分类 luoli的Hadoop

2012-08-30 14:43:48
Hadoop关于处理大量小文件的问题和解决方法
交流分类:Java

HDFS处理大量小文件 时的问题 小 文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。 而 HDFS的问题在于无法很有效的处理大量小文件。 任何一个文件,目录……
浏览(2686)|评论 (0)|笔记分类 hadoop

2012-08-29 15:20:17
hadoop下运行多个SecondaryNameNode的配置
交流分类:Java

光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的……
浏览(3519)|评论 (0)|笔记分类 hadoop

2012-08-29 15:13:56
DatanodeProtocol
交流分类:Java

DatanodeProtocol是一个接口类,从它的名字就可以看出它是用来实现datanode 和 namenode之间通信的一个协议 类。在实际的代码 中,namenode是实现了这个接口的,也就是说namenode实现了这个接口中的各种方法,以满足在特定情况下datanode应该如何根据和 na……
浏览(1139)|评论 (0)|笔记分类 hadoop

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网