收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2614748
访问用户量:2912
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» hadoop笔记
2012-08-30 14:43:48
Hadoop关于处理大量小文件的问题和解决方法
交流分类:Java

HDFS处理大量小文件 时的问题 小 文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。 而 HDFS的问题在于无法很有效的处理大量小文件。 任何一个文件,目录……
浏览(2593)|评论 (0)|笔记分类 hadoop

2012-08-29 15:20:17
hadoop下运行多个SecondaryNameNode的配置
交流分类:Java

光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的……
浏览(3449)|评论 (0)|笔记分类 hadoop

2012-08-29 15:13:56
DatanodeProtocol
交流分类:Java

DatanodeProtocol是一个接口类,从它的名字就可以看出它是用来实现datanode 和 namenode之间通信的一个协议 类。在实际的代码 中,namenode是实现了这个接口的,也就是说namenode实现了这个接口中的各种方法,以满足在特定情况下datanode应该如何根据和 na……
浏览(1113)|评论 (0)|笔记分类 hadoop

2012-08-29 15:12:13
远程debug hadoop的daemon进程(jt,nn,tt,dn)
交流分类:Java

在对hadoop 的代码进行hack或者编写自己的 mapreduce程序的时候,经常需要对代码进行debug , 但是由于hadoop是一个分布式的系 统 ,而且很多的进 程 都是多线程的,对它的代码进行debug就变得很麻烦,而且运用IBM之前contrib的哪个eclipse- plugin工……
浏览(3026)|评论 (0)|笔记分类 hadoop

2012-08-29 15:11:47
hadoop Datanode支持磁盘故障代码hack
交流分类:Java

背景 hadoop当中的每一个datanode上,都会保存 一些HDFS中文件 的blocks,而 这些blocks实际上都是按照一定的格式保存在 datanode这台机器的某些本地目录中的,当通过hadoop向HDFS中保存文件的时候,这些文件就会被hadoop按照blocksize切分成 多个b……
浏览(1449)|评论 (0)|笔记分类 hadoop

2012-08-29 15:10:23
hadoop中map/reduce编程中关于mapper和reducer的Format问题
交流分类:Java

hadoop中的map/reduce编程中有几个非常关键的组件,其中包括 Mapper,Reducer,InputFormat,OutputFormat,OutputKeyClass,OutputValueClass 等,在刚接触map/reduce编程的时候很容易由于 InputFormat,Ou……
浏览(2635)|评论 (0)|笔记分类 hadoop

2012-08-29 15:08:22
HOD集群搭建指南
交流分类:Java

前言 本文的目的在于从无到有的搭建一套HOD服务集群。在参考本文之前假设读者已经对hadoop系统及其下面 DFSShell,HDFS,MapReduce等已经有了相当的了解。由于Hadoop docs中关于HOD如何搭建和使用的介绍比较少,并且涉及到底层Torque集群组件的结合,在搭建和使用上难……
浏览(2709)|评论 (0)|笔记分类 hadoop

2012-08-23 15:10:10
(转)hadoop的task运行完成后清理local目录影响性能
交流分类:Java

link:http://blog.csdn.net/ae86_fc/article/details/5284282 当launch一个job到hadoop 集群,hadoop集群中的 TaskTracker(TT),在从一次heartbeat中接收到 JobTracker(JT)的cmd后,TT会在……
浏览(2072)|评论 (0)|笔记分类 hadoop

2012-08-23 15:08:53
hadoop balance
交流分类:Java

在要balance的slave执行: start-balancer.sh -threshold 10% 或 ./hadoop balancer -threshold 10     由于hadoop集群的机器磁盘容量大小不等,造成磁盘使用率不同,有的使用了10%,而有的已经100%,这个对整个系统的运……
浏览(8795)|评论 (0)|笔记分类 hadoop

2012-08-23 15:08:26
hadoop——hdfs多硬盘挂载
交流分类:Java

首先说一下服务器环境: 1,ubuntu server 10.04.2; 2.hadoop-0.20.2; 3,4块2TB硬盘; 一、先将硬盘格式化。如何格式化看:http://www.cnblogs.com/tangtianfly/archive/2012/05/17/2506367.html 二……
浏览(9125)|评论 (0)|笔记分类 hadoop

2012-08-23 15:06:23
hadoop 关键属性配置
交流分类:Java

摘自网友: 其中红色的配置为必须配置参数   参数取值备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要,用这个文件控制许可的datanode列表。 dfs.r……
浏览(1457)|评论 (0)|笔记分类 hadoop

2012-08-23 15:02:46
mapreduce程序编写注意事项
交流分类:Java

任何一个解决方案都不可能做到天衣无缝,在不断出现的应用面前,一定会不断暴露出问题,暴露出问题就要解决。 问题1.与同一个KEY相关联的数据不能太多。 需求如下:    假如有如下的数据(我尽量简化字段):  域名              QQ号码         性别。  www.qq.com  ……
浏览(2313)|评论 (0)|笔记分类 hadoop

2012-08-23 15:01:33
mapreduce编程模型介绍
交流分类:Java

任何技术点在你未曾接触过的时候,都是觉得雾里看花,水中望月,既遥远又神秘,但是当你尝试学习并通过实践对其脉络掌握清楚以后,就会觉得原来这么简单,技术就是那么一回事儿。 mapreduce分布式编程模型是google在2004年提出来的,目的是为了解决海量数据的处理,我们通过一段时间的应用,对mapr……
浏览(4490)|评论 (0)|笔记分类 hadoop

2012-08-23 15:00:12
secondarynamenode异常
交流分类:Java

secondarynamenode异常信息 2012-03-15 16:52:01,150 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period :3600 secs (60 min) 201……
浏览(6121)|评论 (0)|笔记分类 hadoop

2012-08-23 14:59:29
hadoop添加垃圾回收站 管用
交流分类:Java

在core-site.xml中增加如下配置,表明rm后会在trash中保留多少分钟: fs.trash.interval 10080 Number of minutes between trash checkpoints. If zero, the trash feature is disabled……
浏览(1268)|评论 (0)|笔记分类 hadoop

2012-08-23 14:59:11
Hadoop杂记
交流分类:Java

Hadoop杂记 namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录……
浏览(5293)|评论 (0)|笔记分类 hadoop

2012-08-23 14:57:32
Hadoop添加删除节点
交流分类:Java

 link:http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或……
浏览(1336)|评论 (0)|笔记分类 hadoop

2012-08-23 14:57:08
(转)无法启动namenode
交流分类:Java

(1)hadoop集群我维护有一段时间了,今天忽然出现了一个问题,当我stop-all.sh后hadoop的web页面无法显示,分析应该是namenode没有启动,检查后果然namenode没有启动,凭借经验,我猜想应该是配置文件的问题,于是仔细检查了conf下的每一个文件,但是配置文件配置无误,n……
浏览(13387)|评论 (0)|笔记分类 hadoop

2012-08-23 14:56:41
hadoop主节点(NameNode)备份策略以及恢复方法
交流分类:Java

link:http://jiajun.iteye.com/blog/809125 一、dits和fsimage  首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。 集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。 当名称节点(NameN……
浏览(3946)|评论 (0)|笔记分类 hadoop

2012-08-23 14:55:54
hadoop集群管理之 SecondaryNameNode和NameNode
交流分类:Java

光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata……
浏览(15394)|评论 (0)|笔记分类 hadoop

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网