收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2802076
访问用户量:2979
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 全部笔记
2012-08-06 17:28:03
HBase 官方文档
交流分类:Java

HBase 官方文档 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4   配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档……
浏览(12132)|评论 (0)|笔记分类 hadoop & hbase

2012-08-06 17:26:29
HBase在淘宝的应用和优化小结
交流分类:Java

本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。 原文地址:http://walkoven.com/?p=57 文章PDF下载:hbase……
浏览(3285)|评论 (0)|笔记分类 hadoop & hbase

2012-08-06 17:25:33
[译] NoSQL生态系统
交流分类:Java

本文原文出自《The Architecture of Open Source Applications》一书第13章《The NoSQL Ecosystem》,由NoSQLFan的@iammutex,也就是正在码字的我,利用业余时间零碎时间经过半个月左右翻译完成。 不得不说这是一个非常有意思的过程,……
浏览(5259)|评论 (0)|笔记分类 hadoop & hbase

2012-08-06 17:20:59
Facebook为何选择了Hadoop和HBase
交流分类:Java

前段时间Facebook的新版消息系统发布,Facebook对HBase的成功使用也使得超来超多的HBase案例得以出现,下文是Facebook的Hadoop工程师Dhruba Borthakur同学发表的Hadoop系列文章中的一篇,对Facebook选择Hadoop和HBase的原因做了一个说明……
浏览(2207)|评论 (0)|笔记分类 hadoop & hbase

2012-08-06 17:19:30
Hadoop 数据类型与文件结构剖析 Sequence, Map, Set, Array, BloomMap Files
交流分类:Java

今天要推荐的一篇文章发表在知名云存储提供商 Cloudera 的博客,本文细致且图文并茂地讲解了 Hadoop 的几种典型文件结构及他们之前的关系。NoSQLFan 将主要内容翻译整理如下(如有错漏,欢迎指正): 1.Hadoop’s SequenceFile SequenceFile 是 Hado……
浏览(2677)|评论 (0)|笔记分类 hadoop & hbase

2012-08-06 17:17:44
详解HBase Compaction
交流分类:Java

HBase 中有一种数据行为叫Compaction,从字面的意思就是数据文件合并,本文对Compaction的目的,控制方法,具体实施过程等几个方面对HBase 的 Compaction 行为进行了介绍。 1. Compaction是什么 合并多个HFile生成一个HFile Compaction有……
浏览(7921)|评论 (0)|笔记分类 hadoop & hbase

2012-08-03 09:30:56
HDFS详解
交流分类:Java

【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一……
浏览(7414)|评论 (0)|笔记分类 hadoop

2012-08-03 09:30:26
MapReduce:一个重大的倒退
交流分类:Java

这篇文章是由databasecolumn的几个数据库大牛写的,简要的介绍了MapReduce以及将其与现代数据库管理系统进行了对比,并指出了一些不足之处。本文纯属学习性翻译,从多方面来了解MapReduce,不代表完全赞同原文的观点。请读者也辩证的看。            一月八号,一个数据库专栏……
浏览(4134)|评论 (0)|笔记分类 hadoop

2012-08-03 09:29:48
Mapreduce
交流分类:Java

【一】MapReduce基础  MapReduce 程序是设计用来并行计算大规模海量数据的,这需要把工作流分划到大量的机器上去,如果组件(component)之间可以任意的共享数据,那这个模型就没 法扩展到大规模集群上去了(数百或数千个节点),用来保持节点间数据的同步而产生的通信开销会使得系统在大规……
浏览(5058)|评论 (0)|笔记分类 hadoop

2012-08-02 13:44:23
HBase性能调优
交流分类:Java

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:Regio……
浏览(5915)|评论 (0)|笔记分类 HBase

2012-08-02 13:24:52
HBase异常:hbase-default.xml file seems to be for and old version of HBase的解决方法
交流分类:Java

近期在使用HBase Java Client连接HBase服务端创建Configuration对象时,遇到了hbase-default.xml file seems to be for and old version of HBase的异常,经过查找资料及阅读HBase相关源码,对这类异常的解决方法……
浏览(4679)|评论 (0)|笔记分类 HBase

2012-08-02 13:01:03
HTable和HTablePool使用注意事项
交流分类:Java

HTable和HTablePool都是HBase客户端API的一部分,可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况,对二者使用过程中的注意事项做一下概括总结。 HTable HTable是HBase客户端与HBase服务端通讯的Java API对象,客户端可以通过HTabl……
浏览(5161)|评论 (0)|笔记分类 HBase

2012-08-02 13:00:41
HBase性能优化方法总结(四):数据计算
交流分类:Java

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第四部分内容:数据计算相关的优化方法。 4. 数据计算 4.1 服务端计算 Coprocessor运行于HBase RegionServ……
浏览(3270)|评论 (0)|笔记分类 HBase

2012-08-02 12:59:44
HBase性能优化方法总结(三):读表操作
交流分类:Java

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第三部分内容:读表操作相关的优化方法。 3. 读表操作 3.1 多HTable并发读 创建多个HTable客户端用于读操作,提高读数据的……
浏览(8060)|评论 (0)|笔记分类 HBase

2012-08-02 12:59:06
HBase性能优化方法总结(二):写表操作
交流分类:Java

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 2. 写表操作 2.1 多HTable并发写 创建多个HTable客户端用于写操作,提高写数据的……
浏览(4846)|评论 (0)|笔记分类 HBase

2012-08-02 12:58:29
HBase性能优化方法总结(一):表的设计
交流分类:Java

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表……
浏览(4452)|评论 (0)|笔记分类 HBase

2012-08-02 12:50:15
Hadoop学习总结之五:Hadoop的运行痕迹
交流分类:Java

在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹,方便出现问题的时候可以通过这些痕迹来解决问题。 一、环境的搭建 为了能够跟踪这些运行的痕迹,我们需要搭建一个特殊的环境,从而……
浏览(6788)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-08-02 12:49:17
(转)MapReduce源码分析总结
交流分类:Java

转者注:本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的,然而查找资料的时候,发现了这篇文章,并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析,推荐大家阅读。 转自http://blog.csdn.net/HEYUTAO007/archive/20……
浏览(4767)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-08-01 16:56:00
百度Hadoop分布式系统揭秘:4000节点集群
交流分类:Java

在 NoSQL 方面,之前了解到百度对 Hadoop 和 hypertable 都有研究,而且 hypertable 方面更是作为其主要赞助商之一,但之前和百度的一些朋友了解到百度内部对 hypertable 倒是使用不多,相反在 Hadoop 方面倒是有比较大的应用实例。下面一篇文章描述了百度内部……
浏览(3321)|评论 (0)|笔记分类 hadoop & hbase

2012-08-01 16:55:02
hadoop的1TB排序
交流分类:Java

原文链接:http://www.javaeye.com/topic/709986 1、1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,……
浏览(3855)|评论 (0)|笔记分类 hadoop & hbase

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网