收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2728409
访问用户量:2950
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» 全部笔记
2012-08-01 16:54:15
Hadoop HBase 单机环境简单配置教程
交流分类:Java

本文是一篇转载文章,文章对HBase做了简单的介绍,提供了单机安装和配置HDFS及HBase的流程。 原文链接:http://blog.sina.com.cn/s/blog_5a70c9910100bmni.html 写在前面: Hadoop是Apache的一个项目,它是一个实现了MapReduce……
浏览(3920)|评论 (0)|笔记分类 hadoop & hbase

2012-08-01 14:22:02
HBase在数据统计应用中的使用心得
交流分类:Java

1. 数据统计的需求 互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。 网站站点统计工具无外乎有以下一些功能: 1)网站流量统计:包括PV、UV、IP等指标,这些统计指标可以以趋势图的形式展示出来,如……
浏览(5134)|评论 (0)|笔记分类 HBase

2012-08-01 14:21:04
HBase Java客户端编程
交流分类:Java

本文以HBase 0.90.2为例,介绍如何在Windows系统,Eclipse IDE集成环境下,使用Java语言,进行HBase客户端编程,包含建立表、删除表、插入记录、删除记录、各种方式下的查询操作等。 1. 准备工作 1、下载后安装jdk包(这里使用的是jdk-6u10-rc2-bin-b3……
浏览(7367)|评论 (0)|笔记分类 HBase

2012-08-01 14:06:18
Hadoop学习总结之三:Map-Reduce入门
交流分类:Java

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+ 004……
浏览(3883)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-30 15:00:54
Hadoop学习总结之二:HDFS读写过程解析
交流分类:Java

一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize) thro……
浏览(5347)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-30 14:59:35
Hadoop 学习总结之一:HDFS简介
交流分类:Java

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个……
浏览(4764)|评论 (0)|笔记分类 Hadoop原理与代码分析

2012-07-25 12:30:11
精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结
交流分类:Java

1.1 总结   这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。   你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的……
浏览(2597)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:29:37
精通HADOOP(十) - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer
交流分类:Java

1.1 创建客户化的Mapper和Reducer 正如你所见,MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出,但是,因为作业的关键字是数字的,这个排序不是你所期望的,因为它按照字符排序,而不是按照数字排序。现在,我们看看如何使用客户化的Mapper进行数字排序。然后我们会……
浏览(6032)|评论 (0)|笔记分类 精通hadoop

2012-07-25 12:28:42
精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
交流分类:Java

1.1 执行作业 配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业,如列表2-1所示, logger .info("Launching the job."); /** Send the job configurati……
浏览(3423)|评论 (0)|笔记分类 精通hadoop

2012-07-25 10:42:51
精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
交流分类:Java

1.1 配置作业 所有的Hadoop作业有一个用来配置实际上的MapReduce任务和提交它到Hadoop框架的主程序。JobConf对象是用来处理这些配置的。MapReduceIntro样例类为你使用JobConf类并且提交一个作业到Hadoop框架提供了一个模板。所有的代码都依赖于MapRedu……
浏览(5028)|评论 (1)|笔记分类 精通hadoop

2012-07-25 08:09:35
精通HADOOP(七) - MAPREDUCE任务的基础知识 - Hadoop MapReduce任务的基本构成要素
交流分类:Java

1 MapReduce任务的基础知识 这一章,整体的介绍MapReduce任务。读完这章,你能编写和执行单机模式的MapReduce任务程序。 这章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下,使用一台单机执行这些样例程序,你不需要启动Hadoop核心框架。对于调试和单……
浏览(3425)|评论 (0)|笔记分类 精通hadoop

2012-07-24 21:03:56
精通HADOOP(六) - 初识Hadoop - 解决问题/总结
交流分类:Java

1.1 解决问题 如果你在执行本书的样例程序过程中遇到问题,最有可能的就是因为执行环境的不同引起的,也可能由于你的计算机的存储空间不足导致问题。 然后,下面的环境变量的设置是重要的: JAVA_HOME:这是JDK的安装根路径。所有的样例程序假设JAVA_HOME环境变量指向JDK 1.6_07的安……
浏览(5222)|评论 (1)|笔记分类 精通hadoop

2012-07-24 12:32:34
精通HADOOP(五) - 初识Hadoop - 执行和测试Hadoop样例程序
交流分类:Java

1.1 执行和测试Hadoop样例程序 在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件,你可以用它来试用Hadoop。在你执行这些样例程序以前,你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到,check_basic_env.sh脚本能够帮助你校验……
浏览(8137)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:31:33
精通HADOOP(四) - 初识Hadoop - 安装Hadoop
交流分类:Java

1.1 安装Hadoop   和其他的软件一样,使用Hadoop需要一些先决条件。如果你安装了Cywin,在Windows上执行和开发Hadoop应用程序也是可能。但是,我们强烈建议你使用Linux作为运行Hadoop的产品平台。 请注意,你需要有Linux和Java的基础知识才能使用Hadoop。……
浏览(3749)|评论 (0)|笔记分类 精通hadoop

2012-07-24 12:30:50
精通HADOOP(三) - 初识Hadoop - Hadoop介绍
交流分类:Java

1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目,这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展,它提供一个框架,用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节,使得应用程序开发者可以专注于应用程序逻辑上……
浏览(2565)|评论 (0)|笔记分类 精通hadoop

2012-07-20 19:07:55
Hadoop完全分布模式安装实现详解
交流分类:Java

本节向大家介绍一下Hadoop完全分布模式安装方法,你可以和之前介绍的两种模式做一下对比,看看那种模式更适合你,欢迎大家一起来学习Hadoop完全分布模式安装。 Hadoop完全分布模式安装 Hadoop概念 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层……
浏览(3311)|评论 (1)|笔记分类 hadoop

2012-07-20 19:07:37
术语汇编 Hadoop简介
交流分类:Java

本节向大家描述一下Hadoop简介,主要包括Hadoop概念和Hadoop子系统功能等内容,希望通过本节的介绍大家对Hadoop有新的认识,让我们一起来学习Hadoop吧。 Hadoop简介 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发……
浏览(3331)|评论 (1)|笔记分类 hadoop

2012-07-20 19:06:02
在 Windows 平台下部署 Hadoop 开发环境
交流分类:Java

Hadoop简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System ) 。也许到目前为止,Hadoop 还不是那么广为人知,……
浏览(3833)|评论 (1)|笔记分类 hadoop

2012-07-20 19:05:26
一个生成10的N次方个整数的一段小程序,彰显出的大智慧
交流分类:Java

最近在学习Hadoop,上次用Map/Reduce模型写个了对大量整数数字求和的程序,为了测试就要生成大量测试数据,我用Ruby写了个随机生成整数,并将整数按指定的格式写入文本文件,然后将生成的数据输入Map/Reduce程序(NumerSum),进行求和。针对这样的小功能我相信学过编程的都能写出来……
浏览(5790)|评论 (1)|笔记分类 hadoop

2012-07-11 15:07:44
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习
交流分类:Java

  Map/Reduce编程模型型的原理是:利用一个输入key/value pair 集合来产生一个输出的key/value pair 集合。MapReduce 库的用户用两个函数表达这个计算:Map 和Reduce。Hadoop Map/Reduce实现主要是通过继承Mapper和Reducer两……
浏览(5876)|评论 (0)|笔记分类 hadoop

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网