收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2802076
访问用户量:2979
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

记笔记 » hadoop的笔记» Hadoop Streaming实战笔记
2012-08-10 15:21:16
Hadoop Streaming 实战: aggregate
交流分类:Java

1. aggregate概述 aggregate是Hadoop提供的一个软件包,其用来做一些通用的计算和聚合。 Generally speaking, in order to implement an application using Map/Reduce model, the developer……
浏览(2368)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:20:56
Hadoop socket测试
交流分类:Java

概要: hadoop上以streaming方式运行map任务,map任务为socke client端,和在外部系统运行的server交互 代码: server.cpp [cpp]  view plain copy #include    #include    #include    #includ……
浏览(1817)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:20:21
Hadoop运行流程分析
交流分类:Java

1. 概述 Hadoop MapReduce基于“分而治之”的思想,将计算任务抽象成map和reduce两个计算过程,计算流程如下: map过程包括: 1). 从磁盘读入数据 2). 运行map任务 3). 写结果到磁盘 reduce过程包括: 1). shuffle&sort 2). 运行redu……
浏览(1668)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:20:00
Hadoop Streaming: c++编写uniq程序
交流分类:Java

1. 描述 使用Hadoop streaming对输入数据的第一列进行uniq去重计算,采用c++编写map-reduce程序。 2. mapper程序 mapper.cpp [cpp]  view plain copy #include    #include       using namesp……
浏览(5292)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:17:46
Hadoop Streaming 实战: c++编写map&reduce程序
交流分类:Java

1. 输入文件:  姓名 年龄(以'/t’分割)  eg:  张三  15  李四  15  张三  16  张三 15  输出:将姓名和年龄相同的归一,并输出其人数  eg:上述输入,输出为: 姓名  年龄 人数(以'/t’分割)  张三 15   2  李四 15   1  张三 16   1 ……
浏览(1752)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:17:21
Hadoop Streaming 实战: 实用Partitioner类KeyFieldBasedPartitioner
交流分类:Java

我们知道,一个典型的Map-Reduce过程包括:Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPa……
浏览(3484)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:16:58
Hadoop Streaming 实战: 输出文件分割
交流分类:Java

        我们知道,Hadoop streaming框架默认情况下会以'/t’作为分隔符,将每行第一个'/t’之前的部分作为key,其余内容作为value,如果没有'/t’分隔符,则整行作为key;这个key/tvalue对又作为reduce的输入。hadoop 提供配置供用户自主设置分隔符。……
浏览(10094)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:16:34
Hadoop Streaming 实战: 文件分发与打包
交流分类:Java

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。 Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。  1. –file 将本地文件分发到计算结点  2. –cac……
浏览(5162)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:16:06
Hadoop Streaming 实战: bash脚本
交流分类:Java

 streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序    1. 待检索的数据放入hdfs         $ hadoop fs -put localfile /user/hadoop/hadoopfile    2. 编写map、red……
浏览(1673)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:15:38
Hadoop Streaming 实战: grep
交流分类:Java

streaming支持shell 命令的使用。但是,需要注意的是,对于多个命令,不能使用形如cat; grep 之类的多命令,而需要使用脚本,后面将具体介绍。   下面示例用grep检索巨量数据:    1. 待检索的数据放入hdfs         $ hadoop fs -put localfi……
浏览(3831)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:15:21
Hadoop客户端环境配置
交流分类:Java

1.  安装客户端(通过端用户可以方便的和集群 交互) 2. 修改客户端~/.bashrc alias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop'  #hadoop 可执行文件位置 alias hls='hado……
浏览(8264)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:14:30
Hadoop Streaming
交流分类:Java

Hadoop MapReduce和HDFS采用Java实现,默认提供Java编程接口,另外提供了C++编程接口和Streaming框架。Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用,方便已有程序向Hadoop平台移植。 Streaming的原理是用Java……
浏览(7645)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:13:18
Hadoop MapReduce
交流分类:Java

Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。 Hadoop MapRedu……
浏览(3524)|评论 (0)|笔记分类 Hadoop Streaming实战

2012-08-10 15:11:45
Map-Reduce简介
交流分类:Java

      MapReduce是一种编程模型,始于:Dean, Jeffrey & Ghemawat, Sanjay (2004). "MapReduce: Simplified Data Processing on Large Clusters"。主要应用于大规模数据集的并行运算。其将并行计算简化……
浏览(1417)|评论 (0)|笔记分类 Hadoop Streaming实战

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网