收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 

交流首页 » Java »Hadoop实战-初级部分 之 Hadoop安装部署  XML
发表人 内容
hadoop
[头像]

交流经验:
总积分:1409
级别:普通会员
注册时间: 2012-08-20
文章: 268
离线

本节课程概览
Hadoop 在windows 上伪分布式的安装过程 
Hadoop 在linux  上单节点伪分布式的安装过程 
集成Eclipse 开发环境 
Hadoop UI 介绍
运行WordCounter  事例
 
 
第一部分:Hadoop 在windows 上伪分布式的安装过程
安装JDK
1.下载JDK
       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html
2.解压
   或者直接运行.exe安装
后面根据项目的实际需要来进行调整。
安装 Cygwin
1.下载Cygwin
    网址: http://www.cygwin.com/setup.exe
 2.安装Cygwin
1. Net Category 下的OpenSSL
2.    Base Category 下的sed
3.Editors Category 下的vim
4.Devel Category  下subversion
后面根据项目的实际需要来进行调整。
 
配置环境变量
1.配置JAVA 环境变量
    PATH 和JAVA_HOME:
        JAVA_HOME 指向JDK安装目录;
        PATH 指向JDK的bin
 
启动 SSHD 服务
1.安装SSHD
   ssh-host-config
2. 启动SSHD
    net start sshd 
ssh 的安装和配置
实现ssh无密码登陆
$ssh-keygen -t rsa  
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机
 
安装 Hadoop
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
配置 Hadoop
1. 配置hadoop-env.sh
2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
概念
HDFS:
      NameNode  :管理节点
      DataNode   :数据节点
      SecondaryNamenode : 数据源信息备份整理节点
 
MapReduce
       JobTracker  :任务管理节点
       Tasktracker  :任务运行节点
 
配置文件
       core-site.xml   common属性配置
       hdfs-site.xml    HDFS属性配置
       mapred-site.xml  MapReduce属性配置
       hadoop-env.sh     hadooop 环境变量配置
修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
core-site.xml

java代码:
<configuration>     
<property>  
       <name>fs.default.name</name>  
       <value>hdfs://localhost:9000</value>  
</property>  
<property>
       <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
     </property>
</configuration>  

hdfs-site.xml
 
java代码:
<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>  
mapred-site.xml
java代码:
<configuration>     
    <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>  

启动 Hadoop
 1.格式化文件系统
      hadoop namenode –format
 2. 启动hadoop
      启动所有任务start-all.sh/stop-all.sh
      启动关闭HDFS: start-dfs.sh/stop-dfs.sh
      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh      
 3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
      
第二部分:Hadoop 在linux  上单节点伪分布式的安装过程
安装 JDK
$chmod +x jdk-6u27-linux-i586.bin
$./jdk-6u27-linux-i586.bin
安装完后设置java 环境变量如下
命令 :/home路径下
$vi .bashrc
然后添加如下语句
export JAVA_HOME=/home/test/ jdk1.6.0_27
export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.
然后. .bashrc使其生效
 
ssh 的安装和配置
$实现ssh无密码登陆
$sudo apt-get install ssh
$ssh-keygen 
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对
出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机
 
 
Hadoop 安装
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
3. 添加Hadoop Bin到环境变量中
 
修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
 
 
conf/core-site.xml

java代码:
<configuration>     
	<property>  
          <name>fs.default.name</name>  
          <value>hdfs://localhost:9000</value>  
      </property>  
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/hadoop</value>
       </property>
</configuration>  

conf/hdfs-site.xml

java代码:
<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>  

conf/mapred-site.xml

java代码:
<configuration>     
     <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>  
启动 Hadoop
 1.格式化文件系统
      hadoop namenode –format
 2. 启动hadoop
     启动关闭所有服务 start-all.sh/stop-all.sh
     启动关闭HDFS: start-dfs.sh/stop-dfs.sh
     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh
 3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
      
第三部分:Hadoop UI 介绍
Hadoop 重要的端口
1.Job Tracker 管理界面:50030
2.HDFS 管理界面 :50070
3.HDFS通信端口:9000
4.MapReduce通信端口:9001
常用访问页面
1. HDFS 界面
        http://hostname:50070
2. MapReduce 管理界面
        http://hostname:50030
 
第四部分:运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
      $ echo ”Hello world Bye world" > >~/input/file1
      $ echo ”hello hadoop bye hadoop” > >~/input/file2
2.在HDFS上建立一个input目录
       $ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
       $ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
     $ hadoop fs -ls /tmp/input
5.执行wordcount
   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output
6.运行完成,查看结果
   hadoop fs -cat /output/part-r-00000
 
 
第五部分:集成 Eclipse 开发环境
通过 Eclipse 编写 Hadoop 程序
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件,包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装 
初次体验了Hadoop运行的WordCounter程序 
了解了Hadoop UI
 掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容,转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html
该帖子包含附件,回复帖子后即可下载附件。

这篇文章被编辑了 2 次. 最近一次更新是在 2012-08-09 16:07:53


推广链接
精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

研磨设计模式——跟着cc学设计系列视频教程
本视频课程是北京Java私塾原创精品书籍《研磨设计模式》一书的配套学习视频,由《研磨设计模式》的第一作者CC录制 课程目标:全面、系统的掌握GoF设计模式的知识,达到可以在实际项目开发中运用的能力 技术要点:如何实现可配置、如何实现缓存以及缓存的管理、如何实现用缓存来控制多实例的创建、如何实现参数化工厂、 如何实现可扩展工厂、如何实现原型管理器、如何实现Java的静态代理和动态代理、如何实现多线程处理队列请求、 如何实现命令的参数化配置、可撤销的操作、宏命令、队列请求和日志请求、如何实现翻页迭代、如何检测环状结构、 如何实现通用的增删改查、如何模拟工作流来处理流程、如何实现简单又通用的XML读取、如何实现模拟AOP的功能......

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

Oracle性能优化视频教程
深入浅出地学习Oralce优化的原理与技巧,内容权威全面、细致深入、重点突出,剖析提高挈领,示例丰富充盈,实例和理论完美结合。1:百万级数据量示例;系统高可靠性、高健壮性原理及策略;热表操作;完整性策略;数据库死锁如何解决; 2:索引表空间如何推算规划;b-tree索引的存储结构、索引扫描方式;Oracle执行计划的如何阅读、推荐的索引使用策略; 3:CBO模型;自动化表分析任务、能大幅提高索引性能的原子级表基础约束策略、表分析原理、表间关系和模式; 4:逻辑存储结构、物理存储结构、内存结构、进程结构;ASM存储、逻辑存储结构单元;Oracle实例结构之检查点及实例恢复

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

Lesile
[头像]

交流经验:
总积分:108
级别:普通会员
注册时间: 2012-08-12
文章: 13
离线

hadoop mapreduce 编程   怎样应用于算法

zjl930
[头像]

交流经验:
总积分:135
级别:普通会员
注册时间: 2012-08-19
文章: 26
离线

感谢分享
doublezhuang
[头像]

交流经验:
总积分:302
级别:普通会员
注册时间: 2012-08-21
文章: 2
离线

感谢分享



个性签名:充实过好每一天
accp_huangxin
[头像]

交流经验:
总积分:100
级别:普通会员
注册时间: 2012-08-25
文章: 1
离线

好东西 只得下载

zhxh007
[头像]

交流经验:
总积分:300
级别:普通会员
注册时间: 2012-05-29
文章: 2
离线

test

chriswq
[头像]

交流经验:
总积分:26
级别:普通会员
注册时间: 2012-08-27
文章: 12
离线

感谢分享,坐等9月,中高级



个性签名:春日三
Stupid Alex
[头像]

交流经验:
总积分:100
级别:普通会员
注册时间: 2012-09-05
文章: 1
离线

下来看看

godguhguh
[头像]

交流经验:
总积分:3214
级别:VIP1
注册时间: 2012-04-14
文章: 19
离线

怎么买了也不给下载的


个性签名:努力是必须的
whatisjava
[头像]

交流经验:
总积分:306
级别:普通会员
注册时间: 2012-05-04
文章: 3
离线

我问一下 是把hadoop安装到windows下还是cygwin下?



个性签名:whatisjava
tomdog
[头像]

交流经验:
总积分:44856
级别:VIP5
注册时间: 2012-08-17
文章: 215
离线

我照着这个配,看看能不能启动,能启动就可,呵呵。
6346534
[头像]

交流经验:
总积分:362
级别:普通会员
注册时间: 2012-08-04
文章: 34
离线

hao...



个性签名:Hello, World...
liuxinsudi
[头像]

交流经验:
总积分:100
级别:普通会员
注册时间: 2012-09-12
文章: 1
离线

学习

风咏
[头像]

交流经验:
总积分:8765
级别:VIP2
注册时间: 2012-09-09
文章: 31
离线

支持原创帖!
xiaochli
[头像]

交流经验:
总积分:100
级别:普通会员
注册时间: 2012-09-12
文章: 8
离线

hadoop mapreduce 编程   怎样应用于算法

focus976
[头像]

交流经验:
总积分:100
级别:普通会员
注册时间: 2012-09-12
文章: 1
离线

多谢分享

shen_mo
[头像]

交流经验:
总积分:353
级别:普通会员
注册时间: 2012-09-17
文章: 28
离线

 很强大



个性签名:开开心心,天天向上
ludabing
[头像]

交流经验:
总积分:3512
级别:VIP1
注册时间: 2012-06-04
文章: 29
离线

学习
jianhua0902
[头像]

交流经验:
总积分:164
级别:普通会员
注册时间: 2011-12-16
文章: 38
离线

hadoop mapreduce 编程

tianshui
[头像]

交流经验:
总积分:2987
级别:VIP1
注册时间: 2012-09-24
文章: 3
离线

ding

 
交流首页 » Java
前往:   

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网