收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:3292043
访问用户量:3108
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(89)
ta的所有交流贴(96)
ta的全部笔记
全部笔记(163)
未分类笔记(0)
hadoop(62)
luoli的Hado……(18)
精通hadoop(7)
Hadoop原理与代……(1)
HBase(6)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(2)
Hive(15)
zookeeper(4)
Hadoop Str……(7)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(112)
2012-07(19)

2014-03-09 11:37:01
Hadoop实战-中高级部分 之 Hadoop 集群安装
浏览(18194)|评论(4)   交流分类:Java|笔记分类: Hadoop实战-中……

第一部分:环境规划
•用户 test 密码 test
•机器
   主机名
IP
角色
bigdata-1
 
172.16.206.205
NameNode JobTraker
Sencondary NameNode
bigdata-2
 
172.16.206.231
DataNode TaskTracker
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
            
           
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
 
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s   hadoop-1.0.0  hadoop
•配置环境变量
•vi  .bashrc
•添加如下内容
          export HADOOP_CORE_HOME=/home/test/ hadoop
          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
        <value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
            <name>dfs.name.dir</name>
     <value>/home/test/dfs/namenode </value>
</property>
<property>
             <name>dfs.data.dir</name>
             <value> >/home/test/dfs/datanode</value>
</property>
<property>
      <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
     文件添加内容如下
                   bigdata-1
•    Slaves
     文件添加内容如下
                    bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar  hadoop-examples-*.jar   wordcount  input output
 

转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】
精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

浏览(18194)|评论(4)   交流分类:Java|笔记分类: Hadoop实战-中……

评论(4)
4楼 大宇哥  2014-03-09 引用

感谢分享,学习了

3楼 fally  2014-02-25 引用

 

感谢分享!!!

2楼 wlq2012  2013-05-14 引用

  ganxiefenxiang

1楼 tomdog  2012-09-06 引用
学习hadoop...
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网