收藏私塾在线
 

欢迎您来到私塾在线网！   

请登录! 

免费注册 


hadoop的笔记
[头像]
hadoop
状态： 离线
人气：3487113
访问用户量：3092
笔记经验：
总积分：1409
级别：普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2017-08-29 22:51:26
 Hadoop实战-初级部分 之 Hadoop安装部署
浏览(158097)|评论(151)   交流分类：Java|笔记分类: Hadoop实战-初……

本节课程概览
Hadoop 在windows 上伪分布式的安装过程 
Hadoop 在linux  上单节点伪分布式的安装过程 
集成Eclipse 开发环境 
Hadoop UI 介绍
运行WordCounter  事例
 
 
第一部分：Hadoop 在windows 上伪分布式的安装过程
安装JDK
1.下载JDK
       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html
2.解压
   或者直接运行.exe安装
后面根据项目的实际需要来进行调整。
安装 Cygwin
1.下载Cygwin
    网址： http://www.cygwin.com/setup.exe
 2.安装Cygwin
1. Net Category 下的OpenSSL
2.    Base Category 下的sed
3.Editors Category 下的vim
4.Devel Category  下subversion
后面根据项目的实际需要来进行调整。
 
配置环境变量
1.配置JAVA 环境变量
    PATH 和JAVA_HOME：
        JAVA_HOME 指向JDK安装目录；
        PATH 指向JDK的bin
 
启动 SSHD 服务
1.安装SSHD
   ssh-host-config
2. 启动SSHD
    net start sshd 
ssh 的安装和配置
实现ssh无密码登陆
$ssh-keygen -t rsa  
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机
 
安装 Hadoop
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
配置 Hadoop
1. 配置hadoop-env.sh
2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
概念
HDFS:
      NameNode  ：管理节点
      DataNode   ：数据节点
      SecondaryNamenode : 数据源信息备份整理节点
 
MapReduce
       JobTracker  ：任务管理节点
       Tasktracker  ：任务运行节点
 
配置文件
       core-site.xml   common属性配置
       hdfs-site.xml    HDFS属性配置
       mapred-site.xml  MapReduce属性配置
       hadoop-env.sh     hadooop 环境变量配置
修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
core-site.xml

java代码： 
<configuration>     
<property>  
       <name>fs.default.name</name>  
       <value>hdfs://localhost:9000</value>  
</property>  
<property>
       <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
     </property>
</configuration>

hdfs-site.xml
 
java代码： 
<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>  
mapred-site.xml
java代码： 
<configuration>     
    <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>  
启动 Hadoop
 1.格式化文件系统
      hadoop namenode –format
 2. 启动hadoop
      启动所有任务start-all.sh/stop-all.sh
      启动关闭HDFS: start-dfs.sh/stop-dfs.sh
      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh      
 3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
      
第二部分：Hadoop 在linux  上单节点伪分布式的安装过程
安装 JDK
$chmod +x jdk-6u27-linux-i586.bin
$./jdk-6u27-linux-i586.bin
安装完后设置java 环境变量如下
命令 ：/home路径下
$vi .bashrc
然后添加如下语句
export JAVA_HOME=/home/test/ jdk1.6.0_27
export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.
然后. .bashrc使其生效
 
ssh 的安装和配置
$实现ssh无密码登陆
$sudo apt-get install ssh
$ssh-keygen 
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机
 
 
Hadoop 安装
1.下载Hadoop
   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
         tar xzvf hadoop-0.21.0.tar.gz
3. 添加Hadoop Bin到环境变量中
 
修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
 
 
conf/core-site.xml

java代码： 
<configuration>     
	<property>  
          <name>fs.default.name</name>  
          <value>hdfs://localhost:9000</value>  
      </property>  
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/hadoop</value>
       </property>
</configuration>  
conf/hdfs-site.xml

java代码： 
<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>  

conf/mapred-site.xml

java代码： 
<configuration>     
     <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>  
启动 Hadoop
 1.格式化文件系统
      hadoop namenode –format
 2. 启动hadoop
     启动关闭所有服务 start-all.sh/stop-all.sh
     启动关闭HDFS: start-dfs.sh/stop-dfs.sh
     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh
 3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
      
第三部分：Hadoop UI 介绍
Hadoop 重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面 ：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面
1. HDFS 界面
        http://hostname:50070
2. MapReduce 管理界面
        http://hostname:50030
 
第四部分：运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
      $ echo ”Hello world Bye world" > >~/input/file1
      $ echo ”hello hadoop bye hadoop” > >~/input/file2
2.在HDFS上建立一个input目录
       $ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
       $ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
     $ hadoop fs -ls /tmp/input
5.执行wordcount
   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output
6.运行完成，查看结果
   hadoop fs -cat /output/part-r-00000
 
 
第五部分：集成 Eclipse 开发环境
通过 Eclipse 编写 Hadoop 程序
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件，包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装 
初次体验了Hadoop运行的WordCounter程序 
了解了Hadoop UI
 掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容，转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html】
该帖子包含附件，回复帖子后即可下载附件。
精品视频课程推荐

深入浅出学Shrio视频教程
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

深入浅出学Zookeeper
内容概述：本课程深入浅出的讲解Hadoop 体系下的分布式协调组件－Zookeeper,向大家介绍了Zookeeper的原理与使用，深入浅出，结合生动实例，具有很高的实战意味 技术要点：Zookeepr 原理，Zookeeper 架构，Zookeeper 简单使用，Zookeeper Watch等

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程，帮助学员快速掌握Hadoop HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC，RESTFul API等高级特性；彻底理解Hadoop，成为一名合格的云计算开发者。并掌握一些云端基本的运维知识，从而实现开发和运维兼修的高级人才。

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

深入浅出学Spring Web MVC视频教程
系统、完整的学习Spring Web MVC开发的知识。包括：Spring Web MVC入门；理解DispatcherServlet；注解式控制器开发详解；数据类型转换；数据格式化；数据验证； 拦截器；对Ajax的支持；文件上传下载；表单标签等内容；最后以一个综合的CRUD带翻页的应用示例来综合所学的知识

浏览(158097)|评论(151)   交流分类：Java|笔记分类: Hadoop实战-初……
评论(151)
151楼 rayqueen  2017-08-29 引用

xiexie
150楼 13763062259  2017-08-29 引用

感谢分享
149楼 xinren1224  2017-08-29 引用

谢谢
148楼 ydayyx  2017-08-29 引用

学习，谢谢
147楼 xiaohu0422  2017-03-19 引用

刚开始看很蒙,现在好些了感谢分享
146楼 度  2017-03-19 引用

下载，谢谢
145楼 wwqz123  2017-03-19 引用

下载学习
144楼 shenjb  2017-03-19 引用

不赖
143楼 漂流船  2016-09-29 引用

下载，谢谢
142楼 LOSTMANER  2016-09-29 引用

学习
141楼 hukunfeiguochao  2016-08-19 引用

 

下载学习学习。。。多谢
140楼 qqpuyu  2016-08-19 引用

感谢楼主分享
139楼 1519623220  2016-08-19 引用

buc
138楼 刷儿  2016-08-19 引用

谢谢分享
137楼 haobc  2016-08-19 引用

很好！赞一个！！！
136楼 动感闪客  2016-05-16 引用

好帖，顶顶顶！
135楼 neterghost  2016-05-16 引用

学习一下`
134楼 wenmu  2016-04-11 引用

谢谢。学习中
133楼 向上倾斜45`  2016-04-11 引用

谢谢分享
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网