收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2906039
访问用户量:3010
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2017-03-19 15:36:36
在 Windows 上安装 Hadoop 教程
浏览(22048)|评论(42)   交流分类:Java|笔记分类: hadoop

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com
1. 1. 1. 1. 安装 JDK JDK JDK JDK
不建议只安装 JRE ,而是建议直接安装 JDK ,因为安装 JDK 时,可以同时安装 JRE 。
MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK ,光 JRE 是不够的。
JRE 下载地址: http://www.java.com/zh_CN/download/manual.jsp
JDK 下载地址: http://java.sun.com/javase/downloads/index.jsp ,下载 Java SE 即可。
2. 2. 2. 2. 安装 Cygwin Cygwin Cygwin Cygwin
在安装 Cygwin 之前,得先下载 Cygwin 安装程序 setup.exe 。
Cygwin 安装程序下载地址: http://www.cygwin.com/setup.exe ,当然也可以从
http://www.cygwin.cn/setup.exe 下载 Cygwin 安装程序,不过如果在安装过程中,遇到如下 图
所示的错误,则只能从 http://www.cygwin.com/setup.exe 下载,本教程下载的是 Cygwin 1.7 .1
版本。
Cygwin 安装程序 setup.exe 的存放目录可随意无要求。当 setup.exe 下载成功后,运行
setup.exe ,弹出如下图所示的对话框:在 Windows 上安装 Hadoop 教程
2
在上图所示的对话框中,直接点击 “ 下一步 ” ,进入如下图所示的对话框:
在上图所示的对话框中,选择 “ Install from Internet ” ,然后点击 “ 下一步 ” ,进入如下 图
所示对话框:在 Windows 上安装 Hadoop 教程
3
在上图所示的对话框中,设置 Cygwin 的安装目录, Install For 选择 “ All Users ” , Defa ult
Text File Type 选择 “ Unix/binary ” ,然后点击 “ 下一步 ” ,进入如下图所示对话框:
在上图所示的对话框中,设置 Cygwin 安装包存放目录,然后点击 “ 下一步 ” ,进入如
下图所示对话框:在 Windows 上安装 Hadoop 教程
4
在上图所示的对话框中,选择 “ Direct Connection ” ,然后点击 “ 下一步 ” ,进入如下图
所示对话框:
在上图所示的对话框中,点击 “ 下一步 ” ,将进入如下图所示的对话框:在 Windows 上安装 Hadoop 教程
5
在上图所示的对话框过程中,可能会弹出如下图所示的 “ Setup Alert ” 对话框,直接点
击 “ 确定 ” 即可。
进入 “ Select Packages ” 对话框后,必须保证 “ Net Category ” 下的 “ OpenSSL ” 被安 装 ,
如下图所示:在 Windows 上安装 Hadoop 教程
6
如果还打算在 eclipse 上编译 Hadoop ,则还必须安装 “ Base Category ” 下的 “ sed ” ,如
下图所示:
另外,还建议将 “ Editors Category ” 下的 vim 安装,以方便在 Cygwin 上直接修改配置
文件; “ Devel Category ” 下的 subversion 建议安装,如下图所示:在 Windows 上安装 Hadoop 教程
7
当完成上述操作后,点击 “ Select Packages ” 对话框中 “ 下一步 ” ,进入 Cygwin 安装 包
下载过程,如下图所示:
等待安装包下载完毕,当下载完后,会自动进入到如下图所示的对话框:在 Windows 上安装 Hadoop 教程
8
在上图所示的对话框中,选中 “ Create icon on Desktop ” ,以方便直接从桌面上启动
Cygwin ,然后点击 “ 完成 ” 按钮。至此, Cgywin 已经安装完,安装目录下的内容如下图 所
示:
3. 3. 3. 3. 配置环境变量
需要配置的环境变量包括 PATH 和 JAVA_HOME : JAVA_HOME 指向 JRE 安装目录; J DK
的 bin 目录, Cygwin 的 bin 目录,以及 Cygwin 的 usr\bin 目录都必须添加到 PATH 环境变 量
中,如下图所示:在 Windows 上安装 Hadoop 教程
9
4. 4. 4. 4. 安装 sshd sshd sshd sshd 服务
点击桌面上的 Cygwin 图标,启动 Cygwin ,执行 ssh-host-config ssh-host-config ssh-host-config ssh-host-config 命令,如下图所示:在 Windows 上安装 Hadoop 教程
10
在执行 ssh-host-config 时,当要求输入 yes/no 时,选择输入 no ,如下图所示:
如果是 Cygwin 1.7 之前的版本,则 ssh-host-config 显示界面如下图所示:在 Windows 上安装 Hadoop 教程
11
当看到 “ Have fun ” 时,一般表示 sshd 服务安装成功了,如上图所示。接下来,需要 启
动 sshd 服务。
5. 5. 5. 5. 启动 sshd sshd sshd sshd 服务
在桌面上的 “ 我的电脑 ” 图标上单击 右键 ,点击 “ 管理 ” 菜单,进入 Windows 计算机
管理,如下图所示:在 Windows 上安装 Hadoop 教程
12
在上图所示的对话框中,选中 “ CYGWIN CYGWIN CYGWIN CYGWIN sshd sshd sshd sshd ” ,弹出 右键 ,并启动 CYGWIN sshd 服
务,成功后,如下图所示:
当 CYGWIN sshd 的状态为 “ 已启动 ” 后,接下来就是配置 ssh 登录。
6. 6. 6. 6. 配置 ssh ssh ssh ssh 登录
执行 ssh-keygen ssh-keygen ssh-keygen ssh-keygen 命令生成密钥文件,如下图所示:在 Windows 上安装 Hadoop 教程
13
在上图所示对话框中,需要输入时,直接按回车键即可,如果不出错,应当是需要三 次
按回车键。接下来生成 authorized_keys authorized_keys authorized_keys authorized_keys 文件,按下图所示操作即可:
正如上图所示,只需要两步操作,即可生成 authorized_keys authorized_keys authorized_keys authorized_keys 文件:
cd ~/..ssh/在 Windows 上安装 Hadoop 教程
14
cp id_rsa.pub authorized_keys
完成上述操作后,执行 exit exit exit exit 命令先退出 Cygwin 窗口,如果不执行这一步操作,下面 的
操作可能会遇到错误。接下来,重新运行 Cygwin ,执行 ssh ssh ssh ssh localhost localhost localhost localhost 命令,在第一次执行 ssh
localhost 时,会有如下图所示的提示,输入 yes yes yes yes ,然后回车即可:
如果是 Windows 域用户,这步操作可能会遇到问题,错误信息如下:。
这个错误暂无解决办法,问题的解决情况,可关注 Hadoop 技术论坛中的贴:
http://bbs.hadoopor.com/thread-348-1-1.html (Cygwin 1.7.1 版本 ssh 问题 ) 。否则,如果成功,
执行 who 命令时,可以看到如下图所示的信息:
至此,配置 ssh 登录成功,下面就可以开始安装 hadoop 了。
7. 7. 7. 7. 下载 hadoop hadoop hadoop hadoop 安装包
hadoop 安装包下载地址:
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz在 Windows 上安装 Hadoop 教程
15
8. 8. 8. 8. 安装 hadoop hadoop hadoop hadoop
将 hadoop 安装包 hadoop-0.20.1.tar.gz 解压到 D:\hadoop\run D:\hadoop\run D:\hadoop\run D:\hadoop\run 目录( 可以修改成其它目 录 )
下,如下图所示:
接下来,需要修改 hadoop 的配置文件,它们位于 conf 子目录下,分别是 hadoop-env.s h 、
core-site.xml 、 hdfs-site.xml 和 mapred-site.xml 共四个文件。在 Cygwin 环境, masters 和 sla ves
两个文件不需要修改。
� � � � 修改 hadoop-env.sh hadoop-env.sh hadoop-env.sh hadoop-env.sh
只需要将 JAVA_HOME 修改成 JDK 的安装目录即可,请注意 JDK 必须是 1.6 或以上版本。
� � � � 修改 core-site.xml core-site.xml core-site.xml core-site.xml
为简化 core-site.xml 配置,将 D:\hadoop\run\src\core 目录下的 core-default.xml 文件复 制
到 D:\hadoop\run\conf 目录下,并将 core-default.xml 文件名改成 core-site.xml 。修改
fs.default.name 的值,如下所示:在 Windows 上安装 Hadoop 教程
16
上图中的端口号 8888 8888 8888 8888 ,可以改成其它未被占用的端口。
� � � � 修改 hdfs-site.xml hdfs-site.xml hdfs-site.xml hdfs-site.xml
为简化 hdfs-site.xml 配置,将 D:\hadoop\run\src\hdfs 目录下的 hdfs-default.xml 文件复 制
到 D:\hadoop\run\conf 目录下,并将 hdfs-default.xml 文件名改成 hdfs-site.xml 。不需要再做 其
它修改。
� � � � 修改 mapred-site.xml mapred-site.xml mapred-site.xml mapred-site.xml
为简化 mapred-site.xml 配置,将 D:\hadoop\run\src\mapred 目录下的 mapred-default.xml
文件复制到 D:\hadoop\run\conf 目录下,并将 mapred-default.xml 文件名改成 mapred-site.xm l 。
上图中的端口号 9999 9999 9999 9999 ,可以改成其它未被占用的端口。到这里, hadoop 宣告安装完毕 ,
可以开始体验 hadoop 了!
9. 9. 9. 9. 启动 hadoop hadoop hadoop hadoop
在 Cygwin 中,进入 hadoop 的 bin 目录,运行 ./start-all.sh 启动 hadoop ,在启动成功之 后 ,
可以执行 ./hadoop fs -ls / 命令,查看 hadoop 的根目录,如下图所示:在 Windows 上安装 Hadoop 教程
17
如果运行 mapreduce ,请参考其它文档,本教程的内容到此结束。
 
 
请下载附件中的安装文档
该帖子包含附件,回复帖子后即可下载附件。
精品视频课程推荐

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

ssh+jbpm项目(某集团OA)视频教程
达到能综合使用Struts2+Spring3+Hibernate3+Jbpm4来进行实际项目开发的能力。 包括:ssh和jbpm的整合;数据字典;通用DAO(Spring+Hibernate+泛型+反射+SpEL+模板方法模式);自动生成UUID的加强版;分层开发、SSH联合的基本开发;翻页的taglib;示范真实值和表现值,数据参照的实现;文件上传下载;主子表操;登录验证码;登录控制的拦截器

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

浏览(22048)|评论(42)   交流分类:Java|笔记分类: hadoop

评论(42)
42楼 lzk94  2017-03-19 引用

可以的

41楼 魔方  2016-05-16 引用

keyide

40楼 小胖妞要减肥肥  2016-05-16 引用

怎么看不到图片

39楼 阮仁777  2016-04-11 引用

附件在哪

38楼 鬼鬼  2016-04-11 引用

想看附件学习

37楼 dreamsriver  2016-03-03 引用

谢谢楼主的分享

36楼 huangting  2016-02-19 引用

想要看看附件

35楼 vstaryu  2014-09-18 引用

aaa 真心不错 学习了

34楼 魔棒  2014-07-10 引用

文件不再啊 

33楼 魔棒  2014-07-10 引用
学习!!!
32楼 asdfghjkl  2013-06-15 引用

xie xie fenxiang

31楼 S1224W122  2013-06-13 引用

多谢分享~茅塞顿开啊~~

30楼 zhangjunfang0505  2013-04-19 引用
学习
29楼 haozi  2013-04-18 引用

xuexi

28楼 浪客剑心  2013-04-03 引用
学习学习
27楼 加菲ye烦恼  2013-04-01 引用

8错

26楼 naygnosuw  2013-03-11 引用

最近在学习,感谢楼主

25楼 空小空515  2013-02-26 引用
不错
24楼 xp547  2013-02-23 引用
ddddddddd
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网