Hadoop实战-初级部分之 Hadoop安装部署 - hadoop的笔记 - 记笔记 - 私塾在线

<configuration>     
<property>  
       <name>fs.default.name</name>  
       <value>hdfs://localhost:9000</value>  
</property>  
<property>
       <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
     </property>
</configuration>

hdfs-site.xml

java代码：

<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>

mapred-site.xml

java代码：

<configuration>     
    <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>

启动 Hadoop

1.格式化文件系统

hadoop namenode –format

2. 启动hadoop

启动所有任务start-all.sh/stop-all.sh

启动关闭HDFS: start-dfs.sh/stop-dfs.sh

启动关闭MapReduce: start-mapred.sh/stop-mapred.sh

3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker

第二部分：Hadoop 在linux 上单节点伪分布式的安装过程

安装 JDK

$chmod +x jdk-6u27-linux-i586.bin

$./jdk-6u27-linux-i586.bin

安装完后设置java 环境变量如下

命令：/home路径下

$vi .bashrc

然后添加如下语句

export JAVA_HOME=/home/test/ jdk1.6.0_27

export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.

然后. .bashrc使其生效

ssh 的安装和配置

$实现ssh无密码登陆

$sudo apt-get install ssh

$ssh-keygen

直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对

出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

Hadoop 安装

1.下载Hadoop

http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/

2.解压Hadoop

tar xzvf hadoop-0.21.0.tar.gz

3. 添加Hadoop Bin到环境变量中

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

conf/core-site.xml

java代码：

<configuration>     
	<property>  
          <name>fs.default.name</name>  
          <value>hdfs://localhost:9000</value>  
      </property>  
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/hadoop</value>
       </property>
</configuration>

conf/hdfs-site.xml

java代码：

<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>

conf/mapred-site.xml

java代码：

<configuration>     
     <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>

启动 Hadoop

1.格式化文件系统

hadoop namenode –format

2. 启动hadoop

启动关闭所有服务 start-all.sh/stop-all.sh

启动关闭HDFS: start-dfs.sh/stop-dfs.sh

启动关闭MapReduce: start-mapred.sh/stop-mapred.sh

3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker

第三部分：Hadoop UI 介绍

Hadoop 重要的端口

1.Job Tracker 管理界面：50030

2.HDFS 管理界面：50070

3.HDFS通信端口：9000

4.MapReduce通信端口：9001

常用访问页面

1. HDFS 界面

http://hostname:50070

2. MapReduce 管理界面

http://hostname:50030

第四部分：运行Word Count 示例

相关步骤及命令

1.先在本地磁盘上建立两个文件file1和file2

$ echo ”Hello world Bye world" > >~/input/file1

$ echo ”hello hadoop bye hadoop” > >~/input/file2

2.在HDFS上建立一个input目录

$ hadoop fs -mkdir /tmp/input

3.将file1和file2拷贝到hdfs的input目录下

$ hadoop fs -put input/* /tmp/input

4.检查hdfs上有没有file1,file2

$ hadoop fs -ls /tmp/input

5.执行wordcount

hadoop jar hadoop-examples-1.0.0.jar wordcount /tmp/input /tmp/output

6.运行完成，查看结果

hadoop fs -cat /output/part-r-00000

第五部分：集成 Eclipse 开发环境

通过 Eclipse 编写 Hadoop 程序

1.导入hadoop-core.jar及hadoop/lib下所有Jar包

2.加入Hadoop配置文件，包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。

本节课程小结

掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装

初次体验了Hadoop运行的WordCounter程序

了解了Hadoop UI

掌握了Hadoop 集成到 Eclipse的情况

私塾在线学习网原创内容，转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html】

该帖子包含附件，回复帖子后即可下载附件。

精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容，使用Java来进行代码示例，不空洞的讲解概念和理论，重点放在代码的实现和示例上。从零开始、全面系统、成体系的讲解数据结构和基本算法，循序渐进的讲述构建软件系统所常见的数据结构和算法。

深入浅出学Shrio视频教程
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

深入浅出学Zookeeper
内容概述：本课程深入浅出的讲解Hadoop 体系下的分布式协调组件－Zookeeper,向大家介绍了Zookeeper的原理与使用，深入浅出，结合生动实例，具有很高的实战意味技术要点：Zookeepr 原理，Zookeeper 架构，Zookeeper 简单使用，Zookeeper Watch等

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程，帮助学员快速掌握Hadoop HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC，RESTFul API等高级特性；彻底理解Hadoop，成为一名合格的云计算开发者。并掌握一些云端基本的运维知识，从而实现开发和运维兼修的高级人才。

云计算综合实战项目视频教程（更新版）
内容概述：通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统，系统学习Hadoop、Hive，HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。该系统是一个每天5亿条数据，上百个节点的实际商业项目，该系统将海量日志数据进行分布式存储，并通过分布式算法和网络爬虫技术形成标签化的用户模型，最终实现人与内容、人与行为、人与商品的智能配对。技术要点：Hadoop、Hive、HBase、Zookeeper、爬虫技术等

浏览(155433)|评论(151) 交流分类：Java|笔记分类: Hadoop实战-初……

评论(151)

151楼 rayqueen 2017-08-29 引用

xiexie

150楼 13763062259 2017-08-29 引用

感谢分享

149楼 xinren1224 2017-08-29 引用

谢谢

148楼 ydayyx 2017-08-29 引用

学习，谢谢

147楼 xiaohu0422 2017-03-19 引用

刚开始看很蒙,现在好些了感谢分享

146楼度 2017-03-19 引用

下载，谢谢

145楼 wwqz123 2017-03-19 引用

下载学习

144楼 shenjb 2017-03-19 引用

不赖

143楼漂流船 2016-09-29 引用

下载，谢谢

142楼 LOSTMANER 2016-09-29 引用

学习

141楼 hukunfeiguochao 2016-08-19 引用

下载学习学习。。。多谢

140楼 qqpuyu 2016-08-19 引用

感谢楼主分享

139楼 1519623220 2016-08-19 引用

buc

138楼刷儿 2016-08-19 引用

谢谢分享

137楼 haobc 2016-08-19 引用

很好！赞一个！！！

136楼动感闪客 2016-05-16 引用

好帖，顶顶顶！

135楼 neterghost 2016-05-16 引用

学习一下`

134楼 wenmu 2016-04-11 引用

谢谢。学习中

133楼向上倾斜45` 2016-04-11 引用

谢谢分享

1 2 3 4 5 6 7 8 ► Go

前往页面...

请登录后评论登录