收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:3294645
访问用户量:3108
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(89)
ta的所有交流贴(96)
ta的全部笔记
全部笔记(163)
未分类笔记(0)
hadoop(62)
luoli的Hado……(18)
精通hadoop(7)
Hadoop原理与代……(1)
HBase(6)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(2)
Hive(15)
zookeeper(4)
Hadoop Str……(7)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(112)
2012-07(19)

2012-09-06 22:16:31
Hadoop实战-中高级部分 之 Hadoop 管理
浏览(31393)|评论(1)   交流分类:Java|笔记分类: Hadoop实战-中……

第一部分:HDFS管理
命令行工具
•HDFS文件系统检查工具FSCK
•用法:hadoop fsck [ GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
•命令选项描述<path>检查的起始目录。
•-move移动受损文件到/lost+found-delete删除受损文件。
•-openforwrite打印出写打开的文件。
•-files打印出正被检查的文件。
•-blocks打印出块信息报告。
•-locations打印出每个块的位置信息。
•-racks打印出data-node的网络拓扑结构。
d fsadmin
命令选项
描述
-report
报告文件系统的基本信息和统计信息。
-refreshNodes
重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
-finalizeUpgrade
终结HDFS的升级操作。Datanode删除前一个版本的工作目录,之后Namenode也这样做。这个操作完结整个升级过程。
命令选项
描述
-metasave filename
保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项,<filename>中都会一行内容与之对应
1. Namenode收到的Datanode的心跳信号
2. 等待被复制的块
3. 正在被复制的块
4. 等待被删除的块
-setQuota <quota> <dirname>...<dirname>
为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数,强制限定了目录树下的名字个数。
命令会在这个目录上工作良好,以下情况会报错:
1. N不是一个正整数,或者
2. 用户不是管理员,或者
3. 这个目录不存在或是文件,或者
4. 目录会马上超出新设定的配额。
-upgradeProgress status | details | force
请求当前系统的升级状态,状态的细节,或者强制升级操作进行。
-clrQuota <dirname>...<dirname>
为每一个目录<dirname>清除配额设定。
命令会在这个目录上工作良好,以下情况会报错:
1. 这个目录不存在或是文件,或者
2. 用户不是管理员。
如果目录原来没有配额不会报错。

规划管理HDFS数据
•无论是做为开发者还是管理员了解HDFS目录结构与规划都是很重要的一件事情。
•它们可以帮助我们诊断问题
•如何管理HDFS数据也是我们需要研究的课题
•Namenode的目录结构:
           ${dfs.name.dir}/current /VERSION
                                                  /edits
                                                  /fsimage
                                                  /fstime
    dfs.name.dir是hdfs-site.xml里配置的若干个目录组成的列表。
•通过设置Sencondary  NameNode解决edits log变大问题
•Sencondary  Namenode的目录结构:
           ${fs.checkpoint.dir}/current /VERSION
                                                  /edits
                                                  /fsimage
                                                  /fstime
                                                       /previous.checkpoint/VERSION
                                                                                       /edits
                                                                                  /fsimage
                                                                                  /fstime
•fs.checkpoint.dir 属性位于core-site.xml
•previous.checkpoint 存储之前的保存的元数据
•Datanode 的目录结构:
           ${dfs.data.dir}/current /VERSION
                                          /blk_id
 /blk_id.meta
                                                  …..
                                               /subdir0
                                                ….
•dfs.data.dir 属性位与hdfs-site.xml
•Subdir0 为子文件夹,防止HDFS一个目录下的文件块太多
•通过dfs.datanode.numblocks可以设置多少个块会生成一个子文件夹默认是64
 
 
安全模式
•安全模式是Namenode的一个状态,这种状态下,Namenode 
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
•NameNode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式
• 默认为99.99%
•参数dfs.safemode.threshold.pct 位与hdfs-site.xml
•命令行hadoop dfsadmin -safemode enter | leave | get | wait
 
访问操作记录日志
•HDFS可以记录文件系统的所有访问请求
•默认情况下该功能是关闭的
•可以通过设置log4j来开启该属性
•log4j.logger.org.apache.hadoop.fs.FSNamesystem.audit= WARN设置为info
•该请求记录文件会单独存放
 
数据扫描块
•每一个DataNode都会运行一个数据扫描线程
•扫描线程定期的检查所有数据块以确保修复损坏的块
•周期可以设定
•dfs.datanode.scan.period.hourses 默认是504小时
•在UI部分可以查看检查的情况
•http://datanode:50075/blockScannerReport
•通过指定listblocks参数可以报告最新的状态
•http://datanode:50075/blockScannerReport?Listblocks
 
第二部分:MapReduce作业管理
命令行工具
查看 Job 信息
hadoop job -list
杀掉 Job
hadoop  job –kill
•指定路径下查看历史日志汇总
•hadoop job -history output-dir
•作业的更多细节
•hadoop job -history all output-dir
•打印map和reduce完成百分比和所有计数器
hadoop job –status job_id
•杀死任务。被杀死的任务不会不利于失败尝试。
•hadoop jab -kill-task <task-id>
•使任务失败。被失败的任务会对失败尝试不利。
•hadoop job  -fail-task <task-id>
Hadoop mradmin
命令
说明
-refreshServiceAcl
重新装载ACL认证文件
-refreshQueues
刷新任务队列的信息
-refreshUserToGroupsMappings
刷新用户与用户组对应关系
-refreshSuperUserGroupsConfiguration
刷新用户组的配置
-refreshNodes
刷新JobTracker的主机配置信息
 
 
UI详细介绍
•UI 有足够的信息,供我们查看Job运行的信息与历史运行记录
•URL
•http://<jobtracker>50030/jobtracker
 
第三部分:Hadoop安全与权限的管理
•安全认证
•确保用户的身份
•授权
•确保用户的操作只能是在被允许的范围内
•用户
•Hadoop用户
•服务
•NameNode 等
 
•Hadoop原来的版本安全性比较低。
Namenode 或者 J obtracker 缺乏安全认证机制
DataNode 缺乏安全授权机制
•Hadoop提供了两种安全机制:Simple和Kerberos
 
Simple机制
 
•Simple机制(默认情况,Hadoop采用该机制)是JAAS协议与delegation token整合机制
•JAAS是Java 认证和授权服务(Java Authentication and Authorization Service)的缩写,是PAM框架的Java实现。
Kerberos 机制
•Kerberos 提供了这样一种机制,可以认证的密钥放到服务器上,用户在进行操作时,要先到认证服务器上做校验,只有通过,才可以进行相应的操作。
•Hadoop的安全问题
解决服务器到服务器的认证
解决 client 到服务器的认证
对用户级别上的认证并没有实现
Kerberos概念
•Princal:被认证的个体,有一个名字和口令
•KDC: 是一个网络服务,提供ticket 和临时会话密钥
•Ticket:一个记录,客户用它来向服务器证明自己的身份,包括客户标识、会话密钥、时间戳。
•AS : 认证服务器
•TSG: 许可证服务器

Hadoop使用Kerberos好处
•可靠: Hadoop 本身并没有认证功能和创建用户组功能,使用依靠外围的认证系统
•高效 :Kerberos使用对称钥匙操作,比SSL的公共密钥快
•操作简单: 用户可以方便进行操作,不需要很复杂的指令。比如废除一个用户只需要从Kerbores的KDC数据库中删除即可。
 
 

HDFS安全机制
•Client去NameNode获取访问DataNode的凭证
•获得凭证后,才可以访问相应的数据库
•DataNode在启动时会在NameNode拿来相应的凭证
•客户端访问时,DataNode 会校验相应的凭证
 
MapReduce安全机制
•作业提交
•所有关于作业的提交或者作业运行状态的追踪均是采用带有Kerberos认证的RPC实现的
•授权用户提交作业时,JobTracker会为之生 成一个令牌,该令牌将被作为job的一部分存储到HDFS上并通过RPC分发给各个TaskTracker,一旦job运行结束,该token失 效。
•任务运行
•用户提交作业的每个task均是以用户身份启动的,这样,一个用户的task便不可以向TaskTracker或者其他用户的task发送操作系统信号,最其他用户造成干扰。这要求为每个用户在所有TaskTracker上建一个账号。
•Shuffle
•reduce task对“请求URL”和“当前时间”计算HMAC-SHA1值,并将该值作为请求的一部分发动给TaskTracker,TaskTracker收到 后会验证该值的正确性
RPC 安全机制
•用户发送RPC时,会将自己的用户名放在请求信息里
•RPCServer 接受到信息后, RPCServer 会校验授权,如果通过请发送给用户响应
 
 
Hadoop权限管理
•用户分组管理
•用户按组为单位组织管理
•可以限制用户使用的资源等内容
•Hadoop 使用Linux的用户与用户组
•作业管理
•作业提交权限控制
•作业运行状态查看权限控制。
•可限定可提交作业的用户
•可限定可查看作业运行状态的用户
•可限定普通用户只能修改自己作业的优先级,kill自己的作业
•高级用户可以控制所有作业。 
 
•这一点很重要,如果没有权限,会造成数据混乱
•主要是通过系统的用户组权限来进行控制
 
MapReduce权限管理
•MapReduce支持权限管理需使用Fair Scheduler或者 Capacity Scheduler
•为MapReduce添加权限管理一共分3步
•配置Fair Scheduler或者 Capacity Scheduler
•配置用户管理
•配置作业的ACL
配置权限
•配置Fair Scheduler
 
•配置用户管理
•配置Queue相关信息
•配置属性在mapre-site.xml
 
配置Queue的相关信息
<property>
  <name>mapred.acls.enabled</name>
  <value>true</value>
</property>
<property>
  <name>mapred.queue.names</name>
  <value>test,default</value>
</property> 属性 mapred.queue.names queue 的所有名字,在这一名字中,必须有一个叫 default” queue
<property>
  <name>mapred.queue.my_queue.acl-submit-job</name>
  <value> test</value>
</property>
 
 
<property>
  <name>mapred.queue.default.acl-administer-jobs</name>
  <value></value>
</property>
<property>
 <name>mapred.queue.my_queue.acl-administer-jobs</name>
  <value></value>
</property>
 
 
 
•mapred.queue.names是queue的所有名字
•必须有一个叫“default”的queue
• mapred.queue.<queue-name>.acl-submit-job,指定哪些user或者group可以向该queue中提交作业
•mapred.queue.<queue-name>.acl-administer-jobs,指定哪些user或者group可以管理该queue中的所有作业。
• 每个queue拥有的资源量和其他信息,在其他配置文件里指定
• mapred.queue.<queue-name>.acl-submit-job和mapred.queue.<queue-name>.acl-administer-jobs配置方法如下:
      用户和用户组之间用空格分开,用户之间用“,”分割,用户组之间用“,”分割,如果queue的属性值中只有用户组,则前面保留一个空格。
 
 
配置fair-scheduler.xml
<?xml version="1.0"?>
<allocations>
 <pool name=“ pool ">
    <minMaps> 4 </minMaps>
    <minReduces> 4 </minReduces>
     <maxRunningJobs> 4 </maxRunningJobs>
     <minSharePreemptionTimeout> 400 </minSharePreemptionTimeout>
      <weight> 1 .0</weight>
  </pool>
      <user name="bob">
      <maxRunningJobs> 4 </maxRunningJobs>
       </user>
       <poolMaxJobsDefault> 30 </poolMaxJobsDefault>
       <userMaxJobsDefault> 3 </userMaxJobsDefault>
       <defaultMinSharePreemptionTimeout> 5 00</defaultMinSharePreemptionTimeout>
       <fairSharePreemptionTimeout> 5 00</fairSharePreemptionTimeout>
</allocations>
 
 
作业管理
•在core-site.xmll中配置以下属性:
<property>
  <name>hadoop.security.authorization</name>
  <value>true</value>
</property>
•配置${HADOOP_CONF_DIR}/hadoop-policy.xml
•参数格式
•用户名与用户组之间用空格分开
•用户用户之间用“,”
•Tom,cat super,no
属性
说明
security.clinet.protocol.acl
控制访问HDFS的权限
security.datanode.protocol.acl
 
控制datanode到namenode的通信权限
 
security.clinet.datanode.protocol.acl
用户block恢复
security.namenode.protocol.acl
控制sencondary namenode与datanode权限
security.inter.datanode.protocol.acl
 
DataNode之前更新时间戳
security.task.umbilical.protocol.acl
控制task与tasktracker通信
security.refresh.policy.protocol.acl
控制更新作业管理配置文件
security.jobsubmission.protocol.acl
控制作业提交等权限
 
 
•作业提交时指定Pool来进行提交
•示例
   hadoop jar wordcount.jar wordcount  -D  pool.name= your_name input
       output
 
 
 
第四部分:Hadoop集群的状态监控与管理工具 
我们需要监督Hadoop什么
 
•CPU使用率
•硬盘使用情况
•网络负载
•进程服务是否正常运行
•。。。。
手动每项去查看,非常痛苦的事情,我们需要工具
 
  
Ganglia
•Ganglia 是什么
•Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。
•可以进行自动的进行信息的收集
•Ganglia 组件
•Gmond
•Gmetad
•Web前端
 
 
•Gmetad -服务端
•负责周期性的到各个datasource收集各个cluster的数据,并更新到rrd数据库中
•Gmond –客户端
•收集本机的监控数据,发送到其他机器上
•web 浏览界面
•一个基于PHP的监控界面,通常和Gmetad安装在同一个节点上
Ganglia优点
•自动收集数据
•图形界面
• 数据库rrdtool存储了历史数据
•Gmond 数据存储在内存中,使用开销比较小。
截图
 
日志监控
•设置日志级别
•在调试过程中非常的有用
•设置方式
•页面
•命令行
•hadoop  daemonlog –setlevel  jobtrackerhost-50030 packege level
•持久改变
•log.logger.org.apache.hadoop.mapred.JobTracker= level
•获得运行栈的信息
•http://namenode:50070/stacks

  转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5966.html
精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容,使用Java来进行代码示例,不空洞的讲解概念和理论,重点放在代码的实现和示例上。 从零开始、全面系统、成体系的讲解数据结构和基本算法,循序渐进的讲述构建软件系统所常见的数据结构和算法。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

深入浅出学Spring Web MVC视频教程
系统、完整的学习Spring Web MVC开发的知识。包括:Spring Web MVC入门;理解DispatcherServlet;注解式控制器开发详解;数据类型转换;数据格式化;数据验证; 拦截器;对Ajax的支持;文件上传下载;表单标签等内容;最后以一个综合的CRUD带翻页的应用示例来综合所学的知识

Weblogic实战视频教程
WebLogic基础知识:WebLogic基本概念、正确安装WebLogic、建域、应用部署于JDBC选择、对WebLogic的监控和日志查看、集群的高可用性;课程目标:彻底掌握WebLogic的基本概念,在理解基本概念的基础上做到正确的安装WebLogic,根据不同的需求创建域,合理选择应用部署和JDBC配置。熟练掌握WebLogic的console监控,了解各种性能和运行指标,以及对监控结果的分析,运用集群的高可用性,对集群架设。

浏览(31393)|评论(1)   交流分类:Java|笔记分类: Hadoop实战-中……

评论(1)
1楼 tomdog  2012-09-06 引用
学习hadoop...
请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网