|
2012-09-10 14:28:49
Hadoop实战-中高级部分 之 Hadoop HA 浏览(22175)|评论(2) 交流分类:Java|笔记分类: Hadoop实战-中……
第一部分:目前Hadoop1.0架构的问题
单点故障
•如果NameNode或者JobTraker关掉,那么整个集群瘫痪。
•对于7×24生产环境,是具有极大的风险。
第二部分:常见的HA方案
•第一种是可以设置一个NFS的目录,存储fsimage和editlog,存储的是实时数据,这样当namenode挂掉后能够通过fsimage和editlog进行完全恢复。
•第二种是设置Secondary Namenode。
•问题:不能迅速的切换,需要花费一定时间恢复。
FaceBook的方案
•不改变namenode和datanode整体逻辑的基础上,在其上层开发出AvaterNode,AvatarNode的意思就是支持互相切换。
•提供一个Primary Avatar和一个Standby Avatar,通过virual IP来设置IP地址。
•Primary Avatar对外提供服务,设置了NFS目录,将FSImage和EditLog远程存储。Standby Avatar将NFS目录中的FSImage和EditLog读取过来进行同步,并且设置Standby Avatar一直处于safemode状态,不影响正常操作。这样Standby Avatar相当于一个热拷贝,获得了所有的实时数据。
第三部分:Hadoop0.23 是如何解决的HA
•提供2台 机器做双机热备
•一台为Active 节点,一台为StandBy节点
•同时只有Active节点对外提供服务
•源数据存储在共享存储
•StandBy会时刻到共享存储拿Meta信息,以保证切换时不会丢掉数据
•DataNode会向2台机器汇报自己的信息
•仍需要配置Sencondary NameNode接解决Edits log变大问题
相关笔记推荐
精品视频课程推荐
Hadoop实战-初级部分视频教程
Java Web开发理论部分视频教程
云计算综合实战项目视频教程(更新版)
深入浅出学Zookeeper
Hadoop实战-中高级部分视频教程
评论(2)
2楼
折翼
2012-09-10
引用
学习hadoop... 学习hadoop...
学习hadoop...
请登录后评论 登录
|