收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2620388
访问用户量:2912
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2016-08-19 13:28:29
Hadoop实战-初级部分 之 HDFS
浏览(64800)|评论(75)   交流分类:Java|笔记分类: Hadoop实战-初……

第一部分:什么是HDFS
       Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 HDFS是高容错性的,可以部署在低成本的硬件之上,HDFS提供高吞吐量地对应用程序数据访问,它适合大数据集的应用程序。
 
第二部分:HDFS架构设计
HDFS 设计目标
HDFS不适合做什么
存储小文件
大量随机读
需要对文件修改
第三部分:HDFS概念
 
NameNode
DataNode
SecondaryNameNode
 
存储元数据
 
    存储文件内容
 
将NameNode的fsimage与edit log从NameNode
     复制到临时目录
元数据保存在内存中与磁盘上
文件内容保存在磁盘
将fsimage同edit log合并 并产生新的fsimage
保存文件,block dataNode之间的映射关系
维护block id 到datanode本地文件的映射关系
将产生的新的fsimage上传给NameNode    
     清除NameNode中的edit log
 
 
Block块
    数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单 位默认大小是 64M
第四部分:HDFS命令行接口
 
   hadoop fs :       
          [-ls <path>]
          [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
 
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]
 
 
hadoop dfsadmin :
           [-report]
             报告文件系统的基本信息
           [-safemode enter | leave | get | wait]
           安全模式维护命令
           [-saveNamespace]
             保存当前的命名空间
           [-refreshNodes]
              重新读取 Hosts eclude 文件,使新的节点或需要退出集群的节点能够重新被 NameNode 识别。
           [-finalizeUpgrade]
            终结 HDFS 的升级操作
           [-upgradeProgress status | details | force]
 
          [-metasave filename]
           保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的 filename
           [-setQuota <quota> <dirname>...<dirname>]
           为每个目录设定配额,强制限定目录树下的名字个数。
           [-clrQuota <dirname>...<dirname>]
          为每个目录清除配额设定。
           [-setBalancerBandwidth <bandwidth in bytes per second>]
           设定负载均衡时使用的带宽
 
 
第五部分:Hadoop文件系统
目前 Hadoop 支持的文件系统:
 
文件系统
Java 实现
描述
KFS
fs.kfs.KosmosFil eSystem
Cloudstore  是类似 HDFS C++ 编写的文件系统
S3 (本地)
fs.s3native.Nativ eS3File System
Amazon S3 支持的文件 系统
S3 (基于块)
fs.s3.S3FileSyst em
AmazonS3 支持的文件系 统,以块格式来存储文件
HAR
fs.HarFileSystem
一个构建在其他文件系统来 存档的文件系统。
 
  转载请注明出处【 http://sishuok.com/forum/blogPost/list/5458.html 
 
该帖子包含附件,回复帖子后即可下载附件。
精品视频课程推荐

深入浅出学Spring Web MVC视频教程
系统、完整的学习Spring Web MVC开发的知识。包括:Spring Web MVC入门;理解DispatcherServlet;注解式控制器开发详解;数据类型转换;数据格式化;数据验证; 拦截器;对Ajax的支持;文件上传下载;表单标签等内容;最后以一个综合的CRUD带翻页的应用示例来综合所学的知识

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Zookeeper
内容概述:本课程深入浅出的讲解Hadoop 体系下的分布式协调组件-Zookeeper,向大家介绍了Zookeeper的原理与使用,深入浅出,结合生动实例,具有很高的实战意味 技术要点:Zookeepr 原理,Zookeeper 架构,Zookeeper 简单使用,Zookeeper Watch等

浏览(64800)|评论(75)   交流分类:Java|笔记分类: Hadoop实战-初……

评论(75)
75楼 hukunfeiguochao  2016-08-19 引用

东西,先全部下载下来再说!老师们辛苦啦!

74楼 刷儿  2016-08-19 引用

好东西

73楼 hnjycjl  2015-12-07 引用

正需要这方面的资料

72楼 pengwei  2015-11-10 引用

很好的讲解

71楼 想你已成习惯  2015-09-15 引用
京东礼品卡 如何使用
70楼 kelen121  2015-09-04 引用

学习中

69楼 lijuanjuan  2015-08-27 引用
谢谢分享啊
68楼 tlatta  2015-08-09 引用
thanks
67楼 xiangjinbiao  2015-08-02 引用

jfy

66楼 雨后心晴  2015-07-03 引用

学学。。。

65楼 lianghaoguan  2015-06-24 引用
感谢!
64楼 幽默你懂得  2015-06-24 引用

nice  很开心

63楼 丿Top丶冰狼.  2015-05-27 引用

nice  很开心

62楼 dota2  2015-04-16 引用
感谢分享!
61楼 wind  2015-04-11 引用

学习中。。。课程不错

60楼 swhscmyns  2015-03-16 引用
感谢分享
59楼 sunqian1980  2015-02-04 引用

谢谢

58楼 boguang  2015-01-16 引用

呵呵

57楼 野猪IT  2014-11-13 引用

好东西,找了好久了,学习!!!

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网