Hadoop实战-初级部分之 HDFS - hadoop的笔记 - 记笔记 - 私塾在线

NameNode	DataNode	SecondaryNameNode
存储元数据	存储文件内容	将NameNode的fsimage与edit log从NameNode 复制到临时目录
元数据保存在内存中与磁盘上	文件内容保存在磁盘	将fsimage同edit log合并并产生新的fsimage
保存文件，block dataNode之间的映射关系	维护block id 到datanode本地文件的映射关系	将产生的新的fsimage上传给NameNode 清除NameNode中的edit log

Block块

数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单位默认大小是 64M 。

第四部分：HDFS命令行接口

hadoop fs :

[-ls <path>]

[-lsr <path>]

[-du <path>]

[-dus <path>]

[-count[-q] <path>]

[-mv <src> <dst>]

[-cp <src> <dst>]

[-rm [-skipTrash] <path>]

[-rmr [-skipTrash] <path>]

[-put <localsrc> ... <dst>]

[-copyFromLocal <localsrc> ... <dst>]

[-moveFromLocal <localsrc> ... <dst>]

[-getmerge <src> <localdst> [addnl]]

[-cat <src>]

[-text <src>]

[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]

[-moveToLocal [-crc] <src> <localdst>]

[-mkdir <path>]

[-tail [-f] <file>]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-chgrp [-R] GROUP PATH...]

[-help [cmd]]

hadoop dfsadmin :

[-report]

报告文件系统的基本信息

[-safemode enter | leave | get | wait]

安全模式维护命令

[-saveNamespace]

保存当前的命名空间

[-refreshNodes]

重新读取 Hosts 和 eclude 文件，使新的节点或需要退出集群的节点能够重新被 NameNode 识别。

[-finalizeUpgrade]

终结 HDFS 的升级操作

[-upgradeProgress status | details | force]

[-metasave filename]

保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的 filename 上

[-setQuota <quota> <dirname>...<dirname>]

为每个目录设定配额，强制限定目录树下的名字个数。

[-clrQuota <dirname>...<dirname>]

为每个目录清除配额设定。

[-setBalancerBandwidth <bandwidth in bytes per second>]

设定负载均衡时使用的带宽

第五部分：Hadoop文件系统

目前 Hadoop 支持的文件系统：

文件系统	Java 实现	描述
KFS	fs.kfs.KosmosFil eSystem	Cloudstore 是类似 HDFS 的由 C++ 编写的文件系统
S3 （本地）	fs.s3native.Nativ eS3File System	由 Amazon S3 支持的文件系统
S3 （基于块）	fs.s3.S3FileSyst em	由 AmazonS3 支持的文件系统，以块格式来存储文件
HAR	fs.HarFileSystem	一个构建在其他文件系统来存档的文件系统。

转载请注明出处【 http://sishuok.com/forum/blogPost/list/5458.html 】

该帖子包含附件，回复帖子后即可下载附件。

相关笔记推荐

Hadoop实战-初级部分之 MapReduce

Hadoop实战-初级部分之 Hadoop安装部署

Hadoop实战-初级部分之开启云计算之旅

精品视频课程推荐

Hadoop实战-初级部分视频教程
Hadoop初级精品课程，帮助学员快速掌握Hadoop入门到上手开发，并掌握一定的开发技巧。通过Hadoop初级课程，学员可以掌握基本的Hadoop 原理，Hadoop环境搭建，Hadoop Shell，Hadoop HDFS基本操作和编程，Hadoop Mapreduce编程。

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

研磨设计模式——跟着cc学设计系列视频教程
本视频课程是北京Java私塾原创精品书籍《研磨设计模式》一书的配套学习视频，由《研磨设计模式》的第一作者CC录制课程目标：全面、系统的掌握GoF设计模式的知识，达到可以在实际项目开发中运用的能力技术要点：如何实现可配置、如何实现缓存以及缓存的管理、如何实现用缓存来控制多实例的创建、如何实现参数化工厂、如何实现可扩展工厂、如何实现原型管理器、如何实现Java的静态代理和动态代理、如何实现多线程处理队列请求、如何实现命令的参数化配置、可撤销的操作、宏命令、队列请求和日志请求、如何实现翻页迭代、如何检测环状结构、如何实现通用的增删改查、如何模拟工作流来处理流程、如何实现简单又通用的XML读取、如何实现模拟AOP的功能......

深入浅出学Shrio视频教程
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

深入浅出学Zookeeper
内容概述：本课程深入浅出的讲解Hadoop 体系下的分布式协调组件－Zookeeper,向大家介绍了Zookeeper的原理与使用，深入浅出，结合生动实例，具有很高的实战意味技术要点：Zookeepr 原理，Zookeeper 架构，Zookeeper 简单使用，Zookeeper Watch等

浏览(88219)|评论(79) 交流分类：Java|笔记分类: Hadoop实战-初……

评论(79)

79楼 yuanfengli 2018-06-01 引用

学习

78楼 linuxhelp 2018-06-01 引用

好视频，谢谢分享。

77楼 wwqz123 2017-03-19 引用

学习中

76楼 shenjb 2017-03-19 引用

好的

75楼刷儿 2016-08-19 引用

好东西

74楼 hukunfeiguochao 2016-08-19 引用

东西,先全部下载下来再说!老师们辛苦啦!

73楼 hnjycjl 2015-12-07 引用

正需要这方面的资料

72楼 pengwei 2015-11-10 引用

很好的讲解

71楼想你已成习惯 2015-09-15 引用

京东礼品卡如何使用

70楼 kelen121 2015-09-04 引用

学习中

69楼 lijuanjuan 2015-08-27 引用

谢谢分享啊

68楼 tlatta 2015-08-09 引用

thanks

67楼 xiangjinbiao 2015-08-02 引用

jfy

66楼雨后心晴 2015-07-03 引用

学学。。。

65楼 lianghaoguan 2015-06-24 引用

感谢！

64楼幽默你懂得 2015-06-24 引用

nice 很开心

63楼丿Top丶冰狼. 2015-05-27 引用

nice 很开心

62楼 dota2 2015-04-16 引用

感谢分享！

61楼 wind 2015-04-11 引用

学习中。。。课程不错

1 2 3 4 ► Go

前往页面...

请登录后评论登录