Hadoop实战-初级部分之 HDFS - hadoop的笔记 - 记笔记 - 私塾在线

NameNode	DataNode	SecondaryNameNode
存储元数据	存储文件内容	将NameNode的fsimage与edit log从NameNode 复制到临时目录
元数据保存在内存中与磁盘上	文件内容保存在磁盘	将fsimage同edit log合并并产生新的fsimage
保存文件，block dataNode之间的映射关系	维护block id 到datanode本地文件的映射关系	将产生的新的fsimage上传给NameNode 清除NameNode中的edit log

Block块

数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单位默认大小是 64M 。

第四部分：HDFS命令行接口

hadoop fs :

[-ls <path>]

[-lsr <path>]

[-du <path>]

[-dus <path>]

[-count[-q] <path>]

[-mv <src> <dst>]

[-cp <src> <dst>]

[-rm [-skipTrash] <path>]

[-rmr [-skipTrash] <path>]

[-put <localsrc> ... <dst>]

[-copyFromLocal <localsrc> ... <dst>]

[-moveFromLocal <localsrc> ... <dst>]

[-getmerge <src> <localdst> [addnl]]

[-cat <src>]

[-text <src>]

[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]

[-moveToLocal [-crc] <src> <localdst>]

[-mkdir <path>]

[-tail [-f] <file>]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-chgrp [-R] GROUP PATH...]

[-help [cmd]]

hadoop dfsadmin :

[-report]

报告文件系统的基本信息

[-safemode enter | leave | get | wait]

安全模式维护命令

[-saveNamespace]

保存当前的命名空间

[-refreshNodes]

重新读取 Hosts 和 eclude 文件，使新的节点或需要退出集群的节点能够重新被 NameNode 识别。

[-finalizeUpgrade]

终结 HDFS 的升级操作

[-upgradeProgress status | details | force]

[-metasave filename]

保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的 filename 上

[-setQuota <quota> <dirname>...<dirname>]

为每个目录设定配额，强制限定目录树下的名字个数。

[-clrQuota <dirname>...<dirname>]

为每个目录清除配额设定。

[-setBalancerBandwidth <bandwidth in bytes per second>]

设定负载均衡时使用的带宽

第五部分：Hadoop文件系统

目前 Hadoop 支持的文件系统：

文件系统	Java 实现	描述
KFS	fs.kfs.KosmosFil eSystem	Cloudstore 是类似 HDFS 的由 C++ 编写的文件系统
S3 （本地）	fs.s3native.Nativ eS3File System	由 Amazon S3 支持的文件系统
S3 （基于块）	fs.s3.S3FileSyst em	由 AmazonS3 支持的文件系统，以块格式来存储文件
HAR	fs.HarFileSystem	一个构建在其他文件系统来存档的文件系统。

转载请注明出处【 http://sishuok.com/forum/blogPost/list/5458.html 】

该帖子包含附件，回复帖子后即可下载附件。

相关笔记推荐

Hadoop实战-初级部分之 MapReduce

Hadoop实战-初级部分之 Hadoop安装部署

Hadoop实战-初级部分之开启云计算之旅

精品视频课程推荐

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容，使用Java来进行代码示例，不空洞的讲解概念和理论，重点放在代码的实现和示例上。从零开始、全面系统、成体系的讲解数据结构和基本算法，循序渐进的讲述构建软件系统所常见的数据结构和算法。

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Shrio视频教程
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程，帮助学员快速掌握Hadoop HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC，RESTFul API等高级特性；彻底理解Hadoop，成为一名合格的云计算开发者。并掌握一些云端基本的运维知识，从而实现开发和运维兼修的高级人才。

云计算综合实战项目视频教程（更新版）
内容概述：通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统，系统学习Hadoop、Hive，HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。该系统是一个每天5亿条数据，上百个节点的实际商业项目，该系统将海量日志数据进行分布式存储，并通过分布式算法和网络爬虫技术形成标签化的用户模型，最终实现人与内容、人与行为、人与商品的智能配对。技术要点：Hadoop、Hive、HBase、Zookeeper、爬虫技术等

浏览(85034)|评论(79) 交流分类：Java|笔记分类: Hadoop实战-初……

评论(79)

79楼 yuanfengli 2018-06-01 引用

学习

78楼 linuxhelp 2018-06-01 引用

好视频，谢谢分享。

77楼 wwqz123 2017-03-19 引用

学习中

76楼 shenjb 2017-03-19 引用

好的

75楼刷儿 2016-08-19 引用

好东西

74楼 hukunfeiguochao 2016-08-19 引用

东西,先全部下载下来再说!老师们辛苦啦!

73楼 hnjycjl 2015-12-07 引用

正需要这方面的资料

72楼 pengwei 2015-11-10 引用

很好的讲解

71楼想你已成习惯 2015-09-15 引用

京东礼品卡如何使用

70楼 kelen121 2015-09-04 引用

学习中

69楼 lijuanjuan 2015-08-27 引用

谢谢分享啊

68楼 tlatta 2015-08-09 引用

thanks

67楼 xiangjinbiao 2015-08-02 引用

jfy

66楼雨后心晴 2015-07-03 引用

学学。。。

65楼 lianghaoguan 2015-06-24 引用

感谢！

64楼幽默你懂得 2015-06-24 引用

nice 很开心

63楼丿Top丶冰狼. 2015-05-27 引用

nice 很开心

62楼 dota2 2015-04-16 引用

感谢分享！

61楼 wind 2015-04-11 引用

学习中。。。课程不错

1 2 3 4 ► Go

前往页面...

请登录后评论登录