|
2018-06-01 09:40:40
Hadoop实战-初级部分 之 HDFS 浏览(102812)|评论(79) 交流分类:Java|笔记分类: Hadoop实战-初……
私塾在线《深入浅出学
Hadoop-
初级
部分》
——
系列精品教程
第一部分:什么是HDFS
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 HDFS是高容错性的,可以部署在低成本的硬件之上,HDFS提供高吞吐量地对应用程序数据访问,它适合大数据集的应用程序。
第二部分:HDFS架构设计
HDFS 设计目标
HDFS不适合做什么
存储小文件
大量随机读
需要对文件修改
第三部分:HDFS概念
Block块
数据块
(block
) HDFS(Hadoop Distributed File System)
默认的最基本存储单
位默认大小是
64M
。
第四部分:HDFS命令行接口
hadoop fs :
[-ls <path>]
[-lsr <path>]
[-du <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
hadoop dfsadmin :
[-report]
报告文件系统的基本信息
[-safemode enter | leave | get | wait]
安全模式维护命令
[-saveNamespace]
保存当前的命名空间
[-refreshNodes]
重新读取
Hosts
和
eclude
文件,使新的节点或需要退出集群的节点能够重新被
NameNode
识别。
[-finalizeUpgrade]
终结
HDFS
的升级操作
[-upgradeProgress status | details | force]
[-metasave filename]
保存
Namenode
的主要数据结构到
Hadoop.log.dir
属性指定目录下的
filename
上
[-setQuota <quota> <dirname>...<dirname>]
为每个目录设定配额,强制限定目录树下的名字个数。
[-clrQuota <dirname>...<dirname>]
为每个目录清除配额设定。
[-setBalancerBandwidth <bandwidth in bytes per second>]
设定负载均衡时使用的带宽
第五部分:Hadoop文件系统
目前
Hadoop
支持的文件系统:
该帖子包含附件,回复帖子后即可下载附件。
精品视频课程推荐
Hadoop实战-初级部分视频教程
透彻理解JavaBean视频教程
Java数据结构和算法精讲版
云计算综合实战项目视频教程(更新版)
Hadoop实战-中高级部分视频教程
评论(79)
79楼
yuanfengli
2018-06-01
引用
学习 好视频,谢谢分享。 学习中 好的 好东西
74楼
hukunfeiguochao
2016-08-19
引用
东西,先全部下载下来再说!老师们辛苦啦! 正需要这方面的资料 很好的讲解
京东礼品卡 如何使用
学习中
69楼
lijuanjuan
2015-08-27
引用
谢谢分享啊
thanks
67楼
xiangjinbiao
2015-08-02
引用
jfy 学学。。。
65楼
lianghaoguan
2015-06-24
引用
感谢!
nice 很开心 nice 很开心
感谢分享!
学习中。。。课程不错 请登录后评论 登录
|