收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:3089952
访问用户量:3047
笔记经验:
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2017-03-19 15:27:32
Hadoop实战-初级部分 之 HDFS
浏览(75159)|评论(77)   交流分类:Java|笔记分类: Hadoop实战-初……

第一部分:什么是HDFS
       Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 HDFS是高容错性的,可以部署在低成本的硬件之上,HDFS提供高吞吐量地对应用程序数据访问,它适合大数据集的应用程序。
 
第二部分:HDFS架构设计
HDFS 设计目标
HDFS不适合做什么
存储小文件
大量随机读
需要对文件修改
第三部分:HDFS概念
 
NameNode
DataNode
SecondaryNameNode
 
存储元数据
 
    存储文件内容
 
将NameNode的fsimage与edit log从NameNode
     复制到临时目录
元数据保存在内存中与磁盘上
文件内容保存在磁盘
将fsimage同edit log合并 并产生新的fsimage
保存文件,block dataNode之间的映射关系
维护block id 到datanode本地文件的映射关系
将产生的新的fsimage上传给NameNode    
     清除NameNode中的edit log
 
 
Block块
    数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单 位默认大小是 64M
第四部分:HDFS命令行接口
 
   hadoop fs :       
          [-ls <path>]
          [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
 
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]
 
 
hadoop dfsadmin :
           [-report]
             报告文件系统的基本信息
           [-safemode enter | leave | get | wait]
           安全模式维护命令
           [-saveNamespace]
             保存当前的命名空间
           [-refreshNodes]
              重新读取 Hosts eclude 文件,使新的节点或需要退出集群的节点能够重新被 NameNode 识别。
           [-finalizeUpgrade]
            终结 HDFS 的升级操作
           [-upgradeProgress status | details | force]
 
          [-metasave filename]
           保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的 filename
           [-setQuota <quota> <dirname>...<dirname>]
           为每个目录设定配额,强制限定目录树下的名字个数。
           [-clrQuota <dirname>...<dirname>]
          为每个目录清除配额设定。
           [-setBalancerBandwidth <bandwidth in bytes per second>]
           设定负载均衡时使用的带宽
 
 
第五部分:Hadoop文件系统
目前 Hadoop 支持的文件系统:
 
文件系统
Java 实现
描述
KFS
fs.kfs.KosmosFil eSystem
Cloudstore  是类似 HDFS C++ 编写的文件系统
S3 (本地)
fs.s3native.Nativ eS3File System
Amazon S3 支持的文件 系统
S3 (基于块)
fs.s3.S3FileSyst em
AmazonS3 支持的文件系 统,以块格式来存储文件
HAR
fs.HarFileSystem
一个构建在其他文件系统来 存档的文件系统。
 
  转载请注明出处【 http://sishuok.com/forum/blogPost/list/5458.html 
 
该帖子包含附件,回复帖子后即可下载附件。
精品视频课程推荐

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

深入浅出学Shrio视频教程
内容概述:Shiro是目前最热门、最易用、功能超强大的Java权限管理框架,强烈推荐,每个项目都必备的权限管理技术!通过本课程,你将从零开始直到彻底掌握Shiro的相关开发知识,达到可以进行实际项目开发的能力。包括:权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术 技术要点:源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成(包括修正struts2的bug)、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容

研磨设计模式——跟着cc学设计系列视频教程
本视频课程是北京Java私塾原创精品书籍《研磨设计模式》一书的配套学习视频,由《研磨设计模式》的第一作者CC录制 课程目标:全面、系统的掌握GoF设计模式的知识,达到可以在实际项目开发中运用的能力 技术要点:如何实现可配置、如何实现缓存以及缓存的管理、如何实现用缓存来控制多实例的创建、如何实现参数化工厂、 如何实现可扩展工厂、如何实现原型管理器、如何实现Java的静态代理和动态代理、如何实现多线程处理队列请求、 如何实现命令的参数化配置、可撤销的操作、宏命令、队列请求和日志请求、如何实现翻页迭代、如何检测环状结构、 如何实现通用的增删改查、如何模拟工作流来处理流程、如何实现简单又通用的XML读取、如何实现模拟AOP的功能......

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

云计算综合实战项目视频教程(更新版)
内容概述:通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统,系统学习Hadoop、Hive,HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。 该系统是一个每天5亿条数据,上百个节点的实际商业项目,该系统将海量日志数据进行分布式存储,并通过分布式算法和网络爬虫技术形成标签化的用户模型,最终实现人与内容、人与行为、人与商品的智能配对。 技术要点:Hadoop、Hive、HBase、Zookeeper、爬虫技术等

浏览(75159)|评论(77)   交流分类:Java|笔记分类: Hadoop实战-初……

评论(77)
77楼 wwqz123  2017-03-19 引用

学习中

76楼 shenjb  2017-03-19 引用

好的

75楼 hukunfeiguochao  2016-08-19 引用

东西,先全部下载下来再说!老师们辛苦啦!

74楼 刷儿  2016-08-19 引用

好东西

73楼 hnjycjl  2015-12-07 引用

正需要这方面的资料

72楼 pengwei  2015-11-10 引用

很好的讲解

71楼 想你已成习惯  2015-09-15 引用
京东礼品卡 如何使用
70楼 kelen121  2015-09-04 引用

学习中

69楼 lijuanjuan  2015-08-27 引用
谢谢分享啊
68楼 tlatta  2015-08-09 引用
thanks
67楼 xiangjinbiao  2015-08-02 引用

jfy

66楼 雨后心晴  2015-07-03 引用

学学。。。

65楼 lianghaoguan  2015-06-24 引用
感谢!
64楼 幽默你懂得  2015-06-24 引用

nice  很开心

63楼 丿Top丶冰狼.  2015-05-27 引用

nice  很开心

62楼 dota2  2015-04-16 引用
感谢分享!
61楼 wind  2015-04-11 引用

学习中。。。课程不错

60楼 swhscmyns  2015-03-16 引用
感谢分享
59楼 sunqian1980  2015-02-04 引用

谢谢

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网