收藏私塾在线
 

欢迎您来到私塾在线网!   

请登录! 

免费注册 


hadoop的笔记
状态: 离线
人气:2690188
访问用户量:2937
笔记经验:1309
总积分:1409
级别:普通会员
搜索本笔记
ta的交流分类
ta的交流主题贴(131)
ta的所有交流贴(138)
ta的全部笔记
全部笔记(249)
未分类笔记(0)
hadoop(109)
luoli的Hado……(19)
精通hadoop(10)
Hadoop原理与代……(6)
HBase(15)
深入浅出学Hive(11)
Hadoop实战-中……(11)
Hadoop实战-初……(8)
hadoop & h……(9)
Hive(18)
zookeeper(8)
Hadoop Str……(14)
云计算综合实战项目(11)
存档
2013-04(11)
2012-10(11)
2012-09(10)
2012-08(191)
2012-07(26)

2017-03-19 15:27:32
Hadoop实战-初级部分 之 开启云计算之旅
浏览(96217)|评论(146)   交流分类:Java|笔记分类: Hadoop实战-初……

私塾在线《深入浅出学 Hadoop- 初级 部分》  —— 系列精品教程
视频课程地址》》》 http://sishuok.com/product/481
整体课程概览
第一部分:我们为什么要学习云计算技术
•“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
   ———哈佛大学
   社会学教授加里·金
•一分钟内,微博推特( Twitter)上新发的数据数超过10万;社交网络“脸谱”( Facebook)的浏览量超过600万……
•这些庞大数字,意味着什么?
•它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。
IT人你们准备好了么
•这是一个机会,千载难逢的机会。
•IT界 的又一桶黄金。
 
什么是云计算
      云计算就是“按需应变”的网络延伸,即厂商按照用户不断变化的需求提供相应的硬件、软件服务。
      云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、网络技术等一些传统计算方法的融合体。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统,并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。其核心理念就是通过不断提高“云”的处理能力而减少用户终端的处理负担,最终使用户终端简化成一个单纯的输入输出设备,并能按需享受“云”的强大计算处理能力。
     云计算最典型的代表就是Google的搜索引擎。 
 
云因何而生 
不断增长的计算资源
处理器核数: 每18个月 100%  
内存/硬盘容量: 每年 60%
网络带宽: 每年 100%
 
现有计算模型的局限
低利用率: <20%
高维护费用: 软硬件成本的 x5~x10
低可用性: 65% 服务存在不可用现象
 
四大商业服务模式
•SaaS(Software-as-a- Service):软件即服务
•PaaS(Platform-as-a-Service):平台即服务
•IaaS (Infrastructure as a Service):基础设施即服务
•MSP (Managing Successful Programme)
 
 
SaaS(Software-as-a- Service):软件即服务
uSaaS给用户带来的优势:拿来即用、无须维护、按需使用、随处可用、风险减小、成本降低、先天防毒、低配置也可用大软件
uSaaS给软件运营商带来的优势:节约销售成本、节约维护成本、稳健的经营模式
uSaaS的缺点:依赖互联网、数据安全性、数据保密性、
uSaaS的成功案例:Salesforce公司的CRM(客户关系管理)、Google的搜索引擎和Gmail、IBM的“蓝云”、Alisoft的AEP平台等一系列SaaS软件
PaaSPlatform-as-a-Service ):平台即服务
      PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。
 
IaaS (Infrastructure as a Service)基础设施即服务
IaaS主要提供虚拟机
IaaS分为两种用法:公共的和私有的。AmazonEC2在基础设施云中使用公共服务器池。更加私有化的服务会使用企业内部数据中心的一组公用或私有服务器池。
IaaS可以提供服务器、操作系统、磁盘存储、数据库和/或信息资源。最高端IaaS的代表产品是亚马逊的AWS,不过IBM、Vmware和惠普以及其他一些传统IT厂商也提供这类的服务。IaaS通常会按照"弹性云"的模式引入其他的使用和计价模式,也就是在任何一个特定的时间,都只使用你需要的服务,并且只为之付费。
云计算的核心技术
•编程模型
•海量数据分布存储技术
•海量数据管理技术
•虚拟化技术
•云计算平台管理技术
第二部分:典型云平台介绍
•Google 的云计算平台
      Google的硬件条件优势,大型的数据中心、搜索引擎的支柱应用,促进Google云计算迅速发展。Google的云计算主要由MapReduce、Google文件系统(GFS)、BigTable组成。它们是Google内部云计算基础平台的3个主要部分。Google 还构建其他云计算组件,包括一个领域描述语言以及分布式锁服务机制等。Sawzall是一种建立在MapReduce基础上的领域语言,专门用于大规模的信息处理。Chubby是一个高可用、分布式数据锁服务,当有机器失效时,Chubby使用Paxos算法来保证备份。
 
•IBM“蓝云”计算平台
      IBM 的“蓝云”计算平台是一套软、硬件平台,将Internet上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境。“蓝云”大量使用了IBM先进的大规模计算技术,结合了IBM自身的软、硬件系统以及服务技术,支持开放标准与开放源代码软件。
      “蓝云”基于IBM Almaden研究中心的云基础架构,采用了Xen和PowerVM虚拟化软件,Linux操作系统映像以及Hadoop软件以及MapReduce的开源实现。
      “蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件、IBM Tivoli监控软件、IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成。
      “蓝云”平台的一个重要特点是虚拟化技术的使用。
 
•Amazon的弹性计算云
      Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上,而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个。用户使用实例的付费方式由用户的使用状况决定,即用户只需为自己所使用的计算平台实例付费,运行结束后计费也随之结束。
      弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境,在用户具有充分灵活性的同时,也减轻了云计算平台拥有者的管理负担。弹性计算云中的每一个实例代表一个运行中的虚拟机。用户对自己的虚拟机具有完整的访问权限,包括针对此虚拟机操作系统的管理员权限。虚拟机的收费也是根据虚拟机的能力进行费用计算的,实际上,用户租用的是虚拟的计算能力。 
 
云计算的特点
易管理: 无需基础设施维护
灵活性: 可按需伸缩,地域无关性
高资源利用率: 负载平衡,资源共享
高可靠性: 服务质量保证,异地容灾
低成本: 无前期投入,按需购买
安全性: 集中式数据管理,统一安全策略
 
云计算技术发展面临的主要问题
•数据隐私问题
        如何保证存放在云服务提供商的数据隐私,不被非法利用,不仅需要技术的改进,也需要法律的进一步完善
•数据安全性
        有些数据是企业的商业机密,数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。
•用户使用习惯
         如何改变用户的使用习惯,使用户适应网络化的软硬件应用是长期而艰巨的挑战。
•网络传输问题
         云计算服务依赖网络,目前网速低且不稳定,使云应用的性能不高。云计算的普及依赖网络技术的发展。
 
 
本节课程小结
了解了什么是云计算
云计算的核心技术
云计算面临的问题。
 
转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5336.html
该帖子包含附件,回复帖子后即可下载附件。
精品视频课程推荐

深入浅出学Spring Web MVC视频教程
系统、完整的学习Spring Web MVC开发的知识。包括:Spring Web MVC入门;理解DispatcherServlet;注解式控制器开发详解;数据类型转换;数据格式化;数据验证; 拦截器;对Ajax的支持;文件上传下载;表单标签等内容;最后以一个综合的CRUD带翻页的应用示例来综合所学的知识

Hadoop实战-初级部分视频教程
Hadoop初级精品课程,帮助学员快速掌握Hadoop入门到上手开发,并掌握一定的开发技巧。通过Hadoop初级课程,学员可以掌握基本的Hadoop 原理,Hadoop环境搭建,Hadoop Shell,Hadoop HDFS基本操作和编程,Hadoop Mapreduce编程。

Hibernate4实战-独家视频教程
ORMapping的原理、1+N次问题、版本并发控制、开发的反模式、Open Session In View模式、抓取策略、集合性能、Hibernate运行原理、开发的最佳实践

Java Web开发-项目部分(中国移动科技综合管理系统)视频教程
中国移动科技综合管理系统,对JDBC实现CRUD的抽象化和复用化;UUID自动生成;分层开发、综合示范Jsp+Servlet+JavaBean+TagLib+JSTL+JDBC的实现;Web分页、Web树、日期控件、真实值和表现值转换;众多杂项技术的实现,比如:tab、左右选择等等

Hadoop实战-中高级部分视频教程
Hadoop中高级精品课程,帮助学员快速掌握Hadoop HDFS的原理;MapReduce的原理;MapReduce高级编程;Hadoop的IO机制,如序列化、压缩;Hadoop的RPC,RESTFul API等高级特性;彻底理解Hadoop,成为一名合格的云计算开发者。并掌握一些云端基本的运维知识,从而实现开发和运维兼修的高级人才。

浏览(96217)|评论(146)   交流分类:Java|笔记分类: Hadoop实战-初……

评论(146)
146楼 wy90314  2017-03-19 引用

学习中。。。课程不错

145楼 xcwangfan  2017-03-19 引用

xue xi xia

144楼 wwqz123  2017-03-19 引用

学习下

143楼 Yadira  2017-03-19 引用

学习ing

142楼 hzw_java  2017-03-19 引用

不错

141楼 重视基础  2016-09-29 引用

感谢

140楼 重视基础  2016-09-29 引用

感谢啊

139楼 hukunfeiguochao  2016-08-19 引用

   

感谢分享,多谢

138楼 刷儿  2016-08-19 引用

感谢分享

137楼 动感闪客  2016-05-16 引用

私塾,我又来了!尤记得4年前准备走出大学校园时,看了spring,设计模式的视频,就觉得很不错!现在工作3年了,又回到了原来熟悉的地方!

136楼 逍逸  2015-10-12 引用

留名

135楼 archerhong  2015-10-12 引用
感谢分享 好久没来私塾了
134楼 jsupeng  2015-09-23 引用

真的好全面!!

133楼 together12  2015-09-23 引用

看看是否有用!

132楼 想你已成习惯  2015-09-15 引用
东西,先全部下载下来再说!老师们辛苦啦!
131楼 树的心  2015-09-15 引用

fdsf

130楼 kelen121  2015-09-04 引用

学习了

129楼 lijuanjuan  2015-08-27 引用

xuexi

128楼 lijuanjuan  2015-08-27 引用

xuexi

请登录后评论 登录

关于我们 | 联系我们 | 用户协议 | 私塾在线服务协议 | 版权声明 | 隐私保护

版权所有 Copyright(C)2009-2012 私塾在线学习网