云計(jì)算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt

云計(jì)算 Cloud Computing,近年來(lái)，云計(jì)算已成為IT業(yè)界最熱門(mén)的研究方向之一。幾乎所有的主流IT廠商都在談?wù)撛朴?jì)算，既包括硬件廠商（IBM、英特爾等）、軟件開(kāi)發(fā)商（微軟等），也包括互聯(lián)網(wǎng)服務(wù)提供商（Google、Amazon等）和電信運(yùn)營(yíng)商（AT&T、中國(guó)移動(dòng)等）。這些企業(yè)覆蓋了整個(gè)IT產(chǎn)業(yè)鏈，構(gòu)建了一個(gè)完整的云計(jì)算生態(tài)系統(tǒng)。,引言,2,引言,什么是云計(jì)算?,3,云計(jì)算的最終目標(biāo)是將計(jì)算、服務(wù)和應(yīng)用作為一種公共設(shè)施提供給公眾，使人們能夠像使用水、電、煤氣和電話那樣使用計(jì)算機(jī)資源。,引言,4,云計(jì)算概述 云計(jì)算體系結(jié)構(gòu) 云計(jì)算關(guān)鍵技術(shù) 云計(jì)算研究現(xiàn)狀 云計(jì)算機(jī)遇與挑戰(zhàn) 云計(jì)算與分布式處理,目錄,5,1.1 云計(jì)算起源,2006年3月，亞馬遜推出彈性計(jì)算云服務(wù)。 2006年8月9日，Google首席執(zhí)行官埃里克施密特在搜索引擎大會(huì)首次提出“云計(jì)算”的概念。 2007年10月，Google與IBM開(kāi)始在美國(guó)大學(xué)校園，推廣云計(jì)算的計(jì)劃，這項(xiàng)計(jì)劃希望能降低分散式計(jì)算技術(shù)在學(xué)術(shù)研究方面的成本，并為這些大學(xué)提供相關(guān)的軟硬件設(shè)備及技術(shù)支持。 2008年7月29日，雅虎、惠普和英特爾宣布一項(xiàng)涵蓋美國(guó)、德國(guó)和新加坡的聯(lián)合研究計(jì)劃，推出云計(jì)算研究測(cè)試床，推進(jìn)云計(jì)算。該計(jì)劃要與合作伙伴創(chuàng)建6個(gè)數(shù)據(jù)中心作為研究試驗(yàn)平臺(tái)，每個(gè)數(shù)據(jù)中心配置1400個(gè)至4000個(gè)處理器。 2008年8月3日，戴爾正在申請(qǐng)“云計(jì)算” 商標(biāo)。戴爾在申請(qǐng)文件中稱(chēng)，云計(jì)算是“在數(shù)據(jù)中心和巨型規(guī)模的計(jì)算環(huán)境中，為他人提供計(jì)算機(jī)硬件定制制造”。,6,1.1 云計(jì)算起源,2010年3月5日，Novell與云安全聯(lián)盟（CSA）共同宣布一項(xiàng)供應(yīng)商中立計(jì)劃，名為“可信任云計(jì)算計(jì)劃”。 2010年7月，美國(guó)國(guó)家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開(kāi)放源代碼計(jì)劃。 微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。 2011年2月，思科系統(tǒng)正式加入OpenStack，重點(diǎn)研制OpenStack的網(wǎng)絡(luò)服務(wù)。,7,1.1 云計(jì)算起源（續(xù)）,計(jì)算資源的演進(jìn)：從集中到分步再到集中,計(jì)算時(shí)代,網(wǎng)絡(luò)時(shí)代,云時(shí)代,8,1.2 云計(jì)算發(fā)展路線,9,1.2.1 并行計(jì)算,10,Parallel Computing 是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程，其主要目的是快速解決大型且復(fù)雜的計(jì)算問(wèn)題 特點(diǎn)：把計(jì)算任務(wù)分派給系統(tǒng)內(nèi)的多個(gè)運(yùn)算單元 并行機(jī)的多CPU和多存儲(chǔ)器 并行計(jì)算問(wèn)題的特征 將工作分離成離散部分，有助于同時(shí)解決 隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令（多CPU同時(shí)運(yùn)行） 多計(jì)算資源下解決問(wèn)題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí),1.2.2 分布式計(jì)算,11,Distributed Computing 所謂分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)，它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。 特點(diǎn)：把計(jì)算任務(wù)分派給網(wǎng)絡(luò)中的多臺(tái)獨(dú)立的機(jī)器 優(yōu)點(diǎn)： 稀有資源可以共享 通過(guò)分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載 可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上,1.2.3 云計(jì)算,12,硬件為中心,軟件為中心,服務(wù)為中心,數(shù)據(jù)在云端：不怕丟失，不必備份； 軟件在云端：不必下載自動(dòng)升級(jí)； 無(wú)所不在的計(jì)算：在任何時(shí)間、任何地點(diǎn)、任何設(shè)備登錄即可進(jìn)行計(jì)算服務(wù)； 強(qiáng)大的計(jì)算：空間大，快速度。,1.2.3 云計(jì)算（續(xù)）,13,電：從購(gòu)買(mǎi)發(fā)電設(shè)備到購(gòu)買(mǎi)電力服務(wù),信息：從購(gòu)買(mǎi)軟硬件到購(gòu)買(mǎi)信息服務(wù),發(fā)電機(jī),現(xiàn)代發(fā)電廠,計(jì)算,軟件,存儲(chǔ),信息服務(wù)提供商,有了云計(jì)算，廣大用戶無(wú)需自購(gòu)軟、硬件，甚至無(wú)需知道是誰(shuí)提供的服務(wù)，只關(guān)注自己真正需要什么樣的資源或者得到什么樣的服務(wù)。,1.3 云計(jì)算定義,維基百科：是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。 Google ：將所有的計(jì)算和應(yīng)用放置在“云”中，設(shè)備終端不需要安裝任何東西，通過(guò)互聯(lián)網(wǎng)絡(luò)來(lái)分享程序和服務(wù)。 微軟：認(rèn)為云計(jì)算的應(yīng)是“云+端”的計(jì)算，將計(jì)算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計(jì)算資源分布。 美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)實(shí)驗(yàn)室：云計(jì)算是一個(gè)提供便捷的通過(guò)互聯(lián)網(wǎng)訪問(wèn)一個(gè)可定制的IT 資源共享池能力的按使用量付費(fèi)模式（IT 資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用，服務(wù)），這些資源能夠快速部署，并只需要很少的管理工作或很少的與服務(wù)供應(yīng)商的交互；,到目前為止， 云計(jì)算還沒(méi)有一個(gè)統(tǒng)一的定義。云計(jì)算領(lǐng)先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對(duì)云計(jì)算的定義和理解。,14,1.3 云計(jì)算定義(續(xù)),狹義云計(jì)算 狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式，通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源（硬件、平臺(tái)、軟件）。 廣義云計(jì)算 廣義云計(jì)算是指服務(wù)的交付和使用模式，通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其它的服務(wù)。,15,1.4 云計(jì)算基本特征,16,1.5 云計(jì)算優(yōu)勢(shì),17,按需服務(wù),快速服務(wù),通用性,高可靠性,極其廉價(jià),超大規(guī)模,虛擬化,高擴(kuò)展性,1.6 云計(jì)算模式,18,軟件即服務(wù)（SaaS） Software as a Service 平臺(tái)即服務(wù)（PaaS） Platform as a Service 基礎(chǔ)設(shè)施既服務(wù)（IaaS） Infrastructure as a Service,1.6 云計(jì)算模式(續(xù)),19,服務(wù)多租賃化,平臺(tái)可伸縮化,資源虛擬化,云計(jì)算的服務(wù)體系,1.6.1 軟件即服務(wù)（SaaS）,20,提供給客戶的服務(wù)是服務(wù)商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序，可以在各種客戶端設(shè)備上通過(guò)瘦客戶端界面訪問(wèn)，比如瀏覽器?？蛻舨恍枰芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)，甚至單個(gè)應(yīng)用程序的功能. 如：Google APPS、SoftWare+Services；,1.6.2 平臺(tái)即服務(wù)（PaaS）,21,提供給客戶的是將客戶用供應(yīng)商提供的開(kāi)發(fā)語(yǔ)言和工具（例如Java，python,.Net）創(chuàng)建的應(yīng)用程序部署到云計(jì)算基礎(chǔ)設(shè)施上去?？蛻舨恍枰芾砘蚩刂频牡讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)，但客戶能控制部署的應(yīng)用程序，也可能控制應(yīng)用的托管環(huán)境配置。 如：IBM IT Factory、Google APPEngine、F；,SaaS & PaaS 示例,22,定制化硬件，集裝箱式數(shù)據(jù)中心,云計(jì)算IT平臺(tái),Google應(yīng)用,托管的第三方應(yīng)用,Google 云計(jì)算IT架構(gòu),搜索,廣告,VoIP/IM,地圖服務(wù),照片分享,郵件,視頻分享,辦公套件,日歷,GFS,BigTable,MapReduce,集群管理,SaaS & PaaS,1.6.3 基礎(chǔ)設(shè)施即服務(wù)（IaaS）,23,提供給客戶的是出租處理能力、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源，用戶能夠部署和運(yùn)行任意軟件，包括操作系統(tǒng)和應(yīng)用程序?？蛻舨还芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)、儲(chǔ)存、部署的應(yīng)用，也有可能選擇網(wǎng)絡(luò)組件（例如，防火墻，負(fù)載均衡器）。 如： Amazo Ec2、IBM Blue Cloud、Sun Grid；,實(shí)例,24,戰(zhàn)略：利用內(nèi)部IT資源平臺(tái)，對(duì)外提供IT公用服務(wù) 作為云計(jì)算的推動(dòng)者，Amazon 歷經(jīng)2年多時(shí)間形成了基本成熟的云計(jì)算服務(wù),商業(yè)模式 計(jì)算，存儲(chǔ)，帶寬等IT基礎(chǔ)設(shè)施出租 Web基礎(chǔ)能力，電子商務(wù)基本能力作為服務(wù)出租 按需使用，按需付費(fèi) 網(wǎng)上支付 客戶 互聯(lián)網(wǎng)應(yīng)用開(kāi)發(fā)者 企業(yè)（納斯達(dá)克，紐約時(shí)報(bào)） 面向全球，目前主要集中在北美和歐洲，09年已經(jīng)啟動(dòng)中國(guó)市場(chǎng)拓展 合作伙伴 IBM、Microsoft、Oracle、Google、Apple,Amazon Technology Platform（計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)）,EC2,S3,Simple DB,SQS,DevPay,FPS,MT,Alexa Search,FWS,Other,計(jì)算,支付,訂單履行,搜索,人工智能,AWS Amazon Web Services,存儲(chǔ),數(shù)據(jù)庫(kù),消息隊(duì)列,計(jì)費(fèi),其他設(shè)施能力,進(jìn)展 到08年11月為止，已經(jīng)有45萬(wàn)開(kāi)發(fā)者基于Amazon AWS開(kāi)發(fā)Web應(yīng)用 存儲(chǔ)對(duì)象數(shù)從07年4月份50億增長(zhǎng)到08年10月份的290億，在一年半的時(shí)間里增長(zhǎng)6倍 08年云服務(wù)收入約4億美金,25,1.7 云計(jì)算部署模式,26,部署層次的類(lèi)型,27,1.7 云計(jì)算部署模式（續(xù)）,1.8 云計(jì)算推動(dòng)力量,28,虛擬化技術(shù) 寬帶的普及 互聯(lián)網(wǎng)應(yīng)用增加 服務(wù)器瀏覽器開(kāi)發(fā)技術(shù)的進(jìn)步 IT基礎(chǔ)設(shè)施利用率低下 數(shù)據(jù)中心能耗問(wèn)題突出 IT管理與維護(hù)成本提高 .,云計(jì)算的基本原理是通過(guò)使計(jì)算分布在大量的計(jì)算服務(wù)器上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。,2 云計(jì)算體系結(jié)構(gòu),29,2.1云計(jì)算體系邏輯結(jié)構(gòu),30,云用戶端：提供云用戶請(qǐng)求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過(guò)Web瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶。打開(kāi)應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。 服務(wù)目錄：云用戶在取得相應(yīng)的權(quán)限后可以選擇或定制的服務(wù)列表，也可以對(duì)已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生產(chǎn)相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)服務(wù)。,2.1 云計(jì)算體系邏輯結(jié)構(gòu)(續(xù)),31,管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對(duì)用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算資源和服務(wù)，接收用戶發(fā)送的請(qǐng)求，根據(jù)用戶請(qǐng)求轉(zhuǎn)發(fā)相應(yīng)的程序，調(diào)度資源智能地部署資源和應(yīng)用，動(dòng)態(tài)部署、配置和回收資源。 監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成借點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。 服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)來(lái)管理負(fù)載、高并發(fā)量的用戶請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲(chǔ)時(shí)采用相應(yīng)數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可以通過(guò)云用戶端從列表中選擇所需的服務(wù)，其請(qǐng)求通過(guò)管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過(guò)部署工具分發(fā)請(qǐng)求、配置Web應(yīng)用。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu),32,33,云計(jì)算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層（如上圖）； 物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等； 資源池層是將大量相同類(lèi)型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計(jì)算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)服務(wù)器、解決散熱和故障節(jié)點(diǎn)替換的問(wèn)題并降低能耗。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,34,管理中間件負(fù)責(zé)對(duì)云計(jì)算的資源進(jìn)行管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)； SOA構(gòu)建層將云計(jì)算能力封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)注冊(cè)、查找、訪問(wèn)和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,35,計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。 資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)； 任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,36,用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等； 安全管理保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問(wèn)授權(quán)、綜合防護(hù)和安全審計(jì)等。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,2.3 云計(jì)算和下一代IT架構(gòu),37,集成&開(kāi)發(fā),用戶界面 & 接口,虛擬應(yīng)用,強(qiáng)化: 減少費(fèi)用 & 提高質(zhì)量,虛擬化: 簡(jiǎn)單接入, 提高終端用戶管理 & 使用最大化,自動(dòng)化: 提高速度和預(yù)言性 & 減少勞動(dòng)力,38,商業(yè)流程,集成&開(kāi)發(fā),虛擬信息,虛擬存儲(chǔ),虛擬進(jìn)程,底層結(jié)構(gòu)虛擬,虛擬應(yīng)用,云計(jì)算應(yīng)用 (“Software-as-a-Service”),用戶界面 & 接口,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),39,Integration, Event & Deployment,協(xié)作消息,集成&開(kāi)發(fā),云平臺(tái) (“Platform-as-a-Service”),商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,底層結(jié)構(gòu)虛擬,虛擬存儲(chǔ),虛擬進(jìn)程,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),40,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,集成 & 開(kāi)發(fā),云協(xié)作,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),41,商業(yè)流程,協(xié)作/消息,服務(wù)/資源管理 & 安全,集成 & 開(kāi)發(fā),用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,虛擬 存儲(chǔ),虛擬 進(jìn)程,底層結(jié)構(gòu)虛擬,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),42,服務(wù)/資源管理 & 安全,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,Virtualized Information,底層結(jié)構(gòu)虛擬,虛擬 進(jìn)程,虛擬 存儲(chǔ),集成 & 開(kāi)發(fā),虛擬信息,基礎(chǔ)設(shè)施 (“Infrastructure-as-a-Service”) 軟件 (“Software-as-a-Service”),2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),43,Service/Resource Mgmt & Security,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,Virtualized Information,底層虛擬結(jié)構(gòu),虛擬進(jìn)程,虛擬儲(chǔ)存,集成 & 開(kāi)發(fā),虛擬信息,43,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),虛擬化技術(shù) 分布式技術(shù) 數(shù)據(jù)中心構(gòu)建技術(shù) 云計(jì)算安全技術(shù) 云計(jì)算編程模型 .,3. 云計(jì)算關(guān)鍵技術(shù),44,云計(jì)算的目標(biāo)是以低成本的方式提供高可靠、高可用、規(guī)?？缮炜s的個(gè)性化服務(wù)。為了達(dá)到這個(gè)目標(biāo)，需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS 保證、安全與隱私保護(hù)等若干關(guān)鍵技術(shù)加以支持。,云計(jì)算與相關(guān)技術(shù)的聯(lián)系,45,46,云計(jì)算體系架構(gòu),IaaS 層是云計(jì)算的基礎(chǔ)。通過(guò)建立大規(guī)模數(shù)據(jù)中心，IaaS 層為上層云計(jì)算服務(wù)提供海量硬件資源。同時(shí)，在虛擬化技術(shù)的支持下，IaaS 層可以實(shí)現(xiàn)硬件資源的按需配置，并提供個(gè)性化的基礎(chǔ)設(shè)施服務(wù)。 主要研究問(wèn)題： 如何建設(shè)低成本、高效能的數(shù)據(jù)中心； 如何拓展虛擬化技術(shù)，實(shí)現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)。,3.1 IaaS 層關(guān)鍵技術(shù),47,數(shù)據(jù)中心相關(guān)技術(shù),48,消除異構(gòu)化系統(tǒng)之間障礙 快速動(dòng)態(tài)部署資源和服務(wù),云計(jì)算平臺(tái)對(duì)資源的獨(dú)立，兼容各類(lèi)應(yīng)用平臺(tái) 計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)資源的智能化統(tǒng)一管理 面向業(yè)務(wù)的資源的定制化部署,虛擬化技術(shù)與綠色科技結(jié)合，降低能耗 先進(jìn)、高效、智能的系統(tǒng)散熱方案 智能化的環(huán)境控制和能效管理系統(tǒng),虛擬化提高資源利用率， 簡(jiǎn)化管理維度，節(jié)省維護(hù)成本 支持異構(gòu)資源兼容，實(shí)現(xiàn)業(yè)務(wù)的平滑升級(jí),下一代數(shù)據(jù)中心的特征,基于云計(jì)算 的基礎(chǔ)架構(gòu),虛擬化,智能,綠色,低成本,與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同，云計(jì)算數(shù)據(jù)中心具有以下特點(diǎn) 自治性。 規(guī)模經(jīng)濟(jì)。 規(guī)?？蓴U(kuò)展。 研究重點(diǎn)： 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) 以低成本、高帶寬、高可靠的方式連接大規(guī)模計(jì)算節(jié)點(diǎn)； 數(shù)據(jù)中心節(jié)能技術(shù),數(shù)據(jù)中心相關(guān)技術(shù),49,虛擬化技術(shù),50,虛擬化（Virtualization） 是將計(jì)算機(jī)物理資源如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等予以抽象、轉(zhuǎn)換后呈現(xiàn)出來(lái)，使用戶可以采用比原本的組態(tài)更好的方式來(lái)應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。 包括： 軟件虛擬化 硬件輔助虛擬化 操作系統(tǒng)級(jí)虛擬化,虛擬化技術(shù),51,非虛擬化環(huán)境 難以管理 無(wú)靈活性 投資回報(bào)率低 眾多分立的采購(gòu),虛擬化技術(shù),52,數(shù)據(jù)中心為云計(jì)算提供了大規(guī)模資源。為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要研究虛擬化技術(shù)。虛擬化是IaaS 層的重要組成部分，也是云計(jì)算的最重要特點(diǎn)。虛擬化技術(shù)可以提供以下特點(diǎn)。 資源分享 資源定制 細(xì)粒度資源管理 為了進(jìn)一步滿足云計(jì)算彈性服務(wù)和數(shù)據(jù)中心自治性的需求，需要研究虛擬機(jī)快速部署和在線遷移技術(shù)。 虛擬機(jī)快速部署技術(shù) 虛擬機(jī)在線遷移技術(shù),PaaS 層作為3 層核心服務(wù)的中間層，既為上層應(yīng)用提供簡(jiǎn)單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大，PaaS 層需要具備存儲(chǔ)與處理海量數(shù)據(jù)的能力。 主要技術(shù)包括： 海量數(shù)據(jù)存儲(chǔ)與處理技術(shù) 資源管理與調(diào)度技術(shù),3.2 PaaS 層關(guān)鍵技術(shù),53,海量數(shù)據(jù)存儲(chǔ)技術(shù) 云計(jì)算環(huán)境中的海量數(shù)據(jù)存儲(chǔ)既要考慮存儲(chǔ)系統(tǒng)的I/O 性能，又要保證文件系統(tǒng)的可靠性與可用性。如為Google 設(shè)計(jì)了GFS（google file system），GFS 對(duì)其應(yīng)用環(huán)境做了6 點(diǎn)假設(shè)： 系統(tǒng)架設(shè)在容易失效的硬件平臺(tái)上； 需要存儲(chǔ)大量GB 級(jí)甚至TB 級(jí)的大文件； 文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機(jī)讀構(gòu)成； 文件具有一次寫(xiě)多次讀的特點(diǎn)； 系統(tǒng)需要有效處理并發(fā)的追加寫(xiě)操作； 高持續(xù)I/O 帶寬比低傳輸延遲重要。,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),54,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),55,GFS 執(zhí)行流程,數(shù)據(jù)處理技術(shù)與編程模型 PaaS 平臺(tái)不僅要實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)，而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS 平臺(tái)部署于大規(guī)模硬件資源上，所以海量數(shù)據(jù)的分析處理需要抽象處理過(guò)程，并要求其編程模型支持規(guī)模擴(kuò)展，屏蔽底層細(xì)節(jié)并且簡(jiǎn)單有效。 如：MapReduce 是Google 提出的并行程序編程模型,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),56,MapReduce 的執(zhí)行過(guò)程,副本管理技術(shù) 任務(wù)調(diào)度算法 任務(wù)容錯(cuò)機(jī)制,資源管理與調(diào)度技術(shù),57,為了使云計(jì)算核心服務(wù)高效、安全地運(yùn)行，需要服務(wù)管理技術(shù)加以支持。服務(wù)管理技術(shù)包括: QoS保證機(jī)制 安全與隱私保護(hù)技術(shù) 資源監(jiān)控技術(shù) 服務(wù)計(jì)費(fèi)模型 .,3.3 服務(wù)管理層,58,4. 云計(jì)算研究現(xiàn)狀,59,IBM：藍(lán)云計(jì)劃 谷歌：Google App Engine 亞馬遜：彈性計(jì)算云Elastic Compute Cloud (EC2) 微軟：Windows Azure platform 惠普、英特爾、雅虎：Open Cirrus云計(jì)算測(cè)試平臺(tái) Salesforce：軟件服務(wù)提供商 ,4. 云計(jì)算研究現(xiàn)狀,60,4. 云計(jì)算研究現(xiàn)狀,61,Google 101 計(jì)劃:卡耐基梅隆大學(xué)，MIT，斯坦福大學(xué)，加利福尼亞大學(xué)伯克利分校，馬里蘭大學(xué)和華盛頓大學(xué)。 學(xué)生們學(xué)習(xí)如何調(diào)整自己的程序來(lái)適應(yīng)Google計(jì)算機(jī)，并雄心勃勃地設(shè)計(jì)開(kāi)發(fā)網(wǎng)絡(luò)規(guī)模的項(xiàng)目 這些數(shù)據(jù)可能用于開(kāi)發(fā)新藥品和療法、制造新的清潔能源、甚至預(yù)測(cè)地震 2007年一年就增加了4個(gè)新的數(shù)據(jù)中心，平均每個(gè)成本達(dá)6億美元,4. 云計(jì)算研究現(xiàn)狀,62,Google,4. 云計(jì)算研究現(xiàn)狀,63,Google App Engine,4. 云計(jì)算研究現(xiàn)狀,64,Google App Engine,Google App Engine 提供運(yùn)行和開(kāi)發(fā)的基礎(chǔ)平臺(tái)，允許開(kāi)發(fā)人員編寫(xiě)網(wǎng)絡(luò)應(yīng)用，上傳至App Engine部署運(yùn)行 支持Java和Python兩種開(kāi)發(fā)語(yǔ)言 App Engine 應(yīng)用程序易于構(gòu)建和維護(hù)，并可根據(jù)訪問(wèn)量和數(shù)據(jù)存儲(chǔ)需要，進(jìn)行伸縮。 將應(yīng)用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無(wú)關(guān),4. 云計(jì)算研究現(xiàn)狀,65,云計(jì)算時(shí)代的分布并行編程技術(shù) 分布并行數(shù)據(jù)處理技術(shù) Google MapReduce Hadoop MapReduce 分布式文件系統(tǒng) Google File System Hadoop Distributed File System 分布式數(shù)據(jù)庫(kù) Google BigTable Hadoop HBase,云計(jì)算的分布并行編程技術(shù),4. 云計(jì)算研究現(xiàn)狀,66,分布并行數(shù)據(jù)處理,MapReduce 用于大規(guī)模數(shù)據(jù)并行處理 數(shù)據(jù)量大（超過(guò)1TB） 在成百上千個(gè)CPU上并行處理 用戶只需實(shí)現(xiàn)下面接口 map (in_key, in_value) - (out_key, intermediate_value) list reduce (out_key, intermediate_value list) - out_value list,分布并行數(shù)據(jù)處理（續(xù)）,67,MapReduce架構(gòu),4. MapReduce實(shí)現(xiàn)原理,68,分布式文件系統(tǒng),69,Google File System（GFS） 需求：在廉價(jià)、相對(duì)不可靠的計(jì)算機(jī)上對(duì)巨量數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。 為什么不用現(xiàn)有的文件系統(tǒng)？-Google面對(duì)特殊的挑戰(zhàn) 文件較大，每個(gè)都在100M以上，通常為幾個(gè)GB 文件通常需要頻繁的追加 用流方式讀取 高吞吐量 低延遲 針對(duì)上述問(wèn)題，GFS在文件系統(tǒng)性能和可伸縮性方面進(jìn)行了優(yōu)化設(shè)計(jì)。,Google文件系統(tǒng)(GFS),70,Google 48%,MSN 19%,Yahoo 33%,客戶端,互為備份,管理節(jié)點(diǎn),GFS主節(jié)點(diǎn),GFS主節(jié)點(diǎn),C0,C1,C2,C5,數(shù)據(jù)結(jié)點(diǎn)1,C0,C2,C5,數(shù)據(jù)結(jié)點(diǎn)N,C1,C5,數(shù)據(jù)結(jié)點(diǎn)2,C1,分布式文件系統(tǒng)（續(xù)）,71,GFS的設(shè)計(jì)理念 文件用塊存儲(chǔ) 每個(gè)塊固定為64MB 通過(guò)冗余解決可靠性問(wèn)題 每個(gè)塊同時(shí)拷貝在3個(gè)塊服務(wù)器上 主服務(wù)器負(fù)責(zé)協(xié)調(diào)訪問(wèn)和保存元數(shù)據(jù) 簡(jiǎn)單化的集中管理 定制化的API 無(wú)數(shù)據(jù)緩存 較大文件塊和流式讀取使得緩存效果不佳,分布式數(shù)據(jù)庫(kù)系統(tǒng),72,Google BigTable 為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)而構(gòu)建的大規(guī)模分布式數(shù)據(jù)庫(kù)管理系統(tǒng) 特點(diǎn) 面向大規(guī)模處理、容錯(cuò)性強(qiáng)的自我管理系統(tǒng)，擁有TB級(jí)的內(nèi)存和PB級(jí)的存儲(chǔ)能力，每秒可以處理數(shù)百萬(wàn)的讀寫(xiě)操作 能夠保存記錄的不同時(shí)段的版本 構(gòu)建于GFS和MapReduce基礎(chǔ)之上,分布式數(shù)據(jù)庫(kù)系統(tǒng)（續(xù)）,73,BigTable的設(shè)計(jì)理念 面向網(wǎng)頁(yè)數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡(jiǎn)化數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)，并提高性能 不支持關(guān)聯(lián) 不支持SQL查詢 簡(jiǎn)化數(shù)據(jù)的一致性管理 網(wǎng)頁(yè)數(shù)據(jù)的管理對(duì)一致性要求不高 簡(jiǎn)化事務(wù)管理 網(wǎng)頁(yè)數(shù)據(jù)的處理（搜索、發(fā)布）對(duì)事務(wù)管理要求不高 面向海量數(shù)據(jù)管理要求 設(shè)計(jì)分割和合并管理機(jī)制（基于元數(shù)據(jù)） 設(shè)計(jì)自動(dòng)伸縮功能（根據(jù)數(shù)據(jù)量調(diào)整資源用量）,分布式數(shù)據(jù)庫(kù)系統(tǒng)（續(xù)）,74,BigTable架構(gòu),國(guó)內(nèi)云計(jì)算企業(yè),75,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),76,近年來(lái)，云計(jì)算技術(shù)得到了快速發(fā)展。 隨著它對(duì)人們?nèi)粘Ｉ畹挠绊懺絹?lái)越深入，云計(jì)算最終使得計(jì)算和存儲(chǔ)成為一種公共資源，像水、電一樣滲透到人們生活的各個(gè)方面。 與此同時(shí)，新的應(yīng)用需求不斷出現(xiàn)，比如實(shí)時(shí)搜索，在線推薦系統(tǒng)，社交網(wǎng)絡(luò)分析等應(yīng)用，將給云計(jì)算技術(shù)帶來(lái)新的挑戰(zhàn)。,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),77,云計(jì)算和移動(dòng)互聯(lián)網(wǎng)的結(jié)合 云計(jì)算與科學(xué)計(jì)算的結(jié)合 端到云的海量數(shù)據(jù)傳輸 大規(guī)模應(yīng)用的部署與調(diào)試 新型的應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)量的要求更大 應(yīng)用的復(fù)雜度和實(shí)時(shí)性要求越來(lái)越高 應(yīng)用對(duì)數(shù)據(jù)隨機(jī)訪問(wèn)的速度越來(lái)越高,6. 云計(jì)算與分布式處理,78,集中式:采用工作站/終端通過(guò)網(wǎng)絡(luò)/電纜共享大型計(jì)算機(jī)的計(jì)算與存儲(chǔ)資源; 分布式:在一個(gè)局域網(wǎng)中,每一臺(tái)機(jī)器既是一臺(tái)工作站,又是一臺(tái)服務(wù)器,沒(méi)有主從之分,也就是人們常說(shuō)的P2P模式。整個(gè)系統(tǒng)在用戶看來(lái)就是一臺(tái)存儲(chǔ)容量大、計(jì)算能力強(qiáng)的虛擬機(jī)。 云計(jì)算：在互聯(lián)網(wǎng)中，由多臺(tái)計(jì)算（應(yīng)用）服務(wù)器和數(shù)據(jù)庫(kù)（存儲(chǔ)）服務(wù)器組成的,6. 云計(jì)算與分布式處理,79,一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī)，分布式存儲(chǔ)及分布式計(jì)算模型是云計(jì)算體系架構(gòu)中的核心。 云計(jì)算技術(shù)與分布式處理技術(shù)的異同 相同之處：兩者都提供了一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī)。 不同之處：分布式處理技術(shù)是P2P模式，在虛擬機(jī)上的用戶程序被分成多個(gè)模塊透明,6. 云計(jì)算與分布式處理,80,地分發(fā)到任意多臺(tái)機(jī)器上，通過(guò)它們之間的交互和協(xié)作共同完成用戶的程序。用戶的文件/數(shù)據(jù)存方在任意多臺(tái)機(jī)器上的存儲(chǔ)器中，可供透明地進(jìn)行訪問(wèn)和修改。所有機(jī)器上的負(fù)載基本保持平衡。 而云計(jì)算技術(shù)是用戶通過(guò)虛擬機(jī)調(diào)用存放在存儲(chǔ)器群中的程序，該程序被透明地分發(fā)到任意一臺(tái)計(jì)算服務(wù)器上執(zhí)行,以保持計(jì)算服務(wù)器群的負(fù)載基本平衡。用戶的文,6. 云計(jì)算與分布式處理,81,文件/程序/數(shù)據(jù)存放在任意多臺(tái)存儲(chǔ)器中，可供透明地訪問(wèn)和修改。 總而言之，分布式處理技術(shù)是云計(jì)算技術(shù)的基礎(chǔ)，而在分布式處理技術(shù)基礎(chǔ)上發(fā)展起來(lái)的云計(jì)算技術(shù)是一種基于互聯(lián)網(wǎng)的集中分布式處理技術(shù)。,謝謝大家！,計(jì)算機(jī)科學(xué)與計(jì)算學(xué)院,