大數(shù)據(jù)分析關(guān)鍵技術(shù)38

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,大數(shù)據(jù)分析關(guān)鍵技術(shù),概述,即席查詢,批量,處理,流式計算,大數(shù)據(jù),計算分析模式分類,即席查詢,Ad-Hoc Query,批量處理,Batch,Processing,Map/Reduce,流式計算,Stream,Computing,數(shù)據(jù)承載,響應(yīng)時間,適用場景,磁盤,秒級,(,準(zhǔn)實(shí)時,),自然人交互式,經(jīng)營分析,磁盤,分鐘級至小時級,(,準(zhǔn)實(shí)時,),事前,/,事后,大批量數(shù)據(jù)處理,內(nèi)存,(,事件窗口,非全量數(shù)據(jù),),秒級,(,實(shí)時,),實(shí)時事件分析,實(shí)時風(fēng)險干預(yù),針對不同的業(yè)務(wù)領(lǐng)域，需要采用不同的數(shù)據(jù)計算分析方式，快速發(fā)現(xiàn)數(shù)據(jù)價值。,即席查詢,即席查詢（,Ad Hoc,）是,用戶根據(jù)自己的需求,，靈活的選擇查詢條件，系統(tǒng)能夠根據(jù)用戶的選擇生成相應(yīng)的統(tǒng)計報表。即席查詢與普通應(yīng)用查詢最大的不同是,普通的應(yīng)用查詢是定制開發(fā)的,，而,即席查詢是用戶自定義查詢條件,。,即席查詢,Storage,Distribute,File,System,Column,Database,Resource,Management,Parallel,Compute,Framework,SQL,Syntax+,Compute,Framework,SQL,Syntax,Meta,Data,Batch,Processing,Ad-Hoc,Query,實(shí)時性,：高,批量處理,Storage,Distribute,File,System,Column,Database,Resource,Management,Parallel,Compute,Framework,SQL,Syntax+,Compute,Framework,SQL,Syntax,Meta,Data,Batch,Processing,Ad-Hoc,Query,MapReduce,是一種編,程模型，用于,大規(guī)模數(shù)據(jù),集的并行,批量計算,。概念,Map,和,Reduce,當(dāng)前的,主流,實(shí)現(xiàn)是指定一個,Map,函數(shù),，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的,Reduce,函數(shù),，用來保證所有映射的鍵值對中的每一個共享相同的鍵組,。,形成這種模型的原因是：數(shù)據(jù)的分布式存儲、計算資源的分布式、,并行計算減少計算時長。,批量處理,實(shí)時性,：低,流式,計算,流數(shù)據(jù)的實(shí)時計算,注重對流數(shù)據(jù)的快速高效處理、計算和分析,。,其特點(diǎn)是計算過程數(shù)據(jù)不落地，所有數(shù)據(jù)在內(nèi)存中完成。其計算模型是根據(jù)規(guī)則生成容器，當(dāng)數(shù)據(jù)流經(jīng)過容器時，實(shí)時產(chǎn)生分析結(jié)果。,流式計算,Input,Adapter,Output,Adapter,Engine,Cluster,Cluster,Management,Rule,Repository,NoSQL,實(shí)時性,：高,概述,即席查詢,批量,處理,流式計算,Impala,Node,Impala,架構(gòu),Impalad,Query Planner,Query,Coordinator,Query,Exec,Engine,Common,HiveQL,&,Interface,MetaData,SQL,JDBC,Hive MetaStore,HDFS NN,State Store,Impalad,Query Planner,Query,Coordinator,Query,Exec,Engine,Impalad,Query Planner,Query,Coordinator,Query,Exec,Engine,Data,HDFS,DN,HBase,Data,HDFS,DN,HBase,Data,HDFS,DN,HBase,Impala,Node,Impala,Node,Local,Direct,Reads,Thrift,Hive,架構(gòu),Data,HDFS,DN,Task,Tracker,Job,Tracker,Name,Node,Hadoop,Hive(Over Hadoop 0.20.X),SQL,JDBC,WUI,Thrift,Server,Driver,(Compiler,Optimizer,Executor),Meta,Store,ThriftServer：J,DBC,通過ThriftServer連接到,Hive,。,ThriftServer,連接,MetaStore,來讀取,hive,的元數(shù)據(jù)信息,。,MetaStore,：,在關(guān)系型數(shù)據(jù)庫中,存放表,/,分區(qū),/,列元數(shù)據(jù)，,可以低延遲的快速的訪問到需要的元數(shù)據(jù)信,息。,Driver/QueryCompiler/ExecutionEngine:,客戶端提交的,HiveSQL,首先進(jìn)入,Driver,，然后,Driver,會為此次,HiveSQL,的執(zhí)行創(chuàng)建一個,Session,，,Driver,維護(hù)整個,session,的生命周期。,Driver,首先將,HiveSQL,傳送給,QueryCompiler,，然后由,QueryCompiler,來對用戶提交的,HiveSQL,進(jìn)行編譯,/,檢查,/,優(yōu)化并最終生成,MapReduce,任務(wù),。,ExecutionEngine會與Hadoop進(jìn)行交互，將 MapReduce任務(wù)交給Hadoop來執(zhí)行，并從Hadoop取得最終的執(zhí)行結(jié)果，并返回給用戶,。,解析,HiveSQL,之后生成,所,MapReduce,任務(wù),，在,運(yùn)行,中,訪問元數(shù)據(jù)信息時,，將,直接讀取,生成的物理計劃,時產(chǎn)生的,plan.xml,，,此,文件會被放入,Hadoop,的分布式緩存中,，,，,MapReduce,任務(wù)可以從分布式緩存中獲得,相應(yīng),的元數(shù)據(jù)。,Impala,相對于,Hive,的優(yōu)勢,Impala,不需要把中間結(jié)果寫入磁盤，省掉了大量的,I/O,開銷。,省掉了,MapReduce,作業(yè)啟動的開銷。,MapReduce,啟動,task,的速度很慢（默認(rèn)每個心跳間隔是,3,秒鐘），,Impala,直接通過相應(yīng)的服務(wù)進(jìn)程來進(jìn)行作業(yè)調(diào)度，速度快了很多。,Impala,借鑒,了,MPP,并行數(shù)據(jù)庫的,思想，,可以,做,更多的查詢優(yōu)化，從而省掉不必要的,shuffle,、,sort,等開銷。,使用了支持,Data locality,的,I/O,調(diào)度機(jī)制，盡可能地將數(shù)據(jù)和計算分配在同一臺機(jī)器上進(jìn)行，減少了網(wǎng)絡(luò)開銷。,用,C+,實(shí)現(xiàn)，做了很多有針對性的硬件優(yōu)化。,對外提供多語言,API,、多種訪問協(xié)議。,中間結(jié)果,作業(yè)調(diào)度,作業(yè)分發(fā),數(shù)據(jù)訪問,代碼實(shí)現(xiàn),概述,即席查詢,批量,處理,流式計算,MapReduce,v0.23.x,(YARN),Node,Manager,Container,App,Master,Node,Manager,Container,App,Master,Node,Manager,Container,Resource,Manager,Client,Client,Job,Submission,Container,MapReduce,Status,Resource,Request,Node,Status,從 0.23.0 版本開始，Hadoop 的 MapReduce 框架完全重,構(gòu)。,新的,Hadoop MapReduce 框架命名為,MapReduceV2,Y,ARN,概述,即席查詢,批量,處理,流式計算,Primeton,CEP,Storm,流數(shù)據(jù)處理技術(shù) 對比,傳統(tǒng),規(guī)則引擎,(,概念,),維度,流數(shù)據(jù)處理技術(shù),傳統(tǒng)規(guī)則引擎,處理方式,“窗口模式”多維關(guān)聯(lián)分析,基于對屬性的判斷,處理模型,富狀態(tài),無狀態(tài),異常處理,內(nèi)存狀態(tài)數(shù)據(jù)的自動化恢復(fù),服務(wù)無狀態(tài)，數(shù)據(jù)重跑,簡單舉例,每種硬幣各有多少個,對硬幣進(jìn)行分類,按時間區(qū)間、按長度區(qū)間、按時間與長度混合區(qū)間、按特有屬性值等規(guī)則所建立起的對象集合，存放在內(nèi)存中。,若動畫中，再對已分類的硬幣進(jìn)行自動打包，有兩種方式：,1.,判斷槽中的硬幣數(shù)量，觸發(fā)打包動作；,2.,判斷槽中的硬幣重量，觸發(fā)打包動作；,窗口模式,如動畫中對硬幣的分揀動作：可以根據(jù)硬幣的物理屬性設(shè)計不同的判斷規(guī)則（軌道寬度，轉(zhuǎn)角等），完成分類。,決策判斷,普元,CEP,平臺架構(gòu),事件采集層,Agent,Agent,Agent,Agent,外部系統(tǒng),系統(tǒng),A,系統(tǒng),B,系統(tǒng),C,系統(tǒng),D,接入層,Input,Cluster,1n,分析引擎,平臺,結(jié)果執(zhí)行層,規(guī)則庫,分析引擎,OSGi Based,分析引擎,OSGi Based,接入層,Output,Cluster,1n,分析規(guī)則開發(fā)(離線開發(fā),),規(guī)則開發(fā),IDE,(,Eclipse,Based),Action,Action,Action,Action,應(yīng)用門戶,(,功能松耦合,),管理門戶,(,規(guī)則模板生命周期管理,),運(yùn)維門戶,(,引擎,監(jiān)控、全局配置、自動化部署),業(yè)務(wù)門戶,(,規(guī)則實(shí)例業(yè)務(wù)參數(shù)配置,),分析集群運(yùn)行環(huán)境,管理控制環(huán)境,普元,CEP,平臺特色,基于云計算,PaaS,架構(gòu),分布式集群管控框架,系統(tǒng)級,物理主機(jī),/,虛擬機(jī),管理,進(jìn)程級,服務(wù)實(shí)例,管理,集群配置,分析規(guī)則,熱更新,/,熱部署,與虛擬機(jī)鏡像結(jié)合,分析服務(wù)快速部署,與規(guī)則庫結(jié)合,規(guī)則插件快速部署,集群通知渠道,規(guī)則實(shí)例快速應(yīng)用,自動化,、,圖形化運(yùn)維,事件分析平臺,面向數(shù)據(jù)流,基于內(nèi)存,內(nèi)存狀態(tài)數(shù)據(jù)遷移,冷熱數(shù)據(jù)分離與恢復(fù),集群規(guī)模水平伸縮,事件動態(tài)路由,分析規(guī)則,開發(fā)、管理與應(yīng)用,規(guī)則模板開發(fā),IDE,事件元,數(shù)據(jù),類,SQL,規(guī)則語言,Action,元數(shù)據(jù),Web,規(guī)則實(shí)例配置與熱部署,Web,規(guī)則模板管理,分布式集群管控框架,Any OS,持久化集群,AMQP,MQ,集群,ZooKeeper,集群,Web,控制臺,(,無狀態(tài),多實(shí)例,),負(fù)載均衡,(Session Sticky),物理,/,邏輯拓?fù)?規(guī)則模板模板,狀態(tài),規(guī)則實(shí)例,監(jiān)控業(yè)務(wù)進(jìn)程,(,過濾,/,聚合,),(Support ZKClient),ZK,Client,OS(Support NodeJS),監(jiān)控業(yè)務(wù)進(jìn)程,(,過濾,/,聚合,),(unSupport ZKClient),Process Daemon,(NodeJS+ZKClient),OS,(unSupport NodeJS),監(jiān)控業(yè)務(wù)進(jìn)程,(,過濾,/,聚合,),(unSupport ZKClient),Process Daemon,(Java+ZKClient),OS Agent,(NodeJS+ZKClient+MQClient),OS Agent,(NodeJS+ZKClient+MQClient),OS Agent,(,Java,+ZKClient+MQClient),管控服務(wù),ZK,客戶端,DB,客戶端,MQ,客戶端,規(guī)則部署,與配置,場景,運(yùn)維人員,Repository,業(yè)務(wù),Console,業(yè)務(wù)人員,DB,CEP,Engine1,CEP,Engine2,CEP,Engine3,ZooKeeper,3.,下載規(guī)則的表單頁面,2.,保存規(guī)則到倉庫,運(yùn)維,Console,4.,規(guī)則參數(shù)配置,5.,保存規(guī)則參數(shù)配置,6.,保存規(guī)則參數(shù)配置到,ZooKeeper,engine1,Rule1,Rule2,Rule3,engine2,Rule4,engines,7.,通知,Engine,1.,上傳規(guī)則部署包,8.,下載規(guī)則,2.,保存規(guī)則信息到,DB,接出層,分析,引擎,接入層,分析引擎,A,規(guī)則,實(shí)例,A,1,規(guī)則,實(shí)例,A2,規(guī)則,實(shí)例,An,規(guī)則,實(shí)例,A3,分析引擎,B,事件路由,1,事件路由,p,事件路由,事件去重,1,事件去重,q,事件去,重,NoSQL,負(fù)載均衡（可選）,事件輸入,事件輸出,集群管理,MQ,