數(shù)據(jù)倉庫基礎(chǔ)知識培訓(xùn).ppt

數(shù)據(jù)倉庫 我們公司數(shù)據(jù)中心架構(gòu) 指標(biāo)、維度與報表和OLAP分析主題關(guān)系 名詞解釋及縮略語,內(nèi)部交流,隨著信息技術(shù)的不斷推廣和應(yīng)用，許多企業(yè)都已經(jīng)在使用管理信息系統(tǒng)處理管理事務(wù)和日常業(yè)務(wù)。這些管理信息系統(tǒng)為企業(yè)積累了大量的信息。企業(yè)管理者開始考慮如何利用這些信息海洋對企業(yè)的管理決策提供支持。因此，產(chǎn)生了與傳統(tǒng)數(shù)據(jù)庫有很大差異的數(shù)據(jù)環(huán)境要求和從這些海洋數(shù)據(jù)中獲取特殊知識的工具需要。 本章目標(biāo)： (1)了解數(shù)據(jù)倉庫的發(fā)展與展望 。 (2) 理解數(shù)據(jù)倉庫的體系結(jié)構(gòu)和參照結(jié)構(gòu)。,數(shù)據(jù)倉庫概述,數(shù)據(jù)倉庫概述,1.1數(shù)據(jù)倉庫的發(fā)展與展望 1.2數(shù)據(jù)倉庫的體系結(jié)構(gòu) 1.3數(shù)據(jù)倉庫的參照結(jié)構(gòu),1.1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫 隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因為傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。,1.1數(shù)據(jù)倉庫的發(fā)展與展望,1.決策處理的系統(tǒng)響應(yīng)問題 2.決策數(shù)據(jù)需求的問題 3.決策數(shù)據(jù)操作的問題 4.數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的對比,1.1數(shù)據(jù)倉庫的發(fā)展與展望,1.1數(shù)據(jù)倉庫的發(fā)展與展望,定義： “一個面向主題的、集成的、隨時間變化的、非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程”。 特性： 面向主題性 數(shù)據(jù)集成性 數(shù)據(jù)的時變性 數(shù)據(jù)的非易失性 數(shù)據(jù)的集合性 支持決策作用。,1.1.2 數(shù)據(jù)倉庫的定義與基本特性,1.2.1 數(shù)據(jù)倉庫的概念結(jié)構(gòu) 從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。,1.2 數(shù)據(jù)倉庫的體系結(jié)構(gòu),1.2.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu) 虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進(jìn)行概括、聚合操作后，將最終結(jié)果提供給用戶,1.2.3 數(shù)據(jù)集市結(jié)構(gòu) 數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲在同一數(shù)據(jù)倉庫中，每個主題有自己的物理存儲區(qū)。,1.2.4 單一數(shù)據(jù)倉庫結(jié)構(gòu) 將所有的主題都集中到一個大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。,1.2.5 分布式數(shù)據(jù)倉庫結(jié)構(gòu) 在企業(yè)各個分公司具有相當(dāng)大的獨(dú)立性時，企業(yè)總部設(shè)置一個全局?jǐn)?shù)據(jù)倉庫，各個分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫中主要存儲經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù),站點(diǎn)A 站點(diǎn)B 站點(diǎn)C 站點(diǎn)D,全局?jǐn)?shù)據(jù)倉庫,總部,1.3數(shù)據(jù)倉庫的參照結(jié)構(gòu),數(shù)據(jù)倉庫的基本功能包含：數(shù)據(jù)抽取，數(shù)據(jù)篩選、清理，清理后的數(shù)據(jù)加載，設(shè)立數(shù)據(jù)集市，完成數(shù)據(jù)倉庫的查詢、決策分析和知識的挖掘等操作。 數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分，主要負(fù)責(zé)對數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新與刷新等操作進(jìn)行管理。 數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。,1.3.1 數(shù)據(jù)倉庫基本功能層,數(shù)據(jù)來源主要包含：業(yè)務(wù)數(shù)據(jù)、歷史數(shù)據(jù)、辦公數(shù)據(jù)、Web數(shù)據(jù)、外部數(shù)據(jù)以及數(shù)據(jù)源元數(shù)據(jù) 數(shù)據(jù)準(zhǔn)備區(qū)的功能結(jié)構(gòu)部分由數(shù)據(jù)標(biāo)準(zhǔn)化處理、數(shù)據(jù)的過濾與匹配、數(shù)據(jù)的凈化處理、標(biāo)明數(shù)據(jù)的時間戳、確認(rèn)數(shù)據(jù)質(zhì)量與元數(shù)據(jù)抽取和創(chuàng)建等操作組成 數(shù)據(jù)倉庫的功能結(jié)構(gòu)部分由數(shù)據(jù)重整和數(shù)據(jù)倉庫創(chuàng)建以及元數(shù)據(jù)管理組成 數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的功能結(jié)構(gòu)極為相似 數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)主要為數(shù)據(jù)倉庫的最終用戶提供進(jìn)行決策分析和挖掘知識的功能。數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)應(yīng)該包含數(shù)據(jù)倉庫存取與檢索、元數(shù)據(jù)管理以及數(shù)據(jù)倉庫分析與報告,1.3.2 數(shù)據(jù)倉庫的管理層,數(shù)據(jù)管理層中的數(shù)據(jù)抽取、新數(shù)據(jù)需求與查詢管理主要負(fù)責(zé)完成從數(shù)據(jù)源中抽取數(shù)據(jù)的管理。 數(shù)據(jù)倉庫中的數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng)則負(fù)責(zé)對從數(shù)據(jù)源中所抽取的數(shù)據(jù)在完成篩選、凈化處理以后，將這些數(shù)據(jù)加載、存儲到數(shù)據(jù)倉庫中；捕獲數(shù)據(jù)源中的數(shù)據(jù)變化，用最新數(shù)據(jù)充實數(shù)據(jù)倉庫；根據(jù)用戶的需求和數(shù)據(jù)倉庫管理的要求對數(shù)據(jù)倉庫進(jìn)行更新等工作。 安全性與用戶授權(quán)管理系統(tǒng)主要負(fù)責(zé)數(shù)據(jù)倉庫的安全管理工作。 數(shù)據(jù)倉庫的數(shù)據(jù)歸檔、恢復(fù)及凈化系統(tǒng)主要負(fù)責(zé)定期對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行歸檔、備份。凈化系統(tǒng)則負(fù)責(zé)對從數(shù)據(jù)源所抽取的數(shù)據(jù)進(jìn)行數(shù)據(jù)的篩選、數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一、數(shù)據(jù)內(nèi)容的統(tǒng)一等各種求精、重整凈化工作的管理。,1.3.3 數(shù)據(jù)倉庫的元數(shù)據(jù)管理層,負(fù)責(zé)管理數(shù)據(jù)倉庫所使用的元數(shù)據(jù)，其中包括： 數(shù)據(jù)倉庫、數(shù)據(jù)集市/知識挖掘庫和詞匯表管理 元數(shù)據(jù)抽取、創(chuàng)建、存儲和更新管理 預(yù)定義的查詢和報表以及索引管理 刷新與復(fù)制管理，登錄、歸檔、恢復(fù)與凈化管理,1.3.4 數(shù)據(jù)倉庫的環(huán)境支持層,數(shù)據(jù)傳輸層包含了： 數(shù)據(jù)傳輸和傳送網(wǎng)絡(luò) 客戶/服務(wù)器代理和中間件 復(fù)制系統(tǒng) 數(shù)據(jù)傳輸?shù)陌踩Ｕ舷到y(tǒng),我們公司數(shù)據(jù)中心架構(gòu),分析型系統(tǒng)架構(gòu) 目標(biāo)系統(tǒng)架構(gòu)說明 存儲區(qū)域比較分析 ETL過程分析,分析型系統(tǒng)架構(gòu),我們公司數(shù)據(jù)中心架構(gòu),目標(biāo)系統(tǒng)架構(gòu)說明,我們公司數(shù)據(jù)中心架構(gòu),存儲區(qū)域比較分析,我們公司數(shù)據(jù)中心架構(gòu),ETL過程分析,指標(biāo)、維度與報表OLAP分析主題關(guān)系,名詞解釋及縮略語,名詞解釋,名詞解釋及縮略語,縮略語,名詞解釋及縮略語,縮略語,內(nèi)部交流,謝謝！,