數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市概念區(qū)別.doc

數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù) NCR公司可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)解決方案小組 王闖舟 編譯我們知道,決策支持系統(tǒng)(DSS)主要有兩種實(shí)現(xiàn)方式,即建立一個(gè)數(shù)據(jù)集市或者一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。到底哪一種更能滿(mǎn)足決策支持的要求并且適合企業(yè)今后的發(fā)展,是近兩年來(lái)學(xué)術(shù)界和有關(guān)供應(yīng)商激烈爭(zhēng)論的一個(gè)話(huà)題。在數(shù)據(jù)集市領(lǐng)域,主要的供應(yīng)商和擁護(hù)者以美國(guó)紅磚(Red Brick)公司為代表,其總裁Ralph Kimball在1997年12月的一篇論文中提出,"數(shù)據(jù)倉(cāng)庫(kù)只不過(guò)是一些數(shù)據(jù)集市的集合而已"。認(rèn)為企業(yè)多建立一些數(shù)據(jù)集市,將來(lái)自然就形成了數(shù)據(jù)倉(cāng)庫(kù)。而業(yè)界公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)之父 Bill Inmon在今年1月立即撰文反駁,旗幟鮮明地指出,"你可以在大海中捕到很多的小魚(yú)并堆積起來(lái),但它們?nèi)匀徊皇泅L"。在5月份的數(shù)據(jù)管理綜述(DataManagement Review)中,Bill Inmon又發(fā)表了"數(shù)據(jù)集市不等于數(shù)據(jù)倉(cāng)庫(kù)"的論文,進(jìn)一步闡述兩者在本質(zhì)上的區(qū)別以及各自的適用場(chǎng)合,本文就是根據(jù)這篇論文的主要內(nèi)容編譯而成的。問(wèn)題的提出現(xiàn)在,各企業(yè)IT部門(mén)的經(jīng)理所面臨的最主要問(wèn)題之一是先建立數(shù)據(jù)倉(cāng)庫(kù)還是先建立數(shù)據(jù)集市。長(zhǎng)期以來(lái),數(shù)據(jù)集市供應(yīng)商們不斷地給他們灌輸這樣的觀(guān)念,即建立數(shù)據(jù)倉(cāng)庫(kù)比較復(fù)雜,投資過(guò)大,設(shè)計(jì)與開(kāi)發(fā)周期太長(zhǎng),難以集成和管理企業(yè)范圍內(nèi)的各種源數(shù)據(jù);并認(rèn)為,基于數(shù)據(jù)倉(cāng)庫(kù)的DSS投資方案難以得到企業(yè)管理層的批準(zhǔn)。數(shù)據(jù)集市供應(yīng)商們給業(yè)界描繪了一幅數(shù)據(jù)倉(cāng)庫(kù)前景暗淡的圖畫(huà),這完全是出于自身的目的,是不正確的。數(shù)據(jù)集市供應(yīng)商們把數(shù)據(jù)倉(cāng)庫(kù)當(dāng)成其增加營(yíng)業(yè)收入的絆腳石,自然要避開(kāi)和攻擊數(shù)據(jù)倉(cāng)庫(kù)。事實(shí)上,他們?cè)阡N(xiāo)售時(shí)強(qiáng)調(diào)數(shù)據(jù)集市的建設(shè)周期短,是以企業(yè)信息系統(tǒng)結(jié)構(gòu)的長(zhǎng)期規(guī)劃為代價(jià)的。持?jǐn)?shù)據(jù)集市主張的人認(rèn)為,決策支持系統(tǒng)的成功實(shí)現(xiàn),除了數(shù)據(jù)倉(cāng)庫(kù)以外,還有更簡(jiǎn)便、更有效的其它途徑。方法之一就是建立多個(gè)數(shù)據(jù)集市,當(dāng)它們?cè)黾拥米銐虼髸r(shí),那就是所謂的數(shù)據(jù)倉(cāng)庫(kù)了。這些人聲稱(chēng),建立數(shù)據(jù)集市要快得多也便宜得多,因?yàn)楫?dāng)考慮建立一個(gè)數(shù)據(jù)集市時(shí),不必考慮各部門(mén)之間的區(qū)別,也不必設(shè)立部門(mén)之間協(xié)調(diào)的規(guī)則,更不存在結(jié)構(gòu)設(shè)計(jì)上的長(zhǎng)期規(guī)劃問(wèn)題。不幸的是,這種方法雖然避免了建立數(shù)據(jù)倉(cāng)庫(kù)存在的部門(mén)協(xié)調(diào)與規(guī)劃上的問(wèn)題,卻完全偏離了數(shù)據(jù)倉(cāng)庫(kù)的要點(diǎn)。當(dāng)企業(yè)的信息結(jié)構(gòu)完全由數(shù)據(jù)集市構(gòu)成時(shí),其整個(gè)組織將變得更加混亂。因?yàn)樵诮Q策支持系統(tǒng)以前,我們可能只是原來(lái)的生產(chǎn)系統(tǒng)有些凌亂,現(xiàn)在的狀況則可能是凌亂的生產(chǎn)系統(tǒng)再加上雜亂的數(shù)據(jù)集市。由于企業(yè)內(nèi)所有的決策支持系統(tǒng)均是數(shù)據(jù)集市,相互之間沒(méi)有集成,其結(jié)果可想而知沒(méi)有集成的決策支持系統(tǒng)就像沒(méi)有骨骼的人體一樣,是沒(méi)有實(shí)用價(jià)值的。方式的改變?cè)缙?數(shù)據(jù)集市供應(yīng)商們宣稱(chēng)數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)是相同的系統(tǒng),試圖通過(guò)這種偷梁換柱的方式來(lái)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)。在各種展示會(huì)期間,他們不遺余力地進(jìn)行著各種宣傳,從而混淆了數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)的概念。由于這種錯(cuò)誤概念的傳播,使一些客戶(hù)建立了數(shù)據(jù)集市而非真正的數(shù)據(jù)倉(cāng)庫(kù)。但隨著時(shí)間的推移,數(shù)據(jù)集市結(jié)構(gòu)上的缺陷開(kāi)始暴露出來(lái),主要體現(xiàn)在以下幾點(diǎn):1) 各數(shù)據(jù)集市之間對(duì)詳細(xì)數(shù)據(jù)和歷史數(shù)據(jù)的存儲(chǔ)存在大量冗余;2) 同一個(gè)問(wèn)題在不同數(shù)據(jù)集市的查詢(xún)結(jié)果可能不一致甚至相互矛盾;3) 各數(shù)據(jù)集市之間以及與源生產(chǎn)系統(tǒng)之間難以管理?？傊?業(yè)界已經(jīng)普遍認(rèn)同,一個(gè)沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)而建立的決策支持系統(tǒng)是很難達(dá)到預(yù)期效果的。大量事實(shí)表明,為了處理決策支持方面的需求,建立數(shù)據(jù)集市不是正確的途徑。在這種情況下,數(shù)據(jù)集市供應(yīng)商們及其代言人稍微改變了一些原來(lái)的說(shuō)法,向客戶(hù)承諾成功實(shí)施決策支持系統(tǒng)的新方式。和原來(lái)不同的是,他們現(xiàn)在宣稱(chēng),數(shù)據(jù)倉(cāng)庫(kù)只不過(guò)是多個(gè)數(shù)據(jù)集市的集成而已。這從另外一方面混淆了數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市的概念。事實(shí)上,這樣的論斷是矛盾的。因?yàn)閿?shù)據(jù)集市的實(shí)質(zhì)就是每個(gè)部門(mén)擁有自己的數(shù)據(jù),最終用戶(hù)各自負(fù)責(zé)自己的業(yè)務(wù),相互之間沒(méi)有關(guān)系,各集市之間沒(méi)必要也沒(méi)辦法相互集成。為了理解為什么數(shù)據(jù)集市不能轉(zhuǎn)變?yōu)閿?shù)據(jù)倉(cāng)庫(kù),我們首先必須搞清楚兩者的定義。框架的不同1. 什么是數(shù)據(jù)集市一般說(shuō)來(lái),一個(gè)數(shù)據(jù)集市是按照某一特定部門(mén)的決策支持需求而組織起來(lái)的、針對(duì)一組主題的應(yīng)用系統(tǒng)。例如,財(cái)務(wù)部擁有自己的數(shù)據(jù)集市,用來(lái)進(jìn)行財(cái)務(wù)方面的報(bào)表和分析,市場(chǎng)推廣部、銷(xiāo)售部等也擁有各自專(zhuān)用的數(shù)據(jù)集市,用來(lái)為本部門(mén)的決策支持提供輔助手段。這些部門(mén)數(shù)據(jù)集市之間相似之處很少,但最嚴(yán)重的缺點(diǎn)是,每個(gè)部門(mén)獨(dú)立擁有自己的硬件平臺(tái)、軟件平臺(tái)、數(shù)據(jù)和應(yīng)用程序。這種關(guān)系使得部門(mén)之間沒(méi)有任何約束,而許多數(shù)據(jù)在整個(gè)企業(yè)內(nèi)原本應(yīng)該是相互制約、相互協(xié)調(diào)的。這種獨(dú)立最終導(dǎo)致了不一致性。由于每個(gè)部門(mén)有自己特定的需求,因此他們對(duì)數(shù)據(jù)集市的期望也不一樣。一般說(shuō)來(lái),數(shù)據(jù)集市中數(shù)據(jù)庫(kù)的設(shè)計(jì)采用星形連接 (Star-Join)的結(jié)構(gòu),這種結(jié)構(gòu)對(duì)部門(mén)用戶(hù)而言是最優(yōu)的,但對(duì)企業(yè)范圍而言則不然。為了提高星形連接的性能,必須事先收集齊該部門(mén)業(yè)務(wù)用戶(hù)的需求。數(shù)據(jù)集市中包含的歷史數(shù)據(jù)不很全,其詳細(xì)程度也不夠,數(shù)據(jù)選取的基本原則是能滿(mǎn)足本部門(mén)的需求。數(shù)據(jù)集市大都采用多維數(shù)據(jù)庫(kù)技術(shù),這種技術(shù)對(duì)數(shù)據(jù)的分析而言也許是最優(yōu)的,但肯定不適合于大量數(shù)據(jù)的存儲(chǔ),因?yàn)槎嗑S數(shù)據(jù)庫(kù)的數(shù)據(jù)冗余度很高。為了提高速度,對(duì)數(shù)據(jù)集市中的數(shù)據(jù)一般都建立大量的索引。換言之,數(shù)據(jù)集市中往往靠對(duì)數(shù)據(jù)的預(yù)處理來(lái)?yè)Q取運(yùn)行時(shí)的高速度,當(dāng)業(yè)務(wù)部門(mén)提出新的問(wèn)題時(shí),如果不在原來(lái)設(shè)計(jì)的范圍內(nèi),則需要數(shù)據(jù)庫(kù)管理員對(duì)數(shù)據(jù)庫(kù)作許多調(diào)整和優(yōu)化處理。業(yè)界有兩種數(shù)據(jù)集市,即從屬數(shù)據(jù)集市和獨(dú)立數(shù)據(jù)集市。前者的數(shù)據(jù)來(lái)源于中央的數(shù)據(jù)倉(cāng)庫(kù),后者的數(shù)據(jù)則直接來(lái)源于源應(yīng)用環(huán)境。所有的從屬數(shù)據(jù)集市都從屬于同一個(gè)數(shù)據(jù)倉(cāng)庫(kù),各子系統(tǒng)的數(shù)據(jù)均能保持一致,因此這種數(shù)據(jù)集市的結(jié)構(gòu)是可行的。而每個(gè)獨(dú)立數(shù)據(jù)集市都從各源生產(chǎn)系統(tǒng)中單獨(dú)提取數(shù)據(jù),無(wú)法保證數(shù)據(jù)的一致性;從長(zhǎng)遠(yuǎn)來(lái)看,這種結(jié)構(gòu)是不穩(wěn)定也是不可行的。圖1清楚地說(shuō)明了兩者在結(jié)構(gòu)上的區(qū)別。遺憾的是,獨(dú)立數(shù)據(jù)集市的這些問(wèn)題在開(kāi)始往往反映不出來(lái),企業(yè)只有在建立了多個(gè)獨(dú)立數(shù)據(jù)集市之后才能認(rèn)識(shí)到其缺點(diǎn)。數(shù)據(jù)集市供應(yīng)商們所大力宣傳的其實(shí)正是這種獨(dú)立數(shù)據(jù)集市,因此在本文的討論中,我們所指的數(shù)據(jù)集市也是獨(dú)立數(shù)據(jù)集市。0489400.JPG;圖12. 什么是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市之間具有很大的差異。數(shù)據(jù)倉(cāng)庫(kù)是基于整個(gè)企業(yè)的數(shù)據(jù)模型建立的,它面向企業(yè)范圍內(nèi)的主題。一般來(lái)講,數(shù)據(jù)倉(cāng)庫(kù)是由一個(gè)中央的協(xié)調(diào)組織 (例如傳統(tǒng)的IT部門(mén))來(lái)建立和管理。數(shù)據(jù)倉(cāng)庫(kù)完全是整個(gè)企業(yè)共同努力的結(jié)果。某個(gè)部門(mén)的主題與企業(yè)的主題之間可能存在也可能不存在關(guān)聯(lián)。數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)整個(gè)企業(yè)內(nèi)非常詳細(xì)的數(shù)據(jù),相對(duì)而言,數(shù)據(jù)集市中數(shù)據(jù)的詳細(xì)程度要低一些,相反,它包含了許多概要和累加數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型一般是規(guī)范的,比較多的是符合第三范式。其數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容反映的不是某個(gè)特定部門(mén)的特殊要求,它代表的是整個(gè)企業(yè)對(duì)于數(shù)據(jù)的需求。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量與數(shù)據(jù)集市差別很大,因此,數(shù)據(jù)倉(cāng)庫(kù)中的索引很少。這和傳統(tǒng)的OLTP數(shù)據(jù)庫(kù)有很大的區(qū)別。數(shù)據(jù)倉(cāng)庫(kù)中包含有相對(duì)穩(wěn)定的歷史數(shù)據(jù),所有數(shù)據(jù)都是從許多操作數(shù)據(jù)源中經(jīng)一定的業(yè)務(wù)規(guī)則轉(zhuǎn)換并集中進(jìn)來(lái)的。簡(jiǎn)而言之,在數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市中,無(wú)論是數(shù)據(jù)的結(jié)構(gòu)還是其內(nèi)容都存在著顯著的差別。圖2形象地說(shuō)明了這種區(qū)別。左邊的數(shù)據(jù)集市是星形連接結(jié)構(gòu),而右邊的數(shù)據(jù)倉(cāng)庫(kù)是正則結(jié)構(gòu),各實(shí)體之間通過(guò)外鍵(Foreign Key)連接。0489401.JPG;圖2由于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是詳細(xì)的、集成的和歷史的,其中的數(shù)據(jù)量一般都很大,而且隨著時(shí)間的推移,增長(zhǎng)速度也非?？臁Ｒ虼?建立數(shù)據(jù)倉(cāng)庫(kù)最好是分步進(jìn)行,否則建設(shè)周期將非常長(zhǎng)。即使從最早的文獻(xiàn)來(lái)看,學(xué)術(shù)界就幾乎公認(rèn)建立數(shù)據(jù)倉(cāng)庫(kù)必須使最終用戶(hù)能盡快看到具體、明確的結(jié)果。直到現(xiàn)在,有關(guān)的專(zhuān)欄作者和咨詢(xún)顧問(wèn)們還是一致認(rèn)為數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)速度必須很快,盡量避免冗長(zhǎng)、龐大的投資行為。當(dāng)然,這并不意味著數(shù)據(jù)倉(cāng)庫(kù)的投資小,正確的理解是,數(shù)據(jù)倉(cāng)庫(kù)一般是從小處著手, 取得一定成效后再逐步完善。世界上許多成功的1000GB (指用戶(hù)數(shù)據(jù)量而非數(shù)據(jù)庫(kù)大小)級(jí)以上的數(shù)據(jù)倉(cāng)庫(kù)在開(kāi)始時(shí)的規(guī)模都不大,這就是所謂的"全盤(pán)考慮,逐步完善"的思想。圖3給出了建立數(shù)據(jù)倉(cāng)庫(kù)的正確途徑。從圖中可以看出,數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是分步進(jìn)行的,每步都能取得階段性的成果,不需要等到二、三年后才能訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)中的信息。0489402.JPG;圖3目前,數(shù)據(jù)集市的理論是,先建立一個(gè)或多個(gè)數(shù)據(jù)集市,然后把它們集成起來(lái),當(dāng)它們?cè)鲩L(zhǎng)到一定規(guī)模時(shí)就變成了數(shù)據(jù)倉(cāng)庫(kù)。遺憾的是,這種理論在很多方面都站不住腳:1) 數(shù)據(jù)集市是設(shè)計(jì)用來(lái)滿(mǎn)足部門(mén)需求的,各部門(mén)的目標(biāo)可能差別很大,這也是為什么企業(yè)內(nèi)各部門(mén)擁有結(jié)構(gòu)和特征都不同的數(shù)據(jù)集市的原因。數(shù)據(jù)倉(cāng)庫(kù)則是設(shè)計(jì)用來(lái)滿(mǎn)足企業(yè)綜合需求的。一個(gè)設(shè)計(jì)方案可以是對(duì)一個(gè)特定部門(mén)最優(yōu)的,也可以是對(duì)一個(gè)企業(yè)最優(yōu)的,但不可能對(duì)兩者均是最優(yōu)方案。針對(duì)企業(yè)的設(shè)計(jì)目標(biāo)和針對(duì)部門(mén)的差別很大。2) 數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的詳細(xì)程度也完全不同。數(shù)據(jù)集市中包含有許多概要和累計(jì)數(shù)據(jù),而數(shù)據(jù)倉(cāng)庫(kù)中則包含有大量的詳細(xì)數(shù)據(jù)。顯然,你可以從詳細(xì)數(shù)據(jù)中計(jì)算出概要和累加數(shù)據(jù),但反之則不行。對(duì)業(yè)務(wù)分析而言,詳細(xì)數(shù)據(jù)在很多場(chǎng)合都非常重要。綜上所述,我們可以歸納出以下要點(diǎn):數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)模型不同,前者一般采用星形連接結(jié)構(gòu),后者則用第三范式為主;數(shù)據(jù)集市中的歷史數(shù)據(jù)信息量比數(shù)據(jù)倉(cāng)庫(kù)少很多;數(shù)據(jù)集市中的主題和數(shù)據(jù)倉(cāng)庫(kù)中的主題關(guān)聯(lián)并不很多;數(shù)據(jù)集市中的關(guān)系與數(shù)據(jù)倉(cāng)庫(kù)中的關(guān)系不同;數(shù)據(jù)集市中的查詢(xún)類(lèi)型與數(shù)據(jù)倉(cāng)庫(kù)中的查詢(xún)類(lèi)型差別很大;數(shù)據(jù)集市中的用戶(hù)類(lèi)型 (較低層次)和數(shù)據(jù)倉(cāng)庫(kù)中的用戶(hù)類(lèi)型 (較高層次)差別很大;數(shù)據(jù)集市的主要結(jié)構(gòu)與數(shù)據(jù)倉(cāng)庫(kù)的主要結(jié)構(gòu)具有顯著的區(qū)別。小結(jié)數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用環(huán)境的差別很大,如果認(rèn)為一個(gè)數(shù)據(jù)集市在增長(zhǎng)到一定程度時(shí)能轉(zhuǎn)換成數(shù)據(jù)倉(cāng)庫(kù),那無(wú)異于說(shuō)小草可以長(zhǎng)成橡樹(shù)。雖然這兩種綠色植物在生長(zhǎng)的某個(gè)階段具有一些相同的特征,但這并不能遮蓋兩者的區(qū)別。這畢竟是現(xiàn)實(shí)世界,數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)的道理是一樣的。