數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程.ppt

數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)與開(kāi)發(fā),數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)開(kāi)發(fā)流程,數(shù)據(jù)庫(kù)系統(tǒng)的開(kāi)發(fā)流程,數(shù)據(jù)庫(kù)設(shè)計(jì)流程的特點(diǎn),有明確的應(yīng)用需求；嚴(yán)格遵循系統(tǒng)生命同期的階段劃分，較清楚的設(shè)計(jì)開(kāi)發(fā)步驟；良好的可操作性，每一步驟的任務(wù)、文檔內(nèi)容與格式有細(xì)致的規(guī)定。舉例：項(xiàng)目文檔,數(shù)據(jù)庫(kù)設(shè)計(jì)舉例,1.需求分析（溝通、會(huì)議演示、軟件需求說(shuō)明書(shū)）2.系統(tǒng)概念設(shè)計(jì)（系統(tǒng)功能結(jié)構(gòu)、流程、數(shù)據(jù)結(jié)構(gòu)等）3.系統(tǒng)詳細(xì)設(shè)計(jì)（E-R、功能模塊、界面、業(yè)務(wù)過(guò)程、接口）5.系統(tǒng)實(shí)現(xiàn)（數(shù)據(jù)庫(kù)實(shí)現(xiàn)、程序?qū)崿F(xiàn)）4.系統(tǒng)測(cè)試與實(shí)施,數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的區(qū)別,數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)流程的特點(diǎn),原始需求不明確，且不斷變化與增加，不能較準(zhǔn)確地預(yù)見(jiàn)到以后的需求；采用原型法開(kāi)發(fā)，從構(gòu)建系統(tǒng)的簡(jiǎn)單的基本框架著手；數(shù)據(jù)驅(qū)動(dòng)，著眼于有效地抽取、綜合、集成和挖掘已有數(shù)據(jù)庫(kù)的數(shù)據(jù)資源。,原型法,原型（Prototype）是開(kāi)發(fā)信息系統(tǒng)的一個(gè)可執(zhí)行模型或引導(dǎo)性版本；幫助得到目標(biāo)系統(tǒng)明確而嚴(yán)格的需求，促進(jìn)客戶(hù)和各階段系統(tǒng)人員之間的相互有效的信息交流，并以此為基礎(chǔ)進(jìn)行需求分析和系統(tǒng)設(shè)計(jì)。從本質(zhì)上看，原型是未來(lái)目標(biāo)系統(tǒng)的一個(gè)模型。,原型法,原型不是系統(tǒng)開(kāi)發(fā)的最終產(chǎn)品，而是在某個(gè)開(kāi)發(fā)階段中為達(dá)到一定的目的所生成的系統(tǒng)簡(jiǎn)化模擬版本；可能只是目標(biāo)系統(tǒng)的一個(gè)式樣，或只包含目標(biāo)系統(tǒng)的某些功能，或僅僅是具有目標(biāo)系統(tǒng)的一個(gè)結(jié)構(gòu)。,原型法,數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程,數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的開(kāi)發(fā)是一個(gè)經(jīng)過(guò)不斷循環(huán)、反饋而使系統(tǒng)不斷增長(zhǎng)與完善的過(guò)程，這也是原型法區(qū)別于系統(tǒng)生命周期法的主要特點(diǎn)。,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行與維護(hù),概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫(kù)的基礎(chǔ)上建立一個(gè)較為穩(wěn)固的概念模型。,概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫(kù)的基礎(chǔ)上建立一個(gè)較為穩(wěn)固的概念模型。,界定系統(tǒng)邊界（初步需求分析）,基本的方向性需求：要做的決策類(lèi)型有哪些？決策者感興趣的是什么問(wèn)題？這些問(wèn)題需要什么樣的信息？要得到這些信息需要包含原有數(shù)據(jù)庫(kù)系統(tǒng)的哪些部分的數(shù)據(jù)？可以劃定一個(gè)當(dāng)前的大致的系統(tǒng)邊界，集中精力進(jìn)行最需要的部分的開(kāi)發(fā)。,概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫(kù)的基礎(chǔ)上建立一個(gè)較為穩(wěn)固的概念模型。,確定主題域及其內(nèi)容,確定主要的主題域?qū)γ總€(gè)主題域的內(nèi)容進(jìn)行較明確的描述：主題域的公共碼鍵；主題域之間的聯(lián)系；充分代表主題的屬性組。舉例以商場(chǎng)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)為例,商場(chǎng)數(shù)據(jù)倉(cāng)庫(kù)概念模型設(shè)計(jì),日趨激烈的市場(chǎng)競(jìng)爭(zhēng)要求商場(chǎng)經(jīng)營(yíng)者更加準(zhǔn)確地了解商場(chǎng)經(jīng)營(yíng)狀況，跟蹤市場(chǎng)趨勢(shì)，更加合理地制定商品采購(gòu)與銷(xiāo)售策略。由于商場(chǎng)以前的一些OLTP的需要，在各個(gè)部門(mén)建立了許多分散的數(shù)據(jù)庫(kù)，分別處理各自的業(yè)務(wù)。如在人事、采購(gòu)、庫(kù)存、銷(xiāo)售等部門(mén)分別存儲(chǔ)著各自的數(shù)據(jù)庫(kù)，各個(gè)部門(mén)的數(shù)據(jù)按自己業(yè)務(wù)需要加以組織。這樣的組織使得數(shù)據(jù)各自為政，缺乏全局性，管理層想要在這些數(shù)據(jù)的基礎(chǔ)上得到一些全局報(bào)表、進(jìn)行一些分析工作是比較困難的。因此商場(chǎng)的領(lǐng)導(dǎo)決定要在原有的數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)上建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。,界定系統(tǒng)的邊界,需求：主要是商品采購(gòu)和銷(xiāo)售情況商場(chǎng)經(jīng)營(yíng)者目前所要進(jìn)行的分析主要有：分析顧客的購(gòu)買(mǎi)趨勢(shì)；分析商品供應(yīng)市場(chǎng)的變化趨勢(shì)；分析供應(yīng)商信用等級(jí)。,界定系統(tǒng)的邊界,所需要的數(shù)據(jù)應(yīng)包括：商品銷(xiāo)售數(shù)據(jù)；商品采購(gòu)數(shù)據(jù)；商品庫(kù)存數(shù)據(jù)；顧客信息；供應(yīng)商信息。所以，我們可以將系統(tǒng)的邊界定為包含原有的銷(xiāo)售子系統(tǒng)、采購(gòu)子系統(tǒng)以及庫(kù)存子系統(tǒng)在內(nèi)的集合。,確定主要的主題域,三個(gè)基本主題：商品、供應(yīng)商和顧客。主題之間的聯(lián)系是：供應(yīng)商供應(yīng)多種商品，一種商品可由多個(gè)供應(yīng)商提供，即“商品”主題與“供應(yīng)商”供應(yīng)的商品直接聯(lián)系；供應(yīng)商供應(yīng)的商品同樣也可以被不同的顧客購(gòu)買(mǎi)，但“顧客”主題與“供應(yīng)商”主題間并不是直接發(fā)生關(guān)系的，它們之間的聯(lián)系是經(jīng)過(guò)“商品”主題的間接聯(lián)系。,E-R模型,各主題的屬性信息,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),技術(shù)準(zhǔn)備工作,工作包括：技術(shù)評(píng)估，技術(shù)環(huán)境準(zhǔn)備。成果是：技術(shù)評(píng)估報(bào)告，軟硬件配置方案，系統(tǒng)（軟、硬件）總體設(shè)計(jì)方案。,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),邏輯模型設(shè)計(jì),分析主題域確定粒度層次劃分確定數(shù)據(jù)分割策略關(guān)系模式定義數(shù)據(jù)源及抽取模型的定義,分析主題域,對(duì)概念模型設(shè)計(jì)步驟中確定的幾個(gè)基本主題域進(jìn)行分析，選擇首先要實(shí)施的主題域；如果所選擇的主題域很大并且很復(fù)雜，我們甚至可以針對(duì)它的一個(gè)有意義的子集來(lái)進(jìn)行開(kāi)發(fā)；商場(chǎng)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的例子：“商品”主題既是一個(gè)商場(chǎng)的最基本的業(yè)務(wù)對(duì)象，又是進(jìn)行決策分析的最主要的領(lǐng)域，因而較之另兩個(gè)主題來(lái)說(shuō)，“商品”主題具有更重要的意義與作用。所以，我們可以先選定“商品”主題來(lái)實(shí)施。,粒度層次劃分,粒度層次劃分適當(dāng)與否直接影響到數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和所適合的查詢(xún)類(lèi)型；通過(guò)估算數(shù)據(jù)行數(shù)和所需的DASD數(shù)，確定采用單一粒度或多重粒度，以及粒度劃分的層次。DASD（DirectAccessStorageDevice）例子：商品主題多重粒度,數(shù)據(jù)分割策略,數(shù)據(jù)量的大小是決定是否進(jìn)行數(shù)據(jù)分割和如何分割的主要因素；數(shù)據(jù)分析處理的要求是選擇數(shù)據(jù)分割標(biāo)準(zhǔn)的一個(gè)主要依據(jù)；還要考慮到所選擇的數(shù)據(jù)分割標(biāo)準(zhǔn)應(yīng)是自然的、易于實(shí)施的；同時(shí)也要考慮數(shù)據(jù)分割的標(biāo)準(zhǔn)與粒度劃分層次是適應(yīng)的。,關(guān)系模式定義,由多個(gè)表實(shí)現(xiàn)；對(duì)于多維數(shù)據(jù)模型：事實(shí)表和維度表；對(duì)于E-R模型：主題的相關(guān)信息的內(nèi)容表如，商品主題的關(guān)系模式定義包括：商品固有信息、商品采購(gòu)信息、商品銷(xiāo)售信息、商品庫(kù)存信息、其它數(shù)據(jù)等。,數(shù)據(jù)源及抽取模型的定義,由三種表實(shí)現(xiàn)；數(shù)據(jù)源抽取對(duì)象表；數(shù)據(jù)源抽取規(guī)則表；數(shù)據(jù)目標(biāo)列與源列對(duì)應(yīng)關(guān)系表。,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),物理模型設(shè)計(jì),工作：確定數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，確定存儲(chǔ)分配。前提要求：1.全面了解所選用的數(shù)據(jù)庫(kù)管理系統(tǒng)，特別是存儲(chǔ)結(jié)構(gòu)和存取方法。2.了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻度、使用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時(shí)間要求等，這些是對(duì)時(shí)間和空間效率進(jìn)行平衡和優(yōu)化的重要依據(jù)。3.了解外部存儲(chǔ)設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的IO特性等。,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),數(shù)據(jù)倉(cāng)庫(kù)的生成,工作：接口編程，數(shù)據(jù)裝入；成果：數(shù)據(jù)已經(jīng)裝入到數(shù)據(jù)倉(cāng)庫(kù)中，可以在其上建立數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用，即DSS應(yīng)用。,數(shù)據(jù)倉(cāng)庫(kù)的生成,接口編程：在兩個(gè)不同環(huán)境的記錄系統(tǒng)之間建立一個(gè)接口，能完整、準(zhǔn)確地完成從操作型環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的數(shù)據(jù)抽取、轉(zhuǎn)換與集成。數(shù)據(jù)裝入：運(yùn)行接口程序，將數(shù)據(jù)裝入到數(shù)據(jù)倉(cāng)庫(kù)中。,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)生成數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),使用數(shù)據(jù)倉(cāng)庫(kù)：在數(shù)據(jù)倉(cāng)庫(kù)中建立起DSS應(yīng)用；維護(hù)：根據(jù)用戶(hù)使用情況和反饋來(lái)的新的需求，開(kāi)發(fā)人員進(jìn)一步完善系統(tǒng)，并管理數(shù)據(jù)倉(cāng)庫(kù)的一些日?；顒?dòng)。包括：刷新數(shù)據(jù)倉(cāng)庫(kù)的當(dāng)前詳細(xì)數(shù)據(jù)，將過(guò)時(shí)的數(shù)據(jù)轉(zhuǎn)化成歷史數(shù)據(jù)，清除不再使用的數(shù)據(jù)，管理元數(shù)據(jù)，利用接口定期從操作型環(huán)境向數(shù)據(jù)倉(cāng)庫(kù)追加數(shù)據(jù)，確定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)刷新頻率，等等。,數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),在“商品”主題的數(shù)據(jù)裝人數(shù)據(jù)倉(cāng)庫(kù)后，就可以進(jìn)行在“商品”主題上的分析處理，即建立“商品這一分析領(lǐng)域上的DSS應(yīng)用，如有關(guān)商品銷(xiāo)售情況的月統(tǒng)計(jì)分析或商品庫(kù)存情況的分析等。在分析應(yīng)用中，我們會(huì)對(duì)“商品”主題有一個(gè)實(shí)踐基礎(chǔ)上的更深的認(rèn)識(shí)，從而對(duì)原來(lái)的設(shè)計(jì)作出評(píng)價(jià)和調(diào)整。比如，實(shí)踐證明原來(lái)的粒度劃分不合理，就應(yīng)該調(diào)整粒度定義。,數(shù)據(jù)倉(cāng)庫(kù)使用與維護(hù),在這一過(guò)程中，商場(chǎng)經(jīng)營(yíng)者可能會(huì)提出新的要求，對(duì)消費(fèi)市場(chǎng)進(jìn)行分析研究，以進(jìn)行市場(chǎng)定位等，那么就要著手開(kāi)發(fā)“顧客”主題，并可能要對(duì)原有的“商品”主題進(jìn)行調(diào)整，如“商品”主題中可能要增加“商品檔次”這么一個(gè)屬性。,討論,在學(xué)習(xí)了數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)知識(shí)和技術(shù)后，你覺(jué)得日常生活中，那些方面可以用到數(shù)據(jù)倉(cāng)庫(kù)技術(shù)？,舉例,零售個(gè)性化系統(tǒng)。在系統(tǒng)中，客戶(hù)閱讀到由零售商編制的目錄或宣傳廣告后促使他有了購(gòu)買(mǎi)的念頭，或者至少想查詢(xún)一下目錄，結(jié)果是給零售商打電話(huà)。,舉例,舉例,當(dāng)客戶(hù)定貨或咨詢(xún)情況時(shí)，零售商代表查出一些與此有關(guān)的其他信息，如：客戶(hù)上次購(gòu)物的時(shí)間；上次購(gòu)物的類(lèi)型；客戶(hù)所屬的市場(chǎng)地段。,舉例,對(duì)話(huà)的過(guò)程中，銷(xiāo)售代表說(shuō)出以下一些事情：“我記得我們?cè)诙路萃ㄟ^(guò)話(huà)”“你購(gòu)買(mǎi)的蘭色運(yùn)動(dòng)衫怎么樣？”“你的那條褲子的問(wèn)題解決了嗎？”交談進(jìn)行得很有人情味。這樣，將會(huì)更加激起客戶(hù)的購(gòu)買(mǎi)欲望。,舉例,數(shù)據(jù)倉(cāng)庫(kù)的分析功能給出市場(chǎng)地段信息，如：男/女專(zhuān)業(yè)/其他用品市場(chǎng)城市/鄉(xiāng)村市場(chǎng)兒童用品市場(chǎng)（年齡、性別）體育用品市場(chǎng),舉例,對(duì)話(huà)可以進(jìn)行得很個(gè)性化。銷(xiāo)售代表能夠根據(jù)客戶(hù)所屬的市場(chǎng)地段信息進(jìn)行針對(duì)性的提問(wèn)，如：“你知道我們?cè)谟狙b方面還有未公布的產(chǎn)品嗎？”“我們剛剛進(jìn)一批意大利太陽(yáng)鏡，我想你可能有興趣?！薄疤鞖忸A(yù)報(bào)這是打野鴨的寒冬，我們有一種特制的長(zhǎng)筒靴?！?舉例,客戶(hù)已經(jīng)完全投入了電話(huà)對(duì)話(huà)中，個(gè)性化的電話(huà)和關(guān)于客戶(hù)對(duì)什么商品感興趣的知識(shí)使得銷(xiāo)售商在不增加資本投入、不增加廣告量的情況下增加了收入。,舉例,這種個(gè)性化的電話(huà)對(duì)話(huà)是通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的間接訪(fǎng)問(wèn)而完成的,舉例,后臺(tái)(即數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中)有一個(gè)分析程序在不斷讀入和分析客戶(hù)的記錄。這個(gè)分析程序通過(guò)一種復(fù)雜的方法掃描，分析客戶(hù)的歷史記錄。它定時(shí)地提供給操作型環(huán)境一個(gè)包括下面內(nèi)容的文件：上次購(gòu)物的類(lèi)型；上次購(gòu)物的日期;市場(chǎng)分析/市場(chǎng)地段信息。,