中國電信ODS規(guī)范培訓(xùn)

《中國電信ODS規(guī)范培訓(xùn)》由會員分享，可在線閱讀，更多相關(guān)《中國電信ODS規(guī)范培訓(xùn)（47頁珍藏版）》請在裝配圖網(wǎng)上搜索。

2017/10/26,1,ODS規(guī)范培訓(xùn) -技術(shù)分冊與ODS應(yīng)用,,中國電信股份有限公司廣州研究院 廣東省電信有限公司研究院 10/26/2017,2017/10/26,2,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,3,系統(tǒng)技術(shù)架構(gòu),,,,,使用者,其他應(yīng)用,HTML,Web服務(wù),業(yè)務(wù)組件,數(shù)據(jù)訪問,用戶界面,界面組件,,,,ETL/EAI 組件,,,生產(chǎn)系統(tǒng) 數(shù)據(jù),,界面 生成 框架,規(guī)則 配置,,,,,,,,數(shù)據(jù) 服務(wù) 組件,,,,數(shù)據(jù) 處理 組件,匯總層,匯總數(shù)據(jù)區(qū)域,,,數(shù)據(jù)整合,數(shù)據(jù)存儲,,,數(shù)據(jù)共享,數(shù)據(jù)應(yīng)用,外部訪問,數(shù)據(jù)源,,,,ODS系統(tǒng),REPORT,,2017/10/26,4,系統(tǒng)技術(shù)特點,,,批量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存,三范式模型、星型模型、寬表模型并存,細(xì)粒度數(shù)據(jù)和匯總數(shù)據(jù)并存,事務(wù)型查詢和分析型查詢的并存,數(shù)據(jù)保存周期介于生產(chǎn)系統(tǒng)和EDW之間,ODS系統(tǒng)不同于事務(wù)處理為主的 生產(chǎn)系統(tǒng)，也不同于統(tǒng)計分析 為主的數(shù)據(jù)倉庫系統(tǒng)。系統(tǒng)需 要支撐跨域數(shù)據(jù)查詢,數(shù)據(jù)共享 等功能，還需要支撐生產(chǎn)系統(tǒng) 對一定周期內(nèi)運營數(shù)據(jù)數(shù)據(jù)的 統(tǒng)計監(jiān)控等功能,2017/10/26,5,系統(tǒng)總體技術(shù)要求,網(wǎng)絡(luò)與硬件方面 采用安全可靠的高速磁盤陣列設(shè)備，支持多機高可用群集系統(tǒng)，磁盤陣列與主機系統(tǒng)采用SAN方式連接； 采用高速可靠的網(wǎng)絡(luò)設(shè)備，提供高速的I/O能力； 主機支持多機群集或海量并行處理技術(shù)，支持分區(qū)技術(shù)； 主機采用高可用性(HA)和負(fù)載均衡的方式，防止單點故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。,軟件方面 選擇對OLTP和OLAP應(yīng)用都具備穩(wěn)定處理性能的數(shù)據(jù)庫引擎； 選擇能對數(shù)據(jù)整合過程進(jìn)行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術(shù)； 選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具； 選擇為業(yè)務(wù)處理、技術(shù)實現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導(dǎo)航功能的元數(shù)據(jù)管理工具，； 采用能對系統(tǒng)內(nèi)的軟硬件節(jié)點進(jìn)行監(jiān)控和自動預(yù)警的系統(tǒng)監(jiān)控軟件； 制定完善的備份與恢復(fù)策略，采用成熟的備份軟硬件，提供快速備份與恢復(fù)功能； 為了滿足數(shù)據(jù)的高速加載，系統(tǒng)需進(jìn)行相關(guān)優(yōu)化操作，優(yōu)化數(shù)據(jù)抽取調(diào)度策略，避免CPU、Memory、IO等資源的爭搶，設(shè)計良好的數(shù)據(jù)文件/表空間/數(shù)據(jù)表存儲規(guī)劃，保證數(shù)據(jù)在磁盤的優(yōu)化分布。,2017/10/26,6,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,7,,數(shù)據(jù)加載,系統(tǒng)技術(shù)要求－數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)要求,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,數(shù)據(jù)抽取接口設(shè)計應(yīng)充分考慮ODS系統(tǒng)接口的開放性、可擴展性； 接口數(shù)據(jù)傳輸控制策略應(yīng)可靠且完善； 具有可靠的接口數(shù)據(jù)出錯處理機制； 支持不同的數(shù)據(jù)源系統(tǒng)平臺。 支持對多種不同系統(tǒng)平臺和數(shù)據(jù)類型的源系統(tǒng)數(shù)據(jù)抽取與轉(zhuǎn)換。包括各種關(guān)系型、層次型、文件型數(shù)據(jù)庫系統(tǒng)及各種文件格式等源數(shù)據(jù)； 數(shù)據(jù)抽取盡量減少對源系統(tǒng)的性能影響； 支持多種數(shù)據(jù)裝載方式； 數(shù)據(jù)抽取接口應(yīng)支持實時、準(zhǔn)實時數(shù)據(jù)抽取，例如接口表、FTP、中間件、WEB-SERVICE等； ETL工具支持二次開發(fā)，并通過對內(nèi)嵌腳本語言、存儲過程、插件及外部程序來處理復(fù)雜的處理，提供調(diào)試、跟蹤功能； ETL過程支持多個數(shù)據(jù)庫連接，數(shù)據(jù)轉(zhuǎn)換與加載處理過程應(yīng)支持并行處理； 對于用戶資料、客戶資料等核心數(shù)據(jù)加載要求逐步實現(xiàn)實時更新，最終目標(biāo)控制在秒級； 對于除了核心數(shù)據(jù)以外的ODS日批量數(shù)據(jù)抽取加載應(yīng)在3小時內(nèi)完成； 對于帳單等月批量數(shù)據(jù)抽取加載應(yīng)控制在5小時內(nèi)完成； 對于加載到系統(tǒng)的日數(shù)據(jù)以及月數(shù)據(jù)要及時整合匯總，應(yīng)控制在4小時內(nèi)完成； 數(shù)據(jù)轉(zhuǎn)換處理過程支持各種字符集的轉(zhuǎn)換。,數(shù)據(jù)整 合過程,2017/10/26,8,,數(shù)據(jù)加載,系統(tǒng)技術(shù)建議－數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)建議,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,實時抽取接口建議采用自行開發(fā)的WEB-SERVICE接口或成熟消息中間件產(chǎn)品； 批量數(shù)據(jù)抽取建議源系統(tǒng)提供文本格式文件并FTP到ODS； 數(shù)據(jù)轉(zhuǎn)換與加載建議采用成熟ETL工具； 對數(shù)據(jù)表比較大，建議采用增量數(shù)據(jù)抽取方式，定期進(jìn)行全量更新，對源系統(tǒng)表沒有增量時間標(biāo)志的，由源系統(tǒng)方進(jìn)行必要的改造，增加時間戳等； 在數(shù)據(jù)整合過程中先進(jìn)行單一系統(tǒng)內(nèi)數(shù)據(jù)整合，然后再進(jìn)行跨系統(tǒng)的數(shù)據(jù)整合； 對于小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置數(shù)據(jù)等，可以采用全量抽取方式進(jìn)行抽??； 建議數(shù)據(jù)抽取周期可根據(jù)接口對象不同和實際的數(shù)據(jù)獲取需求不同而采取有針對性的設(shè)計； 建議批量抽取操作盡可能在相關(guān)生產(chǎn)系統(tǒng)空閑的時段執(zhí)行； 批量數(shù)據(jù)轉(zhuǎn)換與加載，建議在應(yīng)用設(shè)計時考慮加載轉(zhuǎn)換的并行化，建議采用內(nèi)存處理技術(shù)； 源生產(chǎn)系統(tǒng)可采用改造業(yè)務(wù)邏輯、數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志觸發(fā)等不同的方式來實現(xiàn)實時向ODS系統(tǒng)提供需實時提供的源數(shù)據(jù)。,數(shù)據(jù)整 合過程,2017/10/26,9,,系統(tǒng)技術(shù)要求－數(shù)據(jù)存儲,數(shù)據(jù)模型技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,對于接口層數(shù)據(jù)模型應(yīng)貼近源系統(tǒng)數(shù)據(jù)模型； 整合數(shù)據(jù)層中的數(shù)據(jù)模型遵循中國電信企業(yè)數(shù)據(jù)模型，作為企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)外圍系統(tǒng)逐步統(tǒng)一數(shù)據(jù)模型； ODS各層數(shù)據(jù)模型的設(shè)計需要考慮ODS需同時支持OLTP和OLAP類型應(yīng)用的特點； 模型設(shè)計需要考慮高速批量加載及高并發(fā)查詢的快速響應(yīng)； 模型能夠支持不同粒度的查詢與報表需求，綜合考慮業(yè)務(wù)需要，具備適應(yīng)性； 通過數(shù)據(jù)模型的規(guī)范化設(shè)計，減少不必要的數(shù)據(jù)冗余； 模型具有良好的擴展能力。,數(shù)據(jù)分 層存儲,2017/10/26,10,,系統(tǒng)技術(shù)要求－數(shù)據(jù)存儲（續(xù)）,數(shù)據(jù)存儲技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,能夠存儲海量數(shù)據(jù)，滿足TB級以上數(shù)據(jù)存儲要求； 應(yīng)能夠支持實時數(shù)據(jù)快速插入更新，也可以支持批量數(shù)據(jù)快速加載； 應(yīng)保證物理數(shù)據(jù)存儲的安全性，避免硬件損壞造成數(shù)據(jù)丟失； 應(yīng)支持過期數(shù)據(jù)的清理功能，節(jié)省存儲空間； 日增量接口層數(shù)據(jù)保存1天，月增量接口層數(shù)據(jù)保存1個月； 整合層三戶數(shù)據(jù)長久保存；詳單數(shù)據(jù)保存1－3個月；其他整合層數(shù)據(jù)保存13月； 匯總層數(shù)據(jù)保存3年； 數(shù)據(jù)存儲能夠很好地支持OLTP和OLAP相結(jié)合的混合型數(shù)據(jù)操作； 數(shù)據(jù)存儲能夠滿足在大數(shù)據(jù)量、大并發(fā)量下的快速數(shù)據(jù)操作，支持?jǐn)?shù)據(jù)行級鎖、多CPU并行、多服務(wù)器并行； 數(shù)據(jù)存儲具備開放性，支持主流的硬件平臺、軟件技術(shù)、網(wǎng)絡(luò)協(xié)議、開發(fā)技術(shù)標(biāo)準(zhǔn)； 數(shù)據(jù)存儲具備可管理性，提供管理工具對數(shù)據(jù)操作過程進(jìn)行監(jiān)控，支持設(shè)置相應(yīng)的閥值告警； 數(shù)據(jù)存儲具備數(shù)據(jù)存取的高可用性，避免單點故障，實現(xiàn)實時故障切換； 數(shù)據(jù)存儲具備良好的可擴展性，包括數(shù)據(jù)存儲容量、處理性能的擴展，能夠?qū)崿F(xiàn)在線的擴展操作； 數(shù)據(jù)存儲具備高安全性，對系統(tǒng)權(quán)限、數(shù)據(jù)權(quán)限、角色權(quán)限有明確的定義和管理，并對數(shù)據(jù)操作提供審計功能。,數(shù)據(jù)分 層存儲,接口數(shù)據(jù)層,數(shù)據(jù)分 層存儲,2017/10/26,11,,系統(tǒng)技術(shù)建議－數(shù)據(jù)存儲,數(shù)據(jù)模型技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,接口數(shù)據(jù)層數(shù)據(jù)模型可以采用平面表，表結(jié)構(gòu)可以根據(jù)需要做無索引、無主鍵、無外鍵設(shè)計； 整合數(shù)據(jù)層數(shù)據(jù)模型應(yīng)采用第三范式的模型設(shè)計，考慮到ODS的特點和需要，數(shù)據(jù)模型可進(jìn)行適度地不規(guī)范化處理； 匯總數(shù)據(jù)層模型設(shè)計可以采用寬表、星型模型，也可以進(jìn)行適度地不規(guī)范化處理。,數(shù)據(jù)分 層存儲,2017/10/26,12,,系統(tǒng)技術(shù)建議－數(shù)據(jù)存儲（續(xù)）,數(shù)據(jù)存儲技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,建議采用成熟的企業(yè)級數(shù)據(jù)庫，支持OLTP和OLAP類型數(shù)據(jù)混合型操作，滿足海量數(shù)據(jù)的存儲和大并發(fā)性操作； 建議使用成熟的數(shù)據(jù)建模工具，能夠支持主流的數(shù)據(jù)庫； 建議數(shù)據(jù)庫采用表分區(qū)技術(shù)，提高數(shù)據(jù)的訪問性能和可操作性； 建議使用集群技術(shù)/并行處理技術(shù)，提高數(shù)據(jù)操作的性能、穩(wěn)定性和可擴展性； 建議提供數(shù)據(jù)庫的自動診斷和調(diào)優(yōu)功能，提供各種優(yōu)化建議：內(nèi)存參數(shù)、表結(jié)構(gòu)、索引、SQL語句等； 建議數(shù)據(jù)庫支持在線備份恢復(fù)機制； 建議支持災(zāi)備解決方案，實現(xiàn)同城或異地數(shù)據(jù)保護(hù)。,數(shù)據(jù)分 層存儲,2017/10/26,13,,計算應(yīng)用,系統(tǒng)技術(shù)要求－數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)要求,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng) 用分類,90%查詢應(yīng)在10秒以內(nèi)返回，99%查詢在30秒以內(nèi)返回。固定報表等前端業(yè)務(wù)響應(yīng)時間要求小于10秒，動態(tài)報表響應(yīng)時間要求小于30秒； 查詢功能和報表工具支持大用戶量的高并發(fā)訪問； 應(yīng)用程序能監(jiān)控查詢的運行進(jìn)程，并停止長時間未響應(yīng)的查詢，控制資源使用效率。提供查詢時間預(yù)估功能； 查詢功能和報表工具提供高效的數(shù)據(jù)緩存機制，對重復(fù)操作無需再次直接查詢數(shù)據(jù)庫； 應(yīng)用支持?jǐn)?shù)據(jù)級安全性，報表工具支持應(yīng)用級安全性； 報表工具應(yīng)具有良好的易用性以及快速開發(fā)環(huán)境； 報表工具支持各種復(fù)雜報表，報表能迅速以所見即所得方式進(jìn)行顯示； 報表工具應(yīng)提供二次開發(fā)的接口； 報表展示界面友好，便于界面集成； 其他系統(tǒng)通過界面集成訪問ODS系統(tǒng)時，應(yīng)保證ODS系統(tǒng)與接入系統(tǒng)的統(tǒng)一認(rèn)證； 報表工具支持報表的定時生成與發(fā)布； 計算應(yīng)用支持圖形化、向?qū)У确绞蕉ㄖ聘鞣N計算規(guī)則； 計算應(yīng)用支持復(fù)雜規(guī)則的腳本定義； 計算應(yīng)用提供高效的規(guī)則計算引擎。,2017/10/26,14,,計算應(yīng)用,系統(tǒng)技術(shù)建議－數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)建議,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng) 用分類,對查詢SQL進(jìn)行優(yōu)化，對大數(shù)據(jù)量輸出的查詢進(jìn)行分頁顯示，減少網(wǎng)絡(luò)傳輸，全面提高查詢性能； 建議使用連接池、負(fù)載均衡、集群等技術(shù)提高查詢的并發(fā)性； 使用成熟的第三方報表工具； 對復(fù)雜應(yīng)用建議利用第三方報表工具的二次開發(fā)接口自行進(jìn)行開發(fā)； 對數(shù)據(jù)量大、規(guī)則復(fù)雜的計算應(yīng)用建議使用自主開發(fā)的程序完成； 對業(yè)務(wù)邏輯簡單的計算應(yīng)用建議采用ETL工具完成； 對數(shù)據(jù)量小的計算應(yīng)用建議采用數(shù)據(jù)庫存儲過程等處理方法。,2017/10/26,15,,系統(tǒng)技術(shù)要求－數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)要求,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),支持?jǐn)?shù)據(jù)視圖、FTP文件和Web服務(wù)等方式對外提供接口服務(wù)； 支持高并發(fā)性訪問； Web服務(wù)響應(yīng)時間應(yīng)控制在5秒以內(nèi)； FTP文件單文件不超過2GB，超過2GB時分割成多個文件。,數(shù)據(jù)共 享訪問,2017/10/26,16,,系統(tǒng)技術(shù)建議－數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)建議,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),對共享數(shù)據(jù)的提供時間進(jìn)行控制并可靈活配置。建議一般在營業(yè)時間只允許實時查詢服務(wù)的訪問（特殊情況除外），在非營業(yè)時段進(jìn)行準(zhǔn)實時批量數(shù)據(jù)共享操作。同時在進(jìn)行ETL操作時也應(yīng)該避免同時進(jìn)行準(zhǔn)實時批量數(shù)據(jù)共享操作； 通過連接池、負(fù)載均衡、集群等技術(shù)提高訪問的并發(fā)性； 對大量并發(fā)的準(zhǔn)實時批量數(shù)據(jù)共享操作可以按資源占用和所需時間進(jìn)行合理調(diào)度。,數(shù)據(jù)共 享訪問,2017/10/26,17,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,18,實施原則,,ODS系統(tǒng)實施原則,整體規(guī)劃 分步實施,統(tǒng)一模型 統(tǒng)一接口,保護(hù)投資 講究實效,穩(wěn)健推進(jìn) 平滑過渡,加強管控 有序?qū)嵤?,,,,,2017/10/26,19,數(shù)據(jù)倉庫,其他系統(tǒng),,計費系統(tǒng),實施建議,CRM系統(tǒng),,流程和管控,周邊系統(tǒng)改造建議,,1、業(yè)務(wù)系統(tǒng)增加相關(guān)的數(shù)據(jù) 質(zhì)量修改流程和環(huán)節(jié) 2、源生產(chǎn)系統(tǒng)增加數(shù)據(jù)質(zhì)量 負(fù)責(zé)等崗位 3 、ODS系統(tǒng)的上線后需要增 加相關(guān)的信息管理、數(shù)據(jù)稽核 等崗位,流程和崗位調(diào)整建議,,ODS系統(tǒng)承擔(dān)著數(shù)據(jù)質(zhì)量管 理的重要任務(wù)，同時系統(tǒng)和 周邊生產(chǎn)系統(tǒng)存在大量的準(zhǔn) 實時訪問接口，客觀上要求 加大IT管控的力度，提高系 統(tǒng)建設(shè)質(zhì)量，減少系統(tǒng)風(fēng)險,IT管控支撐建議,1、完善客戶統(tǒng)一視圖信息查詢 2、完善客戶銷售服務(wù)流程 3、移植運營分析報表和批量計算 4、接口改造,,1、移植運營分析報表和批量計算 2、移植清單、帳單對外提供查詢 3、接口改造,,1、其他系統(tǒng)改由ODS獲取共享信息 2、接口改造,,1、EDW從ODS抽取整合后數(shù)據(jù) 2、EDW把營銷派單和客戶洞察等數(shù)據(jù)發(fā)送給ODS 3、接口改造,2017/10/26,20,實施進(jìn)度,,,,,,數(shù)據(jù)整合階段（2007年8月——2008年6月）,應(yīng)用開發(fā)階段（2008年6月——2009年12月）,完善提升階段（2009年12月以后不斷完善）,建立初步的ODS體系架構(gòu)，整合BSS域的全部核心數(shù)據(jù)、OSS域中的工單與112故障單及商務(wù)領(lǐng)航平臺的訂購相關(guān)數(shù)據(jù)； 形成客戶統(tǒng)一視圖，解決客戶品牌經(jīng)營亟需的運營需求； 建立初步的數(shù)據(jù)共享中心，為對數(shù)據(jù)實時性要求相對不高的系統(tǒng)提供數(shù)據(jù)共享服務(wù)； 完成部分其它生產(chǎn)系統(tǒng)未實現(xiàn)的批量計算功能； 實現(xiàn)初步的數(shù)據(jù)質(zhì)量管理功能，建立起初步的數(shù)據(jù)質(zhì)量管理閉環(huán)流程。,完善ODS體系架構(gòu)； 完善業(yè)務(wù)運營過程中的統(tǒng)計、監(jiān)控應(yīng)用； 建成企業(yè)級的運營數(shù)據(jù)共享平臺，為BSS、OSS系統(tǒng)提供更全面的數(shù)據(jù)共享；為國家公安與安全機構(gòu)、金融機構(gòu)等外部機構(gòu)提供其所需的中國電信運營數(shù)據(jù)； 提供完善的數(shù)據(jù)質(zhì)量管理體系。,擴展ODS體系架構(gòu)，整合BSS市場營銷域等數(shù)據(jù)、OSS的開通和故障數(shù)據(jù)、業(yè)務(wù)平臺數(shù)據(jù)； 擴展與完善企業(yè)經(jīng)營報表，承接生產(chǎn)系統(tǒng)對外報表提供，實現(xiàn)企業(yè)經(jīng)營關(guān)鍵績效指標(biāo)與經(jīng)營風(fēng)險的監(jiān)控，滿足管理層至客戶經(jīng)理的及時看數(shù)需求，提升運營支撐能力； 為CRM、計費、10000號、網(wǎng)廳、服務(wù)開通、業(yè)務(wù)平臺、資源管理等系統(tǒng)提供跨域數(shù)據(jù)共享； 擴展ODS上的批量計算功能； 完善數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)與體系。,2017/10/26,21,實施步驟,,2017/10/26,22,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,23,,模式一：集團(tuán)ODS＋省集中ODS,1、省集中業(yè)務(wù)支撐系統(tǒng)建設(shè)比較成熟 的中小用戶規(guī)模的省 2、CRM、計費等核心系統(tǒng)都已經(jīng)實現(xiàn) 省集中部署 3、本地網(wǎng)暫時沒有大量個性化的業(yè)務(wù) 需求,1、省集中ODS集中存儲全省的運營數(shù)據(jù) 2、本地網(wǎng)不設(shè)置單獨的運營分析中心 3、本地網(wǎng)直接訪問省集中ODS系統(tǒng),,,數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,,,CRM,服務(wù)開通,集團(tuán)ODS,本地網(wǎng)層面,省公司層面,集團(tuán)層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,,,,,其他系統(tǒng),其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,,數(shù)據(jù)流向,,應(yīng)用訪問,,,,,,,,,,,,2017/10/26,24,,模式二：集團(tuán)ODS＋省集中ODS＋本地運營數(shù)據(jù)中心,1、本模式適用于計費和CRM系統(tǒng)按照 省集中模式建設(shè) 2、本地網(wǎng)個性化業(yè)務(wù)查詢和分析需求比 較強，對性能要求較高的中等以上規(guī)模省,1、本地運營中心數(shù)據(jù)來源于省集中ODS 系統(tǒng)，只是省集中ODS系統(tǒng)在本地網(wǎng)的延 伸，本地運營中心本身不承擔(dān)業(yè)務(wù)流程和 協(xié)同應(yīng)用的功能 2、省中心的ODS運營分析數(shù)據(jù)按照定時 同步的方式進(jìn)入本地運營數(shù)據(jù)中心，本地 運營中心對數(shù)據(jù)只有只讀權(quán)限，可針對這 些數(shù)據(jù)開發(fā)個性化的分析和查詢應(yīng)用 3、這種模式能充分發(fā)揮本地網(wǎng)業(yè)務(wù)分析人 員的主觀能動性，給本地網(wǎng)業(yè)務(wù)人員以更 方便和靈活的支撐，支持本地網(wǎng)業(yè)務(wù)人員 更好實現(xiàn)業(yè)務(wù)監(jiān)控與精確化營銷 4、隨著本地網(wǎng)個性化業(yè)務(wù)需求擴大， 當(dāng)ODS中的運營數(shù)據(jù)的范圍和時間周期無法 滿足本地網(wǎng)全部個性化業(yè)務(wù)需求時，本地 運營數(shù)據(jù)中心同時還可從省集中的EDW 獲取ODS無法提供的其他生產(chǎn)數(shù)據(jù)。,,,數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,,,CRM,服務(wù)開通,集團(tuán)ODS,本地網(wǎng)層面,省公司層面,集團(tuán)層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,,,,,其他系統(tǒng),其他系統(tǒng),,終端用戶,終端用戶,終端用戶,本地運營 數(shù)據(jù)中心,其他系統(tǒng),,數(shù)據(jù)流向,,應(yīng)用訪問,,,,,,,,,,,,,,推薦,2017/10/26,25,模式演進(jìn),,,前面兩種建設(shè)模式中，模式二是推薦的目標(biāo)部署模式。模式一需要逐步向第二種模式演進(jìn)，演進(jìn)說明如下：,2017/10/26,26,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,27,系統(tǒng)物理架構(gòu)示意圖,2017/10/26,28,主機配置的估算方法,ODS數(shù)據(jù)庫服務(wù)器性能估算方法 用戶數(shù)據(jù)交易量＝每日用戶數(shù)據(jù)變動量*高峰時段占比/60分鐘=XX筆/分鐘 定單數(shù)據(jù)交易量＝每日定單數(shù)據(jù)變化量*高峰時段占比/60分鐘=XX筆/分鐘 查詢交易量＝并發(fā)用戶數(shù)量/分鐘=XX筆/分鐘 帳單加載量＝用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量/要求加載完成的時間（分鐘）=XX筆/分鐘，每月一次，可以不做為峰值計算 清單加載量＝每日清單平均數(shù)/要求加載完成的時間（分鐘）=XX筆/分鐘 ETL服務(wù)器性能估算方法 I/O方面： 消費清單的數(shù)據(jù)量（G）＝平均每日CDR總量*0.5K，要求在2小時完成。 處理能力方面 消費清單抽取轉(zhuǎn)換量=平均每日清單總量/要求處理完成的時間（分鐘） =筆/分鐘,2017/10/26,29,存儲的估算方法,客戶資料數(shù)據(jù)： 三戶資料數(shù)據(jù)總?cè)萘?= 用戶數(shù)*(1+0.7+0.7) * 每條客戶資料的數(shù)據(jù)量 其他數(shù)據(jù) 服務(wù)數(shù)據(jù)、定單數(shù)據(jù)等我們按客戶資料數(shù)據(jù)的20％冗余計算 對于客戶數(shù)據(jù)及其他類數(shù)據(jù)數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等，系數(shù)為1.2。 考慮報表數(shù)據(jù)20％的冗余。 根據(jù)業(yè)務(wù)需求，客戶數(shù)據(jù)及其他類數(shù)據(jù)采用RAID 0 +1，硬盤利用率（主要考慮到 磁盤的最佳使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按50%計算。 客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的可用磁盤陣列存儲容量= (客戶數(shù)據(jù)容量+其他數(shù)據(jù)容量) * 1.2 * 1.2 *1.2 / 0.5,2017/10/26,30,存儲的估算方法（續(xù)）,清單數(shù)據(jù) CDR總?cè)萘浚奖Ａ舻脑路?每月CDR總數(shù)*0.5K 帳單數(shù)據(jù) 帳單數(shù)據(jù)容量＝保留的月份*用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量*每條數(shù) 據(jù)的數(shù)據(jù)量（K） 對于帳單清單數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等，系數(shù)為1.2。 根據(jù)業(yè)務(wù)需求，帳單清單數(shù)據(jù)采用RAID 5，硬盤利用率（主要考慮到磁盤的最佳 使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按75%計算。 帳單清單需要的可用磁盤陣列存儲容量= （帳單數(shù)據(jù)總?cè)萘?+ CDR總?cè)萘浚?* 1.2 * 1.2 * / 0.75 ODS共需磁盤陣列存儲容量＝客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的存儲容量＋帳單清單磁盤存儲容量。,2017/10/26,31,低端配置建議（900萬左右用戶規(guī)模）,2017/10/26,32,中端配置建議（1400萬左右用戶規(guī)模）,2017/10/26,33,高端配置建議（2300萬左右用戶規(guī)模）,2017/10/26,34,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,35,第三方工具對比,ETL工具對比 報表工具對比 元數(shù)據(jù)管理工具對比,2017/10/26,36,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,37,,,數(shù)據(jù)共享,,查詢,ODS業(yè)務(wù)應(yīng)用藍(lán)圖,ODS應(yīng)用,,,計算應(yīng)用,,動態(tài)報表,固定報表,數(shù)據(jù)整合階段：,應(yīng)用開發(fā)階段 ：,完善提升階段 ：,,,,2017/10/26,38,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,39,ODS數(shù)據(jù)共享,,,數(shù)據(jù)共享說明,數(shù)據(jù)共享業(yè)務(wù)功能,,,ODS提供良種數(shù)據(jù)共享方式：一種是準(zhǔn)實時批量數(shù)據(jù)提供；另一種是實時查詢服務(wù)。 1、ODS系統(tǒng)可將獲取到的某個單個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準(zhǔn)實時地方式批量提供給其它需要此數(shù)據(jù)且對數(shù)據(jù) 實時性要求相對不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口，例如ODS可向號碼百事通提供用戶號碼 信息等；同時ODS還可將整合好的跨系統(tǒng)數(shù)據(jù)以準(zhǔn)實時批量數(shù)據(jù)提供方式提供給外系統(tǒng)，以配合外系統(tǒng)支撐 部分客戶銷售服務(wù)流程等。 2、ODS系統(tǒng)還可通過實時查詢服務(wù)方式將ODS系統(tǒng)內(nèi)整合好的跨系統(tǒng)數(shù)據(jù)向外系統(tǒng)提供， 以配合外系統(tǒng)支撐統(tǒng)一客戶視圖查詢等功能 。,統(tǒng)一客戶視圖部分?jǐn)?shù)據(jù)提供、可選銷售品的過濾數(shù)據(jù)支撐、推薦銷售品數(shù)據(jù)支撐、 號百等系統(tǒng)數(shù)據(jù)提供等,2017/10/26,40,應(yīng)用示例統(tǒng)一客戶視圖數(shù)據(jù)提供,2017/10/26,41,應(yīng)用示例銷售品推薦的數(shù)據(jù)支撐,2017/10/26,42,應(yīng)用示例號碼百事通等系統(tǒng)數(shù)據(jù)提供,,2017/10/26,43,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,44,ODS應(yīng)用,,,ODS應(yīng)用分類說明,ODS應(yīng)用業(yè)務(wù)功能,,,1、查詢：ODS實現(xiàn)查詢條件不固定的按需查詢功能。用戶根據(jù)關(guān)心的維度查詢ODS中整合好的360 度業(yè)務(wù)全貌數(shù)據(jù)； 2、固定報表 ：固定報表是統(tǒng)計維度和指標(biāo)固定的分析結(jié)果的展示，對于實時性要求高的報表采用即時 生成的模式，而對于實時性要求不高的報表，把這些報表放在ODS系統(tǒng)實現(xiàn)； 3、動態(tài)報表 ：基于ODS整合好的數(shù)據(jù)，利用分析工具按關(guān)心的維度和指標(biāo)對數(shù)據(jù)進(jìn)行主題性的分析， 動態(tài)分析應(yīng)用中維度和指標(biāo)不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)任意變換； 4、計算應(yīng)用 ：ODS系統(tǒng)可基于整合好的數(shù)據(jù)按照設(shè)定好的業(yè)務(wù)規(guī)則進(jìn)行部分屬性數(shù)據(jù)計算，計算結(jié)果 并不在ODS系統(tǒng)中直接更新，而是由ODS返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬 性數(shù)據(jù)的更新后再通過數(shù)據(jù)抽取、加載過程進(jìn)入ODS之后更新。,1、查詢：統(tǒng)一客戶視圖查詢 、客戶帳單查詢等； 2、固定報表：客戶品牌統(tǒng)計、企業(yè)數(shù)據(jù)應(yīng)用門戶的部分報表、KPI考核固定報表； 3、動態(tài)報表：市場計劃統(tǒng)計與監(jiān)督、銷售活動統(tǒng)計、內(nèi)部渠道KPI考核和監(jiān)控、營銷活動監(jiān)控、訂單統(tǒng)計與 監(jiān)控、商機統(tǒng)計和監(jiān)控、網(wǎng)上客服行為統(tǒng)計與監(jiān)控、客戶接觸信息統(tǒng)計、跟蹤并統(tǒng)計客戶響應(yīng)、團(tuán)隊績效考核 和監(jiān)控、客戶QoS/SLA事后統(tǒng)計、客戶服務(wù)請求問題處理統(tǒng)計、工單統(tǒng)計與監(jiān)控、增值業(yè)務(wù)平臺業(yè)務(wù)量統(tǒng)計、 合作伙伴考評、10000熱線接入統(tǒng)計、客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務(wù)收入、欠費、競爭統(tǒng)計分析； 4、計算應(yīng)用：客戶品牌標(biāo)簽的標(biāo)識、客戶等級計算、客戶積分計算、客戶信用度計算、評估客戶忠誠度、 確定挽留與贏回目標(biāo)客戶群、代理商的傭金計算、代理商等級計算。,2017/10/26,45,應(yīng)用示例客戶積分計算,,,2017/10/26,46,數(shù)據(jù)質(zhì)量管控流程示例,,,,2017/10/26,47,Q&A,Q&A！,