1數(shù)據(jù)治理的背景和現(xiàn)狀
1.1數(shù)據(jù)治理背景
隨著網(wǎng)絡和信息技術的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大約每兩年翻一番，根據(jù)監(jiān)測，這個速度在2020 年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。
大量新數(shù)據(jù)源的出現(xiàn)則導致了非結(jié)構化、半結(jié)構化數(shù)據(jù)爆發(fā)式的增長。信息數(shù)據(jù)的單位由TB-PB-EB-ZB的級別暴增。這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠遠超越了目前人力所能處理的范疇。如何管理和使用這些數(shù)據(jù)，逐漸成為一個新的領域，于是大數(shù)據(jù)的概念應運而生。
圖1 數(shù)據(jù)治理背景圖
1.2數(shù)據(jù)治理現(xiàn)狀
大數(shù)據(jù)的快速發(fā)展，使它成為IT領域的又一大新興產(chǎn)業(yè)。據(jù)中央財經(jīng)大學中國經(jīng)濟管理研究院博士張永力估算，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。我國2012年大數(shù)據(jù)市場規(guī)模大約4.7億元，2013年增速將達到138%，達到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮蟆Ｎ覈髷?shù)據(jù)飛速發(fā)展的背后存在諸多的問題：相關利益交織，協(xié)調(diào)難;方案規(guī)劃容易，落地困難;過度依賴技術工具;對于數(shù)據(jù)沒有明確區(qū)分。
圖2 數(shù)據(jù)現(xiàn)狀分析圖
2數(shù)據(jù)治理策略
2.1數(shù)據(jù)治理要素
圖3 數(shù)據(jù)治理要素分析圖
2.2數(shù)據(jù)治理策略
第一步：落實合適的人員負責治理。
任何成功的數(shù)據(jù)治理計劃的第一個步驟就是，要在本企業(yè)找到CEO可以授權的人，然后讓該人負責項目的具體實施。沒有什么能取代強有力的領導人。
數(shù)據(jù)治理是涉及人事的一個難題，這需要在許多不同的利益相關者之間達成共識。因而，在本企業(yè)里面選定這樣的領導人是一項重要工作。治理官員一旦選定下來，就要成立由企業(yè)的利益相關者組成的治理委員會，制訂監(jiān)管政策、向CEO及董事會報告進度。
第二步：調(diào)查清楚所處環(huán)境。
一旦選定了領導小組，就要調(diào)查當前情形，并清查不同部門在不同領域的當前最佳實踐。領導小組需要越過獨立系統(tǒng)看待問題，而企業(yè)數(shù)據(jù)治理評估方法對這項工作來說必不可少。這有助于比較本企業(yè)的數(shù)據(jù)治理計劃目前處于什么狀態(tài)，并且提供了一份路線圖以便確定以后的目標。
第三步：制訂數(shù)據(jù)治理策略。
數(shù)據(jù)治理評估之后，治理委員會就應當考慮制訂遠景，希望公司的數(shù)據(jù)治理實踐在接下來的幾年達到何種目標，根據(jù)這種需求為未來制訂遠景。委員會應當向后規(guī)劃，并且制訂切合實際的里程碑和項目計劃來填補相關的缺口。具體辦法就是制訂關鍵績效指標來跟蹤進度，并且向CEO和董事會提交年度報告來證實成果。
第四步：算出數(shù)據(jù)價值。
估算數(shù)據(jù)價值。要是公司不知道數(shù)據(jù)的價值，它們就無法提高、保護或者評估數(shù)據(jù)對賬本底線的價值。數(shù)據(jù)不是一種普通商品，而是像水龍頭里出來的水--對生命至關重要，又往往被人們認為是理所當然的。你要是不知道某物的價格，就無法算出它的價值。
如果你想算出數(shù)據(jù)的價值，就要根據(jù)用戶權限和IT服務的效用，為數(shù)據(jù)建立內(nèi)部市場。當本企業(yè)的每個人都在直接付費獲取IT服務和數(shù)據(jù)時，數(shù)據(jù)的價值就成了公司價目表上的一部分。
第五步：算出風險概率。
知道數(shù)據(jù)在過去是如何使用和濫用的，這有助于了解數(shù)據(jù)在將來會如何被危及和披露。每家企業(yè)都有一些原因，如一些事件和損失在獨立系統(tǒng)、層次體系和商業(yè)報告中消失。這些數(shù)據(jù)已經(jīng)可供使用，卻沒有被大多數(shù)企業(yè)所使用。收集這些數(shù)據(jù)，與其意義聯(lián)系起來，并研究長期的損失趨勢，這可以幫助任何企業(yè)把風險管理轉(zhuǎn)變成基于事實的商業(yè)智能方法，從而可分析過去事件，預測未來損失，改變當前的政策要求，成為未來改善風險緩解策略。
第六步：密切關注控制措施的效果。
數(shù)據(jù)治理在很大程度上涉及企業(yè)的組織行為。企業(yè)每天在變化，因而它們的數(shù)據(jù)、價值及風險也在迅速變化。遺憾的是，大多數(shù)企業(yè)每年對自己只評估一次。要是公司無法改變組織控制措施來滿足每天或者每周出現(xiàn)的需求，也就談不上變化治理。
圖4 數(shù)據(jù)治理實施建議圖
3元數(shù)據(jù)管理
3.1元數(shù)據(jù)的定義
技術元數(shù)據(jù)是存儲關于數(shù)據(jù)倉庫系統(tǒng)技術細節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉庫結(jié)構的描述，包括倉庫模式、視圖、維、層次結(jié)構和導出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容;業(yè)務系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構和模式;
業(yè)務元數(shù)據(jù)從業(yè)務角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實際系統(tǒng)之間的語義層，使得不懂計算機技術的業(yè)務人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務術語所表達的數(shù)據(jù)模型、對象名和屬性名;訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源;系統(tǒng)所提供的分析方法以及公式和報表的信息;具體包括以下信息：企業(yè)概念模型：這是業(yè)務元數(shù)據(jù)所應提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個企業(yè)的業(yè)務概念和相互關系。
3.2為什么要進行元數(shù)據(jù)管理
圖5 數(shù)據(jù)管理分析圖
3.3數(shù)據(jù)模型標準化
圖6 數(shù)據(jù)模型示意圖
3.4標準化體系(數(shù)據(jù)定義&模型設計)
標準化體系：一定范圍內(nèi)的標準按其內(nèi)在聯(lián)系形成的科學的有機整體。標準化體系它規(guī)定了質(zhì)量方針、目標、職責和程序，并通過建立相關體系進行過程管理、質(zhì)量策劃、質(zhì)量控制、質(zhì)量保證和質(zhì)量改進。
圖7 標準化體系示意圖
4主數(shù)據(jù)
4.1主數(shù)據(jù)的定義
企業(yè)主數(shù)據(jù)分散存儲在企業(yè)各系統(tǒng)內(nèi)，是對企業(yè)至關重要的核心業(yè)務實體的數(shù)據(jù)，比如客戶、合作伙伴、員工等。
4.2為什么要作主數(shù)據(jù)管理
主數(shù)據(jù)管理(MDM Master Data Management)描述了一組規(guī)程、技術和解決方案，這些規(guī)程、技術和解決方案用于為所有利益相關方(如用戶、應用程序、數(shù)據(jù)倉庫、流程以及貿(mào)易伙伴)創(chuàng)建并維護業(yè)務數(shù)據(jù)的一致性、完整性、相關性和精確性。
主數(shù)據(jù)管理的關鍵就是“管理”。主數(shù)據(jù)管理不會創(chuàng)建新的數(shù)據(jù)或新的數(shù)據(jù)縱向結(jié)構。相反，它提供了一種方法，使企業(yè)能夠有效地管理存儲在分布系統(tǒng)中的數(shù)據(jù)。主數(shù)據(jù)管理使用現(xiàn)有的系統(tǒng)，它從這些系統(tǒng)中獲取最新信息，并提供了先進的技術和流程，用于自動、準確、及時地分發(fā)和分析整個企業(yè)中的數(shù)據(jù)，并對數(shù)據(jù)進行驗證。
圖8 數(shù)據(jù)管理原因分析圖
4.3如何做好主數(shù)據(jù)管理
通過單一平臺上成熟的多領域MDM集中主數(shù)據(jù)的管理，從而消除點對點集成，簡化您的結(jié)構，降低維護成本，改進數(shù)據(jù)治理。Informatica MDM(主數(shù)據(jù)管理)能夠通過以下步驟幫助企業(yè)成功進行多領域主數(shù)據(jù)管理：
1. 建模：用靈活的數(shù)據(jù)模型定義任意類型的主數(shù)據(jù)
2. 識別：快速匹配和準確識別重復項目
3. 解決：合并以創(chuàng)建可靠、唯一的真實來源
4. 聯(lián)系：揭示各類主數(shù)據(jù)之間的關系
5. 治理：創(chuàng)建、使用、管理和監(jiān)控主數(shù)據(jù)
4.4主數(shù)據(jù)實施流程
圖9 數(shù)據(jù)管理實施流程圖
4.5主數(shù)據(jù)管理體系
圖10 主數(shù)據(jù)管理體系流程圖
5數(shù)據(jù)質(zhì)量管理
5.1數(shù)據(jù)質(zhì)量問題
·數(shù)據(jù)的值域
·數(shù)據(jù)的定義
·數(shù)據(jù)的完整性
·數(shù)據(jù)的有效性
·業(yè)務規(guī)則
·結(jié)構完整性
·數(shù)據(jù)轉(zhuǎn)換
·數(shù)據(jù)流
5.2組織架構設計
圖11 架構分析圖
5.3數(shù)據(jù)質(zhì)量治理流程
圖12 數(shù)據(jù)質(zhì)量治理流程圖
5.4數(shù)據(jù)治理管理方法
建立合理的數(shù)據(jù)管理機構、制定數(shù)據(jù)質(zhì)量管理機制、落實人員執(zhí)行責任、保障組織間高效的溝通、持續(xù)監(jiān)控數(shù)據(jù)應用過程和領導強有力的督促是保障企業(yè)數(shù)據(jù)質(zhì)量的關鍵。
圖13 策略與方法分析圖
