數(shù)據(jù)湖、數(shù)據(jù)湖倉(cāng)和數(shù)據(jù)編織等集中式數(shù)據(jù)架構(gòu)越來(lái)越受歡迎，用于管理海量數(shù)據(jù)并實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的決策。然而，該領(lǐng)域的許多項(xiàng)目面臨挑戰(zhàn)，甚至無(wú)法實(shí)現(xiàn)預(yù)期成果。
事實(shí)上，這些失敗背后的一個(gè)重要原因是架構(gòu)師主要關(guān)注功能需求而忽略了同樣重要的非功能性需求。這些非功能性需求，例如可擴(kuò)展性、性能、安全性和數(shù)據(jù)質(zhì)量，對(duì)于數(shù)據(jù)架構(gòu)項(xiàng)目的成功至關(guān)重要。
不幸的是，如果不能充分滿(mǎn)足這些非功能性需求，就會(huì)導(dǎo)致項(xiàng)目失敗。例如，根據(jù)Gartner發(fā)布的一份報(bào)告，大約85% 的大數(shù)據(jù)項(xiàng)目會(huì)失敗，這通常是由于缺乏研究和規(guī)劃，以及架構(gòu)師忽視了這些關(guān)鍵的非功能性方面。
在本文中，我們將探討可能導(dǎo)致數(shù)據(jù)湖、數(shù)據(jù)湖倉(cāng)和數(shù)據(jù)編織項(xiàng)目失敗的常見(jiàn)錯(cuò)誤。通過(guò)了解這些錯(cuò)誤并實(shí)施預(yù)防措施，可以增加成功的機(jī)會(huì)并最大限度地提高數(shù)據(jù)項(xiàng)目的價(jià)值。
錯(cuò)誤 1：缺乏明確的業(yè)務(wù)目標(biāo)和用例
項(xiàng)目失敗的主要原因之一是缺乏明確的業(yè)務(wù)目標(biāo)和用例。如果沒(méi)有明確的目的和與組織目標(biāo)的一致性，項(xiàng)目可能會(huì)缺乏方向并且無(wú)法產(chǎn)生有意義的成果。
例子：
想象一下，ABC 公司想要建造一個(gè)巨大的倉(cāng)庫(kù)來(lái)存放他們所有的東西。但他們沒(méi)有計(jì)劃好要用它做什么，而是不斷地添加越來(lái)越多的東西。衣服最后堆在電子產(chǎn)品旁邊，家具堆在箱子上——一片混亂!
當(dāng)沒(méi)有明確目標(biāo)時(shí)，數(shù)據(jù)湖、數(shù)據(jù)湖倉(cāng)和數(shù)據(jù)編織就會(huì)出現(xiàn)這種情況。ABC 公司的數(shù)據(jù)解決方案最終獲得了各種各樣的信息，但沒(méi)有人確切知道他們需要這些信息做什么。不同的人想要不同的東西，數(shù)據(jù)并沒(méi)有根據(jù)任何人的特定需求進(jìn)行組織。最后，數(shù)據(jù)解決方案更像是一個(gè)垃圾抽屜——很難找到任何有用的東西!
預(yù)防措施：
· 明確定義數(shù)據(jù)架構(gòu)計(jì)劃旨在解決的業(yè)務(wù)目標(biāo)和用例。
· 讓不同業(yè)務(wù)部門(mén)的利益相關(guān)者參與進(jìn)來(lái)，了解他們的具體數(shù)據(jù)需求并確保滿(mǎn)足他們的需求。
錯(cuò)誤二：數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量保證不足
忽視數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量會(huì)導(dǎo)致不可靠的見(jiàn)解并阻礙決策。數(shù)據(jù)治理實(shí)踐不足和數(shù)據(jù)質(zhì)量差會(huì)導(dǎo)致對(duì)數(shù)據(jù)架構(gòu)失去信任，從而導(dǎo)致項(xiàng)目失敗。
例子：
ABC 公司將其數(shù)據(jù)解決方案構(gòu)建為辦公室的公共冰箱。任何人都可以添加任何他們想要的東西，無(wú)需檢查或貼標(biāo)簽。這意味著優(yōu)質(zhì)食品最終會(huì)與神秘的容器和過(guò)期的酸奶放在一起。沒(méi)有人知道他們能信任什么，所以沒(méi)有人用冰箱來(lái)做任何重要的事情。
同樣，ABC 的數(shù)據(jù)解決方案也因沒(méi)有數(shù)據(jù)“規(guī)則”而受到影響。不準(zhǔn)確或不一致的信息最終混入了好信息中。由于沒(méi)有人知道該相信什么，有價(jià)值的數(shù)據(jù)變得毫無(wú)用處。如果對(duì)數(shù)據(jù)不信任，ABC 就無(wú)法根據(jù)數(shù)據(jù)做出正確的決策。
預(yù)防措施：
· 建立強(qiáng)大的數(shù)據(jù)治理框架，明確角色、職責(zé)和政策。
· 實(shí)施數(shù)據(jù)質(zhì)量保證流程，包括數(shù)據(jù)分析、數(shù)據(jù)清理和數(shù)據(jù)驗(yàn)證技術(shù)。
· 定期監(jiān)控并改進(jìn)數(shù)據(jù)質(zhì)量，以確保準(zhǔn)確性和可靠性。
錯(cuò)誤 3：數(shù)據(jù)集成不良和數(shù)據(jù)管道不足
數(shù)據(jù)集成是集中式數(shù)據(jù)架構(gòu)的一個(gè)關(guān)鍵方面。如果數(shù)據(jù)集成處理不當(dāng)，項(xiàng)目可能會(huì)失敗，從而導(dǎo)致數(shù)據(jù)孤島、數(shù)據(jù)不一致和數(shù)據(jù)可訪問(wèn)性受限。
例子：
ABC 公司計(jì)劃舉辦一場(chǎng)盛大的聚會(huì)，但他們沒(méi)有安排客人和食物的順暢流動(dòng)，而是依靠人們一件一件地搬運(yùn)東西。這造成了混亂!來(lái)自不同部門(mén)(營(yíng)銷(xiāo)、銷(xiāo)售)的人最終把他們的零食(數(shù)據(jù))藏了起來(lái)。任何零食(見(jiàn)解)都花了很長(zhǎng)時(shí)間才到達(dá)聚會(huì)(決策)，一些美味的食物(有價(jià)值的數(shù)據(jù))甚至從未送達(dá)!
與 ABC 的派對(duì)類(lèi)似，數(shù)據(jù)解決方案中缺乏數(shù)據(jù)集成就像信息被困在孤島中。如果沒(méi)有適當(dāng)?shù)墓艿?如組織良好的服務(wù)員!)，來(lái)自不同來(lái)源(部門(mén))的數(shù)據(jù)就無(wú)法連接。這使得很難快速訪問(wèn)所有信息(數(shù)據(jù)延遲)，一些有價(jià)值的數(shù)據(jù)可能會(huì)完全丟失(訪問(wèn)受限)。
預(yù)防措施：
· 采用現(xiàn)代數(shù)據(jù)集成方法，例如數(shù)據(jù)管道、數(shù)據(jù)虛擬化和數(shù)據(jù)編排工具。
· 建立強(qiáng)大的數(shù)據(jù)提取和轉(zhuǎn)換流程，以確保數(shù)據(jù)順利流入架構(gòu)。
· 實(shí)施支持可擴(kuò)展性、性能和實(shí)時(shí)數(shù)據(jù)處理的數(shù)據(jù)集成技術(shù)。
錯(cuò)誤4：忽視安全和隱私措施
不適當(dāng)?shù)?a href=http://www.yizongshi.cn/index.php?m=content&c=index&a=infolist2021&typeid=1&siteid=1&type=keyword&serachType=2&key=%E5%AE%89%E5%85%A8 style='color:#57A306' target='_blank'>安全和隱私措施可能會(huì)使敏感數(shù)據(jù)暴露給未經(jīng)授權(quán)的訪問(wèn)，并損害數(shù)據(jù)完整性。未能優(yōu)先考慮安全和隱私可能會(huì)導(dǎo)致項(xiàng)目因不遵守法規(guī)和失去信任而失敗。
例子：
ABC 公司的數(shù)據(jù)解決方案就像沒(méi)有保安的公共公園一樣。任何人都可以走進(jìn)去拿走他們想要的任何東西!這意味著敏感信息(如客戶(hù)地址和購(gòu)買(mǎi)歷史)會(huì)暴露給任何路過(guò)的人。這不僅會(huì)導(dǎo)致數(shù)據(jù)被盜，還會(huì)讓 ABC 公司看起來(lái)對(duì)個(gè)人信息不負(fù)責(zé)任。他們甚至可能惹上法律麻煩!
就像公園需要安全措施來(lái)保護(hù)人們及其財(cái)物一樣，數(shù)據(jù)解決方案也需要安全措施來(lái)保護(hù)敏感數(shù)據(jù)。如果沒(méi)有適當(dāng)?shù)谋Ｗo(hù)措施，有價(jià)值的信息就會(huì)面臨風(fēng)險(xiǎn)，公司本身也可能面臨法律后果。
預(yù)防措施：
· 實(shí)施強(qiáng)大的安全措施，例如訪問(wèn)控制、加密和數(shù)據(jù)匿名化技術(shù)。
· 遵守?cái)?shù)據(jù)保護(hù)法規(guī)和行業(yè)最佳實(shí)踐，以保護(hù)敏感數(shù)據(jù)。
· 定期進(jìn)行安全審計(jì)和評(píng)估，以識(shí)別和解決漏洞。
錯(cuò)誤5：忽略可擴(kuò)展性和性能要求
數(shù)據(jù)架構(gòu)必須設(shè)計(jì)為能夠處理不斷增長(zhǎng)的數(shù)據(jù)量和用戶(hù)需求。忽視可擴(kuò)展性和性能考慮可能會(huì)導(dǎo)致瓶頸、查詢(xún)響應(yīng)時(shí)間緩慢和系統(tǒng)故障。
例子：
想象一下，ABC 公司建了一個(gè)小棚子來(lái)存放他們的園藝工具。但他們對(duì)園藝的熱愛(ài)導(dǎo)致他們收集了大量設(shè)備!棚子很快就堆滿(mǎn)了東西，耙子和鏟子纏在一起，軟管堵住了門(mén)。試圖找到任何東西都成了一件令人沮喪的苦差事。
同樣，ABC 的數(shù)據(jù)解決方案并非為處理日益增長(zhǎng)的信息量而構(gòu)建的。隨著他們收集的數(shù)據(jù)越來(lái)越多，系統(tǒng)變得超負(fù)荷。就像滿(mǎn)溢的倉(cāng)庫(kù)一樣，您需要花很長(zhǎng)時(shí)間才能找到所需的任何內(nèi)容(查詢(xún)響應(yīng)時(shí)間緩慢)，有時(shí)系統(tǒng)會(huì)完全崩潰(系統(tǒng)不穩(wěn)定)。這使得它無(wú)法跟上不斷增長(zhǎng)的數(shù)據(jù)流。
預(yù)防措施：
· 設(shè)計(jì)架構(gòu)時(shí)考慮可擴(kuò)展性，利用分布式文件系統(tǒng)和可擴(kuò)展存儲(chǔ)解決方案。
· 采用 Apache Spark 或云原生服務(wù)等技術(shù)進(jìn)行并行處理和高效數(shù)據(jù)分析。
· 持續(xù)監(jiān)控和優(yōu)化性能以確保響應(yīng)能力和可靠性。
錯(cuò)誤6：缺乏利益相關(guān)者的參與和用戶(hù)采用
成功的數(shù)據(jù)架構(gòu)項(xiàng)目需要利益相關(guān)者的積極參與和用戶(hù)的接受。未能讓利益相關(guān)者參與并確保用戶(hù)接受可能會(huì)導(dǎo)致阻力并阻礙項(xiàng)目的成功。
例子：
想象一下，ABC 公司建造了一座巨大的圖書(shū)館，但卻從未告訴過(guò)任何人!他們?cè)跁?shū)架上擺滿(mǎn)了書(shū)，但沒(méi)有人知道這些書(shū)在那里。人們不斷去他們熟悉的老書(shū)店(電子表格和報(bào)告)獲取信息。新圖書(shū)館(數(shù)據(jù)解決方案)仍然空著，無(wú)人使用。
當(dāng)利益相關(guān)者(不同部門(mén))沒(méi)有參與構(gòu)建數(shù)據(jù)解決方案時(shí)，就會(huì)發(fā)生這種情況。ABC 構(gòu)建系統(tǒng)時(shí)沒(méi)有詢(xún)問(wèn)用戶(hù)(員工)他們實(shí)際需要什么信息。結(jié)果，沒(méi)有人知道如何使用數(shù)據(jù)解決方案，甚至不知道它的存在!如果沒(méi)有用戶(hù)采用，解決方案中的寶貴數(shù)據(jù)將無(wú)法得到利用，無(wú)法用于做出更好的決策。
預(yù)防措施：
·從一開(kāi)始就讓利益相關(guān)者參與，讓他們參與決策并收集他們的反饋。
· 向利益相關(guān)者和最終用戶(hù)傳達(dá)架構(gòu)的優(yōu)勢(shì)和價(jià)值。
· 提供培訓(xùn)、支持和持續(xù)參與，以促進(jìn)采用和利用。
錯(cuò)誤七：變更管理和項(xiàng)目治理不足
忽視變更管理和項(xiàng)目治理會(huì)影響進(jìn)度并導(dǎo)致項(xiàng)目失敗。如果沒(méi)有適當(dāng)?shù)谋O(jiān)督和管理，項(xiàng)目可能會(huì)面臨延誤、范圍蔓延和缺乏問(wèn)責(zé)制。
例子：
想象一下，ABC 公司決定翻新他們的廚房。他們首先拆除墻壁，但由于沒(méi)有明確的計(jì)劃或負(fù)責(zé)人，事情很快就變得一團(tuán)糟。他們不斷添加新想法(購(gòu)買(mǎi)精美的烤箱，安裝天窗)，卻忘記了最初的目標(biāo)(修理漏水的水龍頭)。這個(gè)項(xiàng)目拖延了很久，花費(fèi)遠(yuǎn)遠(yuǎn)超出預(yù)期，而廚房仍然無(wú)法使用。
與 ABC 的廚房改造類(lèi)似，沒(méi)有適當(dāng)變更管理的數(shù)據(jù)解決方案項(xiàng)目是災(zāi)難的根源。沒(méi)有明確的方向(項(xiàng)目治理)和明確的步驟(變更管理)，項(xiàng)目就會(huì)失去重點(diǎn)。新功能和請(qǐng)求(范圍蔓延)不斷增加，導(dǎo)致延誤和成本膨脹。沒(méi)有人知道誰(shuí)負(fù)責(zé)什么，導(dǎo)致混亂，最終導(dǎo)致項(xiàng)目失敗。數(shù)據(jù)解決方案最終無(wú)法使用，就像半拆毀的廚房一樣。
預(yù)防措施：
· 制定強(qiáng)有力的變革管理策略來(lái)管理組織和文化轉(zhuǎn)變。
· 建立具有明確角色、職責(zé)和決策流程的有效項(xiàng)目治理。
· 定期評(píng)估項(xiàng)目進(jìn)度，識(shí)別風(fēng)險(xiǎn)，并采取糾正措施，以確保項(xiàng)目成功。
小結(jié)
避免這些常見(jiàn)錯(cuò)誤對(duì)于數(shù)據(jù)湖、數(shù)據(jù)湖倉(cāng)和數(shù)據(jù)架構(gòu)項(xiàng)目的成功至關(guān)重要。通過(guò)解決與業(yè)務(wù)目標(biāo)、數(shù)據(jù)治理、數(shù)據(jù)集成、安全性、可擴(kuò)展性、利益相關(guān)者參與和項(xiàng)目治理相關(guān)的問(wèn)題，您可以降低風(fēng)險(xiǎn)并提高實(shí)現(xiàn)預(yù)期結(jié)果的可能性。采取預(yù)防措施，根據(jù)具體項(xiàng)目情況進(jìn)行調(diào)整，并持續(xù)監(jiān)控和改進(jìn)數(shù)據(jù)架構(gòu)計(jì)劃，以充分發(fā)揮數(shù)據(jù)資產(chǎn)的潛力。
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。
數(shù)據(jù)分類(lèi)分級(jí)方法、標(biāo)準(zhǔn)及應(yīng)用實(shí)踐
