作為新華制造的首席數(shù)據(jù)官(CDO),我本以為可以憑借十年的大數(shù)據(jù)經(jīng)驗(yàn),輕松地在這家傳統(tǒng)制造業(yè)公司實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)型。然而,現(xiàn)實(shí)給了我當(dāng)頭一棒。在這里,我不是在駕馭數(shù)據(jù)的浪潮,而是在與數(shù)據(jù)的泥沼搏斗。以下是我們?cè)噲D實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng),卻連最基本的數(shù)據(jù)分析都難以完成的血淚史。
數(shù)據(jù)收集:殘缺不全的拼圖
剛來(lái)公司時(shí),總經(jīng)理王志強(qiáng)信心滿滿地對(duì)我說(shuō):"老陳,我們有20年的生產(chǎn)數(shù)據(jù),這可是寶貴的財(cái)富啊!你一定能從中挖掘出金子來(lái)。"
然而,當(dāng)我真正開始梳理這些所謂的"寶貴財(cái)富"時(shí),我才意識(shí)到問(wèn)題的嚴(yán)重性。
首先,大部分早期數(shù)據(jù)都是紙質(zhì)存檔,需要人工錄入電子系統(tǒng)。我們花了整整兩個(gè)月,才將過(guò)去五年的數(shù)據(jù)勉強(qiáng)數(shù)字化。這個(gè)過(guò)程本身就充滿了挑戰(zhàn):
字跡辨認(rèn):許多手寫記錄已經(jīng)褪色或模糊不清,辨認(rèn)起來(lái)極其困難。有一次,我們花了整整一天時(shí)間,就為了確定一個(gè)數(shù)字是"3"還是"8"。
格式不一致:不同時(shí)期的記錄格式各不相同,有些甚至缺少關(guān)鍵信息。例如,2010年之前的生產(chǎn)記錄沒(méi)有記錄具體的生產(chǎn)時(shí)間,只有日期。
人為錯(cuò)誤:在長(zhǎng)達(dá)兩個(gè)月的數(shù)據(jù)錄入過(guò)程中,inevitably產(chǎn)生了大量的人為錯(cuò)誤。我們后來(lái)隨機(jī)抽查了1000條記錄,發(fā)現(xiàn)錯(cuò)誤率高達(dá)15%。
其次,即便是近年來(lái)的電子數(shù)據(jù),也是殘缺不全。生產(chǎn)系統(tǒng)中的很多關(guān)鍵參數(shù),比如設(shè)備運(yùn)行時(shí)間、原材料批次等,都沒(méi)有被系統(tǒng)性地記錄下來(lái)。
我找到負(fù)責(zé)生產(chǎn)的老張?jiān)儐?wèn)情況。他無(wú)奈地說(shuō):"小陳啊,你是不知道我們車間的情況。操作工人們哪有時(shí)間每次都記錄這些數(shù)據(jù)?能保證生產(chǎn)正常運(yùn)轉(zhuǎn)就不錯(cuò)了。再說(shuō),你讓一個(gè)剛進(jìn)廠的年輕工人記錄設(shè)備參數(shù),他們懂嗎?"
我試圖說(shuō)明這些數(shù)據(jù)的重要性,但老張擺擺手說(shuō):"我理解你的想法,但現(xiàn)實(shí)是,我們連基本的生產(chǎn)任務(wù)都快完不成了。上個(gè)月因?yàn)橼s工,有兩個(gè)年輕工人差點(diǎn)出了安全事故。在這種情況下,你讓我們還要花時(shí)間記錄這些看不見摸不著的數(shù)據(jù)?"
更讓我頭疼的是,不同部門、不同系統(tǒng)之間的數(shù)據(jù)格式完全不統(tǒng)一。銷售部門用的是Excel表格,生產(chǎn)部門用的是老舊的MES系統(tǒng),財(cái)務(wù)部門則是另一套獨(dú)立的財(cái)務(wù)軟件。這些數(shù)據(jù)就像是來(lái)自不同星球的外語(yǔ),根本無(wú)法直接進(jìn)行關(guān)聯(lián)分析。
例如,當(dāng)我試圖分析某個(gè)產(chǎn)品的利潤(rùn)率時(shí),遇到了這樣的情況:
銷售系統(tǒng)中,產(chǎn)品名稱是"高強(qiáng)度合金鋼板(Type A)"
生產(chǎn)系統(tǒng)中,同一產(chǎn)品被稱為"1號(hào)鋼板"
財(cái)務(wù)系統(tǒng)中,它的編碼是"SKU-10086"
這種不一致性導(dǎo)致我們無(wú)法直接將銷售數(shù)據(jù)、生產(chǎn)數(shù)據(jù)和財(cái)務(wù)數(shù)據(jù)關(guān)聯(lián)起來(lái)。每做一次跨部門的數(shù)據(jù)分析,都需要手動(dòng)進(jìn)行大量的數(shù)據(jù)匹配工作。
數(shù)據(jù)存儲(chǔ):雜亂無(wú)章的"數(shù)據(jù)倉(cāng)庫(kù)"
在解決了初步的數(shù)據(jù)收集問(wèn)題后,我們面臨的下一個(gè)挑戰(zhàn)是如何有效地存儲(chǔ)這些數(shù)據(jù)。我本以為公司會(huì)有一個(gè)統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù),但現(xiàn)實(shí)再次給了我當(dāng)頭一棒。
首先,公司根本沒(méi)有專門的數(shù)據(jù)存儲(chǔ)系統(tǒng)。各個(gè)部門的數(shù)據(jù)都是分散存儲(chǔ)在各自的服務(wù)器或者個(gè)人電腦上。有些重要數(shù)據(jù)甚至僅存在于某個(gè)員工的U盤里!
我找到IT部門的老李,詢問(wèn)為什么不建立一個(gè)中央數(shù)據(jù)倉(cāng)庫(kù)。老李苦笑著說(shuō):"陳總,你是不知道啊。我們幾年前提過(guò)這個(gè)建議,但是被財(cái)務(wù)部門拒絕了。他們覺(jué)得這個(gè)投入太大,看不到直接的回報(bào)。"
更糟糕的是,即使是已經(jīng)存儲(chǔ)的數(shù)據(jù),其管理也是一團(tuán)糟。沒(méi)有統(tǒng)一的命名規(guī)則,沒(méi)有版本控制,甚至連基本的備份機(jī)制都沒(méi)有。
有一次,我們需要分析過(guò)去三年的銷售數(shù)據(jù)。結(jié)果發(fā)現(xiàn)2019年的數(shù)據(jù)文件被不小心刪除了,而且沒(méi)有備份。最后我們不得不花了一周時(shí)間,從各種零散的報(bào)表和郵件中重新拼湊那一年的數(shù)據(jù)。
另一個(gè)問(wèn)題是數(shù)據(jù)的實(shí)時(shí)性。由于缺乏自動(dòng)化的數(shù)據(jù)更新機(jī)制,很多數(shù)據(jù)都是定期手動(dòng)更新的。這導(dǎo)致我們?cè)谧龇治鰰r(shí),經(jīng)常發(fā)現(xiàn)使用的是過(guò)時(shí)的數(shù)據(jù)。
例如,有一次我們基于庫(kù)存數(shù)據(jù)做了一個(gè)生產(chǎn)計(jì)劃的優(yōu)化方案。結(jié)果等方案實(shí)施時(shí)才發(fā)現(xiàn),實(shí)際庫(kù)存與我們分析用的數(shù)據(jù)相差甚遠(yuǎn),導(dǎo)致整個(gè)方案完全不可行。
數(shù)據(jù)清洗:永無(wú)止境的體力活
好不容易解決了數(shù)據(jù)存儲(chǔ)問(wèn)題,我以為可以開始正式的數(shù)據(jù)分析了。然而,數(shù)據(jù)清洗這一步就幾乎耗盡了我們?nèi)康木Α?/p>
首先是大量的缺失值。比如在生產(chǎn)記錄中,經(jīng)常會(huì)出現(xiàn)設(shè)備狀態(tài)、生產(chǎn)批次等關(guān)鍵信息的空白。我們不得不一條一條地核實(shí),有時(shí)甚至需要翻閱紙質(zhì)的生產(chǎn)日志來(lái)補(bǔ)全信息。
有一次,我們發(fā)現(xiàn)2018年整個(gè)7月的生產(chǎn)數(shù)據(jù)都是空白的。經(jīng)過(guò)調(diào)查,原來(lái)是那個(gè)月負(fù)責(zé)數(shù)據(jù)錄入的員工請(qǐng)了長(zhǎng)假,而沒(méi)有安排其他人接手他的工作。這樣的"驚喜"在數(shù)據(jù)清洗過(guò)程中屢見不鮮。
然后是各種不一致的問(wèn)題。同一個(gè)產(chǎn)品,在銷售系統(tǒng)里叫"A型號(hào)",在生產(chǎn)系統(tǒng)里卻叫"1號(hào)產(chǎn)品",在財(cái)務(wù)系統(tǒng)里又有另一個(gè)編碼。我們花了整整一個(gè)月的時(shí)間,才勉強(qiáng)建立起了一個(gè)統(tǒng)一的產(chǎn)品編碼體系。
這個(gè)過(guò)程中,我們遇到了很多有趣的情況。比如,我們發(fā)現(xiàn)銷售系統(tǒng)中有一個(gè)叫"特殊鋼材X"的產(chǎn)品,銷量很大。但在生產(chǎn)系統(tǒng)和財(cái)務(wù)系統(tǒng)中,卻找不到這個(gè)產(chǎn)品的任何記錄。經(jīng)過(guò)反復(fù)詢問(wèn),我們才發(fā)現(xiàn)這其實(shí)是一個(gè)臨時(shí)性的促銷產(chǎn)品,是由幾種常規(guī)產(chǎn)品組合而成的。這種信息不一致的情況比比皆是,每一次都需要我們花大量時(shí)間去核實(shí)和統(tǒng)一。
更糟糕的是數(shù)據(jù)質(zhì)量問(wèn)題。在仔細(xì)審查后,我們發(fā)現(xiàn)至少15%的數(shù)據(jù)存在明顯的錯(cuò)誤。比如:
有些生產(chǎn)記錄顯示單件產(chǎn)品的生產(chǎn)時(shí)間只有1秒,明顯不符合常理。
一些銷售記錄的日期居然是在公司成立之前。
某些產(chǎn)品的庫(kù)存量顯示為負(fù)數(shù)。
一位客戶的年齡被記錄為135歲。
這些錯(cuò)誤數(shù)據(jù)不僅會(huì)導(dǎo)致分析結(jié)果的失真,還可能引發(fā)一系列的連鎖反應(yīng)。例如,那個(gè)庫(kù)存為負(fù)數(shù)的記錄,導(dǎo)致我們的庫(kù)存管理系統(tǒng)出現(xiàn)了嚴(yán)重錯(cuò)誤,差點(diǎn)造成一筆大訂單的延期交付。
我找到IT部門的小李,詢問(wèn)為什么不在系統(tǒng)輸入端就進(jìn)行數(shù)據(jù)驗(yàn)證。小李苦笑著說(shuō):"老陳,我們的核心系統(tǒng)是15年前開發(fā)的,哪有那么多豐富的功能啊。再說(shuō),你讓一線員工填那么多驗(yàn)證,他們有時(shí)間嗎?上次我們?cè)黾恿艘粋€(gè)簡(jiǎn)單的日期格式驗(yàn)證,結(jié)果車間主任就打電話來(lái)罵我們,說(shuō)耽誤他們工作。"
數(shù)據(jù)清洗工作進(jìn)行了整整三個(gè)月,期間我們幾乎每天都工作到深夜。即便如此,我們也只能說(shuō)勉強(qiáng)完成了"初步清洗"。因?yàn)殡S著分析工作的深入,我們不斷發(fā)現(xiàn)新的數(shù)據(jù)問(wèn)題,清洗工作似乎永無(wú)止境。
數(shù)據(jù)分析:算力不足的窘境
經(jīng)過(guò)三個(gè)月的艱苦"清洗",我們終于有了一個(gè)勉強(qiáng)可用的數(shù)據(jù)集。我滿懷期待地開始進(jìn)行一些基本的統(tǒng)計(jì)分析和建模工作。
然而,我很快就遇到了新的挑戰(zhàn):公司的IT基礎(chǔ)設(shè)施根本無(wú)法支撐起現(xiàn)代數(shù)據(jù)分析的需求。
我試圖用Python進(jìn)行一些基本的數(shù)據(jù)處理和可視化,結(jié)果發(fā)現(xiàn)公司的標(biāo)準(zhǔn)配置電腦連Jupyter Notebook都跑不動(dòng)。當(dāng)我打開一個(gè)包含100萬(wàn)行數(shù)據(jù)的CSV文件時(shí),電腦直接死機(jī)了。
無(wú)奈之下,我申請(qǐng)購(gòu)買一臺(tái)高性能的數(shù)據(jù)處理服務(wù)器。然而,這個(gè)看似簡(jiǎn)單的請(qǐng)求,卻引發(fā)了一場(chǎng)"公司大戲"。
首先是IT部門的反對(duì)。IT主管老王說(shuō):"我們公司的網(wǎng)絡(luò)和安全架構(gòu)不支持這種高性能服務(wù)器。如果要用,需要重新規(guī)劃整個(gè)IT架構(gòu)。"
然后是財(cái)務(wù)部門的質(zhì)疑。財(cái)務(wù)總監(jiān)小劉一臉為難地說(shuō):"老陳啊,你要理解,我們是做實(shí)體經(jīng)濟(jì)的。幾十萬(wàn)買臺(tái)計(jì)算機(jī),這投入產(chǎn)出比也太低了吧?你能保證這筆投資一定能帶來(lái)收益嗎?"
即便是支持我的生產(chǎn)部門,也提出了疑問(wèn)。生產(chǎn)總監(jiān)說(shuō):"與其花錢買新設(shè)備,不如把錢用來(lái)更新我們的生產(chǎn)線。那才是真正能提高效率的投資。"
在公司內(nèi)部進(jìn)行了無(wú)數(shù)次的討論和爭(zhēng)論后,我的申請(qǐng)最終還是被否決了。管理層的共同意見是:"現(xiàn)有條件下,先看看能做到什么程度吧。"
無(wú)奈之下,我只能用Excel進(jìn)行一些基礎(chǔ)的數(shù)據(jù)分析。然而,當(dāng)我試圖處理超過(guò)10萬(wàn)行的數(shù)據(jù)時(shí),Excel直接崩潰了。我不得不將數(shù)據(jù)集拆分成多個(gè)小文件,然后通過(guò)復(fù)雜的Excel公式在不同文件間進(jìn)行數(shù)據(jù)關(guān)聯(lián)。這個(gè)過(guò)程不僅耗時(shí)耗力,還極易出錯(cuò)。
有一次,我花了整整一周時(shí)間,終于完成了一個(gè)復(fù)雜的數(shù)據(jù)透視表,用于分析不同產(chǎn)品在不同地區(qū)的銷售趨勢(shì)。然而就在我準(zhǔn)備向管理層匯報(bào)時(shí),我發(fā)現(xiàn)由于Excel的自動(dòng)四舍五入,導(dǎo)致最終的匯總數(shù)據(jù)出現(xiàn)了嚴(yán)重偏差。我不得不重新檢查每一個(gè)計(jì)算步驟,最終在一個(gè)隱蔽的公式里找到了錯(cuò)誤。
這種種經(jīng)歷讓我深刻認(rèn)識(shí)到,在一個(gè)IT基礎(chǔ)設(shè)施嚴(yán)重落后的環(huán)境中,即使有了數(shù)據(jù),想要進(jìn)行有意義的分析也是一種奢望。我們不是在做數(shù)據(jù)分析,而是在與工具戰(zhàn)斗。
數(shù)據(jù)應(yīng)用:難以落地的分析結(jié)果
經(jīng)過(guò)不懈努力,我們終于完成了一份基本的生產(chǎn)效率分析報(bào)告。報(bào)告指出,如果優(yōu)化某些關(guān)鍵生產(chǎn)參數(shù),可能會(huì)提高10%的生產(chǎn)效率。
我興奮地將這個(gè)發(fā)現(xiàn)匯報(bào)給了生產(chǎn)部門。然而,生產(chǎn)經(jīng)理老王聽完后卻露出了為難的表情。
"老陳,你的分析很有道理。但是,你讓我們調(diào)整這些參數(shù),風(fēng)險(xiǎn)太大了。"老王解釋道,"我們的設(shè)備都用了十幾年了,萬(wàn)一出了問(wèn)題怎么辦?再說(shuō),按現(xiàn)在的方式,我們至少能保證產(chǎn)品質(zhì)量穩(wěn)定。"
我試圖進(jìn)一步解釋數(shù)據(jù)分析背后的邏輯:"老王,我理解你的顧慮。但是我們的分析是基于大量歷史數(shù)據(jù)的,而且我們建議的調(diào)整幅度并不大。我們可以先在一條生產(chǎn)線上小規(guī)模試驗(yàn)......"
老王打斷了我:"小陳啊,你是不了解我們車間的情況。我們的老師傅們,有的干了二三十年了。你讓他們?nèi)フ{(diào)整他們熟悉了幾十年的參數(shù),他們會(huì)愿意嗎?再說(shuō)了,萬(wàn)一真出了問(wèn)題,老板追究起來(lái),你負(fù)責(zé)得了嗎?"
我有些沮喪,但并不死心。我想也許從基層員工入手會(huì)更容易被接受。于是,我跑到車間,找到了一位年輕的操作工小李。
"小李,我們分析發(fā)現(xiàn),如果把這個(gè)參數(shù)從7調(diào)整到7.5,可能會(huì)提高產(chǎn)品的合格率。你愿意試試嗎?"我滿懷期待地問(wèn)。
小李看了看我,又看了看一旁的老師傅,為難地說(shuō):"陳總,您的意思我懂。但是,我們這兒都是跟著老師傅的經(jīng)驗(yàn)來(lái)的。您讓我自作主張去改參數(shù),傳出去了不好吧?"
就在這時(shí),一旁的老師傅張師傅插話了:"小陳啊,你是大學(xué)生,懂的東西多。但我們干了這么多年,哪個(gè)參數(shù)該怎么調(diào),心里都有數(shù)。你那個(gè)電腦分析,哪能比得上我們的經(jīng)驗(yàn)?"
我試圖解釋數(shù)據(jù)分析的科學(xué)性,但顯然,在他們眼中,多年的實(shí)踐經(jīng)驗(yàn)遠(yuǎn)比冰冷的數(shù)據(jù)更有說(shuō)服力。
這次經(jīng)歷讓我深刻認(rèn)識(shí)到,在一個(gè)長(zhǎng)期依賴經(jīng)驗(yàn)做決策的環(huán)境中,要讓人相信數(shù)據(jù)而不是自己的直覺(jué),比我想象的要困難得多。數(shù)據(jù)分析的結(jié)果,最終還是要落實(shí)到人的行為改變上。而這,恐怕是數(shù)據(jù)驅(qū)動(dòng)過(guò)程中最大的挑戰(zhàn)。
反思：從泥沼中找到方向
回顧這一年的掙扎,我不得不承認(rèn),我們對(duì)"數(shù)據(jù)驅(qū)動(dòng)"的理解太過(guò)膚淺,對(duì)其實(shí)施難度的估計(jì)嚴(yán)重不足。以下是基于我們真實(shí)經(jīng)歷的反思:
1、數(shù)據(jù)質(zhì)量是根本,而非技術(shù)
我們一開始就陷入了一個(gè)誤區(qū):過(guò)分關(guān)注先進(jìn)的分析技術(shù),而忽視了數(shù)據(jù)本身的質(zhì)量。那些令人頭疼的數(shù)據(jù)問(wèn)題 —— 手寫記錄難以辨認(rèn)、不同系統(tǒng)間的數(shù)據(jù)不一致、大量的錯(cuò)誤數(shù)據(jù) —— 才是真正阻礙我們前進(jìn)的絆腳石。沒(méi)有高質(zhì)量的數(shù)據(jù),再先進(jìn)的技術(shù)也只是空中樓閣。
2、重視流程,而非工具
我們投入了大量精力去爭(zhēng)取更先進(jìn)的數(shù)據(jù)分析工具,卻忽視了更根本的問(wèn)題:我們的業(yè)務(wù)流程是否支持有效的數(shù)據(jù)收集和使用?當(dāng)一線員工連基本的生產(chǎn)數(shù)據(jù)都沒(méi)時(shí)間記錄時(shí),再好的工具又有什么用?我們需要重新審視并優(yōu)化我們的業(yè)務(wù)流程,使數(shù)據(jù)收集成為日常工作的自然部分,而不是額外的負(fù)擔(dān)。
3、文化比技能更關(guān)鍵
我們低估了組織文化的影響。當(dāng)經(jīng)驗(yàn)豐富的員工更相信自己的直覺(jué)而非數(shù)據(jù)時(shí),當(dāng)不同部門將數(shù)據(jù)視為自己的"私產(chǎn)"而不愿分享時(shí),任何數(shù)據(jù)驅(qū)動(dòng)的嘗試都注定失敗。改變這種根深蒂固的文化,比提升技術(shù)能力更加困難,也更加重要。
4、價(jià)值導(dǎo)向,而非技術(shù)驅(qū)動(dòng)
我們?cè)煺娴匾詾?只要有了數(shù)據(jù)和分析工具,價(jià)值就會(huì)自然而然地產(chǎn)生。然而現(xiàn)實(shí)告訴我們,如果不能將數(shù)據(jù)分析與實(shí)際業(yè)務(wù)問(wèn)題緊密結(jié)合,如果不能證明數(shù)據(jù)能帶來(lái)實(shí)際的改進(jìn),那么所有的努力都將被視為華而不實(shí)的"花架子"。
5、循序漸進(jìn),切忌急于求成
我們想要一步到位,迅速實(shí)現(xiàn)"數(shù)據(jù)驅(qū)動(dòng)"。但現(xiàn)實(shí)是,連最基本的數(shù)據(jù)整合都面臨重重阻礙。從數(shù)據(jù)收集的困難,到數(shù)據(jù)清洗的繁瑣,再到分析結(jié)果難以落地,每一步都比我們預(yù)想的要艱難得多。我們需要學(xué)會(huì)在這個(gè)漫長(zhǎng)的過(guò)程中保持耐心,從小處著手,逐步推進(jìn)。
6、重視基礎(chǔ)設(shè)施,而非一味追求前沿
當(dāng)我們的標(biāo)準(zhǔn)配置電腦連基本的數(shù)據(jù)處理都吃力時(shí),談?wù)摳呒?jí)的數(shù)據(jù)分析技術(shù)顯然為時(shí)過(guò)早。我們需要正視IT基礎(chǔ)設(shè)施的重要性,在追求前沿技術(shù)之前,先確保有能力處理日常的數(shù)據(jù)工作。
7、平衡創(chuàng)新與現(xiàn)有經(jīng)驗(yàn)
我們?cè)噲D用數(shù)據(jù)分析結(jié)果去挑戰(zhàn)多年的實(shí)踐經(jīng)驗(yàn),結(jié)果遭遇了強(qiáng)烈的抵制。這讓我意識(shí)到,數(shù)據(jù)驅(qū)動(dòng)不應(yīng)該是對(duì)既有經(jīng)驗(yàn)的全盤否定,而應(yīng)該是對(duì)其的補(bǔ)充和驗(yàn)證。我們需要找到一種方法,將數(shù)據(jù)洞察與豐富的實(shí)踐經(jīng)驗(yàn)有機(jī)結(jié)合。
這些反思讓我們清醒地認(rèn)識(shí)到:在高喊"數(shù)據(jù)驅(qū)動(dòng)"之前,我們還有很長(zhǎng)的路要走。認(rèn)清現(xiàn)實(shí),夯實(shí)基礎(chǔ),找準(zhǔn)切入點(diǎn),持續(xù)改進(jìn) —— 這才是我們通向真正數(shù)據(jù)驅(qū)動(dòng)的必經(jīng)之路。只有腳踏實(shí)地地解決這些基礎(chǔ)問(wèn)題,我們才能逐步實(shí)現(xiàn)數(shù)據(jù)對(duì)業(yè)務(wù)的實(shí)質(zhì)性驅(qū)動(dòng)。這個(gè)過(guò)程可能漫長(zhǎng)而艱難,但也正是在這個(gè)過(guò)程中,我們的組織能力將得到真正的提升。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。
王愛民：智能制造發(fā)展重點(diǎn)與趨勢(shì)-決策
