筆者估計：除了圖像處理，從事工業(yè)大數(shù)據(jù)分析時，95%以上的工作都可以用線性回歸、決策樹、方差分析、頻譜分析、最大似然估計、取平均數(shù)等基本的統(tǒng)計或數(shù)據(jù)處理方法完成。但是，人們講到這些方法時，卻往往會把重點(diǎn)放在深度學(xué)習(xí)、模式識別等。

現(xiàn)實(shí)中，這些高級方法往往是“殺雞用牛刀”，反而不好用。因?yàn)檫@些方法，難以與人的知識和認(rèn)識結(jié)合起來。人們樂于宣傳這些方法的原因，除了便于發(fā)表文章，就是便于保密。從事相關(guān)工作的朋友必須明白；自己要對自己的時間負(fù)責(zé)。最好用簡單的辦法分析問題。

但是，做數(shù)據(jù)分析工作其實(shí)很不容易。即便對數(shù)學(xué)和統(tǒng)計學(xué)功底好的人來說，人才的“成才率”恐怕不會高于10%。那么，困難到底在什么地方？要理解這種困難，還是從《黑天鵝》中的那個故事談起。作者問道：一個硬幣丟了99次，每次都是正面朝上。請問第100次正面朝上的概率是多大？學(xué)霸的標(biāo)準(zhǔn)答案是：第100次正面朝上的概率與前面99次的結(jié)果沒有關(guān)系。所以，概率是50%。而老油條的答案則是：前面連續(xù)99次都朝上了，你還會認(rèn)為正面朝上的概率是50%嗎？前提不成立了！

現(xiàn)實(shí)中，數(shù)據(jù)分析的難點(diǎn)，在于認(rèn)清正確的前提。



錯誤使用統(tǒng)計分析方法的現(xiàn)象非常普遍。筆者在寶鋼工作時，看到鋼鐵行業(yè)同仁們寫的論文，就對辦公室的年輕人說：真想把這些論文作為反面案例，告訴大家什么是錯誤的分析方法。在這些例子中，有的回歸分析的前提不成立，有人在選取樣本時犯了初級錯誤。
這種現(xiàn)象并不奇怪。

筆者參與研究生面試時，經(jīng)常遇到這樣的事情：給學(xué)生出一道復(fù)雜的計算題，基本上都能正確地計算出來。但是，如果問基本的概念，很多人就回答不出來了。更有意思的是：如果把計算題出得特別簡單、不再需要采用復(fù)雜公式時，多數(shù)學(xué)生居然回答不出來了！
我們現(xiàn)在的教育，總是考核在“標(biāo)準(zhǔn)前提下，給出標(biāo)準(zhǔn)答案”。學(xué)生沒有懷疑“前提”的習(xí)慣。這樣的學(xué)生有知識，卻不會用知識。
回到前面的問題。用線性回歸可以清晰地分析一個變量的作用。但前提是其它變量的干擾較小、且具有隨機(jī)性。解決這個問題的辦法之一，是盡量固定其他變量。科學(xué)試驗(yàn)往往就是這么做。

但工業(yè)現(xiàn)場往往受各種約束，總會有很多干擾。而且，這些干擾并不是隨機(jī)的。變量選擇有問題時，小的非隨機(jī)干擾，就會對分析結(jié)果產(chǎn)生很大的影響。所以，做數(shù)據(jù)分析時，必須時刻警惕非隨機(jī)系統(tǒng)干擾的影響，并設(shè)法剔除它。

處理和發(fā)現(xiàn)非隨機(jī)的系統(tǒng)干擾很難。原因是這樣的因素太多。比如，任何一個變量的采集過程，都可能存在非隨機(jī)系統(tǒng)干擾。而識別這些干擾，需要更多的數(shù)據(jù)項。這樣，分析問題時面對的數(shù)據(jù)項就會越來越多。人的注意力就容易淹沒在數(shù)據(jù)的海洋中。更糟糕的是：受數(shù)據(jù)條件制約，有些系統(tǒng)干擾可能就是不可見的。

現(xiàn)場中的有些干擾往往難以排除。筆者曾經(jīng)遇到過這樣一件事：某鋼種的性能波動非常大。強(qiáng)度700MPa級的鋼種，波動的標(biāo)準(zhǔn)差就高達(dá)60MPa。筆者分析后認(rèn)為：這是某環(huán)節(jié)的系統(tǒng)干擾導(dǎo)致的。于是，筆者就設(shè)計了一個實(shí)驗(yàn)室試驗(yàn)、設(shè)法避開這種干擾。后來，同事在實(shí)驗(yàn)室里做了這個試驗(yàn)。他們做了幾十對試樣，每對試樣的強(qiáng)度差不超過3MPa.

對前提做出判斷的時候，往往需要較為全面的專業(yè)知識。這是制約數(shù)據(jù)分析人才“成才率”提高的主要原因。

利用統(tǒng)計軟件，做一次回歸分析只要幾秒鐘的時間。數(shù)據(jù)分析師的絕大多數(shù)時間都用來對數(shù)據(jù)合理性進(jìn)行分析。如果自己缺乏專業(yè)知識，可能幾分鐘就要去請教別人。別人豈不要煩死了？

合格的數(shù)據(jù)分析師，不僅要善于與數(shù)據(jù)打交道，更要善于理解物理對象和物理過程。


作者：郭朝暉(工學(xué)博士，教授級高工。企業(yè)研發(fā)一線工作20年；優(yōu)也科技信息公司首席科學(xué)家；東北大學(xué)、上海交大等多所院校兼職教授。國內(nèi)知名智庫、走向智能研究院的發(fā)起人之一。原寶鋼研究院首席研究員)