當IT領導者們試圖從企業(yè)收集的數(shù)據(jù)中獲取商業(yè)價值的時候，他們面臨著無數(shù)挑戰(zhàn)。或許最不為人知的是，沒有很好地利用那些已經生成的、頻繁保存的、但卻被很少使用的數(shù)據(jù)，正在讓他們錯失各種機會。

這種以物理暗物質命名的所謂“暗數(shù)據(jù)”，是指在業(yè)務開展過程中經常收集到的信息：由員工、客戶和業(yè)務流程產生；由機器、應用和安全系統(tǒng)生成為日志文件；出于合規(guī)目的必須保存的文檔，以及不應該保存但仍然保存了的敏感數(shù)據(jù)。

根據(jù)Gartner稱，企業(yè)信息領域的大部分是由“暗數(shù)據(jù)”組成的，許多企業(yè)甚至不知道他們擁有多少暗數(shù)據(jù)。存儲暗數(shù)據(jù)會增加合規(guī)性和網絡安全風險，當然，也會增加成本。

弄清楚你有哪些暗數(shù)據(jù)、保存在哪里、其中包含哪些信息，這是確保暗數(shù)據(jù)有價值的部分是安全的、且不應該保留的部分被刪除的一個重要步驟。但挖掘這些隱藏數(shù)據(jù)的真正優(yōu)勢，是要讓企業(yè)真正地從這些數(shù)據(jù)中受益。

但挖掘暗數(shù)據(jù)并非易事。暗數(shù)據(jù)有很多種格式，有可能是完全未格式化的，例如存在于掃描文檔或者音頻、視頻文件中。

下面讓我們來看看這些企業(yè)組織是如何把暗數(shù)據(jù)轉化為商機的，以及業(yè)內人士給那些希望利用暗數(shù)據(jù)的IT領導者提供的建議。

來自賽車手的編碼音頻

五年來，Envision Racing收集了100多場電動方程式比賽的錄音，每場比賽都有20多名車手參加。

咨詢公司Genpact幫助Envision Racing利用這些數(shù)據(jù)，該公司全球分析負責人Amaresh Tripathy表示：“任何人都可以在開放頻率上收聽這些廣播流。”

此前，這支來自英國的賽車隊的賽車工程師試圖在比賽期間實時使用這些音頻傳輸，但車手使用的代號和首字母縮略詞使得他們很難弄清楚所說的內容以及如何使用這些音頻，因為Tripathy說，了解其他車手在說什么可以幫助Envision Racing的車手制定賽車策略。

“比如什么時候使用攻擊模式，什么時候超車，什么時候踩剎車，”他說。

Envision Racing還收集自己車隊車輛傳感器的數(shù)據(jù)，例如輪胎、電池和剎車，并從供應商那里購買外部數(shù)據(jù)，例如風速和降水量。

Genpact和Envision Racing展開合作從這些數(shù)據(jù)流中挖掘價值，利用自然語言處理構建深度學習模型來分析這些數(shù)據(jù)。從準備數(shù)據(jù)管道到提取數(shù)據(jù)、過濾掉噪音，再到進行有意義的對話，這個過程花了六個月的時間。

Tripathy說，人類需要5到10秒才能弄清楚他們聽到的內容，這種延遲使無線電通信變得毫無用處。由于人工智能模型的預測能力和洞察力，現(xiàn)在他們在一兩秒之內就能做出響應。

7月，在紐約舉行的ABB FIA電動方程式世界錦標賽上，Envision Racing車隊分別獲得了第一和第三名，Tripathy將這一結果歸功于利用了所謂的暗數(shù)據(jù)。

暗數(shù)據(jù)黃金：人工生成的數(shù)據(jù)

Envision Racing的音頻文件是人類生成型暗數(shù)據(jù)的一個例子，這種數(shù)據(jù)主要是供其他人使用，而不是被機器使用。數(shù)據(jù)歸檔平臺提供商ZL Technologies聯(lián)合創(chuàng)始人、首席執(zhí)行官Kon Leong表示，這種暗數(shù)據(jù)對企業(yè)來說是非常有用的。

他說：“這種數(shù)據(jù)對于理解企業(yè)所有要素是非常有用的，包括文化、績效、影響力、專業(yè)知識和敬業(yè)度。員工每天都在分享絕對海量的數(shù)字信息和知識，但到目前為止，這些信息和知識基本上都還沒有得到開發(fā)和利用?！?/p>

電子郵件、消息和文件中包含的信息可以幫助企業(yè)組織獲得洞察力，例如誰是組織中最有影響力的人。Leong說：“企業(yè)把80%的時間都花在了溝通上，但是只把1%的時間花費在數(shù)據(jù)分析上?！?/p>

處理人工生成的非結構化數(shù)據(jù)是極具挑戰(zhàn)性的。例如，通常不會設置數(shù)據(jù)倉庫來處理這些信息，而且收集這些信息可能會給企業(yè)帶來不得不應對的新問題，例如合規(guī)性、隱私和法律等等。

Leong說：“這些治理能力在如今的數(shù)據(jù)湖概念中并不存在，事實上，通過把數(shù)據(jù)收集到數(shù)據(jù)湖中，會生成另一個孤島，這會增加隱私和合規(guī)風險?！?/p>

相反，企業(yè)可以把這些數(shù)據(jù)保留在當前所在的位置，只需添加一層索引和元數(shù)據(jù)，實現(xiàn)可搜索性。他說，讓數(shù)據(jù)保持原狀，也能讓數(shù)據(jù)保留在現(xiàn)有的合規(guī)結構中。

有效的治理是關鍵

解決暗數(shù)據(jù)價值和來源存疑的另一種方法，是從可追溯性開始著手。

《Fundamentals of Data Observability》一書作者、數(shù)據(jù)可觀察性提供商Kensu的創(chuàng)始人Andy Petrella表示：“如今，暗數(shù)據(jù)被認為是一種可以利用的、尚未開發(fā)的資源，這是一個積極的行業(yè)趨勢?！?/p>

他說：“利用暗數(shù)據(jù)的挑戰(zhàn)在于人們對暗數(shù)據(jù)是信心不足的，尤其是在哪里、以何種方式收集這些數(shù)據(jù)。可觀察性可以讓數(shù)據(jù)沿襲變得更透明、具有可追溯性?？勺匪菪宰寯?shù)據(jù)質量檢查成為可能，使人們有信心使用這些數(shù)據(jù)來訓練AI模型，或者根據(jù)這些數(shù)據(jù)帶來的智能性采取行動?！?/p>

StoneTurn是一家專注于監(jiān)管、風險和合規(guī)問題的全球咨詢公司，該公司董事總經理Chuck Soha認為，處理暗數(shù)據(jù)的常用方法是把所有內容都放入數(shù)據(jù)湖中，而這會帶來重大風險。

他說，在金融服務行業(yè)尤其如此，多年來該行業(yè)一直是把數(shù)據(jù)發(fā)送到數(shù)據(jù)湖中?！霸诘湫偷钠髽I(yè)中，IT部門把所有可用的數(shù)據(jù)與一些基本元數(shù)據(jù)一起轉存到一個地方，并創(chuàng)建與業(yè)務團隊共享的流程。”

這適用于那些內部擁有必要分析人才或者為特定用途引入外部咨詢顧問的業(yè)務團隊，但在大多數(shù)情況下，這些舉措只是其中一個部分，Soha說。

“CIO們從以前的不知道他們還有什么是不了解的，轉變?yōu)橹浪麄冇心男┦遣涣私獾??！?/p>

相反，企業(yè)應該從數(shù)據(jù)治理開始著手，去了解他們都有哪些數(shù)據(jù)，存在哪些問題，其中數(shù)據(jù)質量是首要因素。

“利益相關者可以決定是對這些數(shù)據(jù)進行清理和標準化，還是從更好的信息管理實踐重新開始著手，”Soha認為，把精力投入在從那些包含有不一致或沖突信息的數(shù)據(jù)中提取洞察力，是一種錯誤的做法。

Soha建議，把各個業(yè)務部門內部已有的、良好的運營數(shù)據(jù)聯(lián)系起來，弄清楚這些數(shù)據(jù)之間的關系，有助于產生快速而有用的洞察，而且也不需要立即查看任何暗數(shù)據(jù)?！斑@么做還會讓你有機會去優(yōu)化你應該從暗數(shù)據(jù)的哪些方面開始著手?！?/p>

最后他說，AI在幫助利用非結構化數(shù)據(jù)方面也是非常有用處的?！叭祟愅ㄟ^使用機器學習和AI技術可以查看只有1%的暗數(shù)據(jù)，并對這些暗數(shù)據(jù)的相關性進行分類，然后強化學習模型可以快速生成對剩余數(shù)據(jù)的相關性評分，從而優(yōu)先考慮需要更仔細地查看哪些數(shù)據(jù)。”

利用AI提取價值

亞馬遜Textract、微軟Azure認知服務、IBM Datacap、以及谷歌Cloud Vision、Document、AutoML和NLP API都是常見的、用于處理暗數(shù)據(jù)的AI解決方案。

Tripathy說，在Genpact與Envision Racing的合作中，Genpact在內部對機器學習算法進行了編碼，這需要Docker、Kubernetes、Java、Python、以及NLP、深度學習和機器學習算法開發(fā)方面的知識，而且整個過程是由MLOps架構師管理的。

遺憾的是，這些技能是很難獲得。Splunk去年秋季發(fā)布的一份報告顯示，受訪的1300多名IT和業(yè)務決策者中，只有10%-15%的受訪者表示，他們所在的企業(yè)組織正在使用AI來解決暗數(shù)據(jù)的問題，缺乏必要的技能是利用暗數(shù)據(jù)的主要障礙，僅次于暗數(shù)據(jù)本身的數(shù)量。

一個問題（和一個機會）正在浮出水面

暗數(shù)據(jù)仍然是一個充滿風險和機會的寶庫。根據(jù)行業(yè)的不同，企業(yè)的暗數(shù)據(jù)估值從40%到90%不等。

由Quest贊助的、Enterprise Strategy Group在7月份發(fā)布的一份報告顯示，平均47%的數(shù)據(jù)是暗數(shù)據(jù)，有近1/5的受訪者表示他們的數(shù)據(jù)中有70%以上是暗數(shù)據(jù)。Splunk的調查也呈現(xiàn)出類似的結果，平均55%的企業(yè)數(shù)據(jù)是暗數(shù)據(jù)，1/3的受訪者表示，他們有75%或更多的數(shù)據(jù)是暗數(shù)據(jù)。

而且這個情況在好轉之前可能會變得更糟，因為有60%的受訪者表示，他們有超過一半的數(shù)據(jù)根本沒有被捕獲，甚至他們不理解其他大部分數(shù)據(jù)為何存在于此。隨著更多數(shù)據(jù)被發(fā)現(xiàn)和存儲，暗數(shù)據(jù)的數(shù)量也會持續(xù)增加。

對于CIO們來說，現(xiàn)在是時候去制定暗數(shù)據(jù)有關計劃、著眼于充分利用任何有希望為業(yè)務創(chuàng)造新價值的暗數(shù)據(jù)了。