當(dāng)前人工智能落地應(yīng)用的繁榮很大程度上來自于機(jī)器學(xué)習(xí)（Machine Learning）尤其是深度學(xué)習(xí)（Deap Learning）的技術(shù)發(fā)展，但智能背后空茫的無法理解不可解釋始終讓人們質(zhì)疑人工智能是否必須可解釋才能用于一些高風(fēng)險場景，尤其是在醫(yī)療保健、金融和政府等關(guān)鍵領(lǐng)域。

深度學(xué)習(xí)即深度神經(jīng)網(wǎng)絡(luò)（Deap Neural Network），其特征在于無需經(jīng)過特點(diǎn)人為干預(yù)設(shè)計就能自主從大量數(shù)據(jù)中學(xué)習(xí)并構(gòu)建規(guī)律體系。然而在AI深度學(xué)習(xí)模型輸入數(shù)據(jù)和輸出結(jié)果之間，在復(fù)雜結(jié)構(gòu)層級的人工神經(jīng)網(wǎng)絡(luò)中，是大量人類難以理解的代碼和數(shù)值，無法準(zhǔn)確解釋AI在特定情況下做出特定預(yù)測的緣由。

這就是很多人聽說過的“AI可解釋性危機(jī)”。

3月23日，《Fortune》在一篇文章中指出，人工智能存在可解釋性危機(jī)，但它可能不是你想的那樣。在其文章末尾更是表達(dá)了“當(dāng)談到現(xiàn)實(shí)世界中的人工智能時，我們應(yīng)該關(guān)心的不是解釋而是驗(yàn)證”的觀點(diǎn)。

所以，對可解釋人工智能的追求有什么問題呢？

“我們認(rèn)為，通過當(dāng)前的可解釋性方法建立信任的愿望代表了一種虛假的希望：即個人用戶或受人工智能影響的用戶能夠通過審查解釋（即特定于該單個決定的解釋）來判斷人工智能決策的質(zhì)量。那些使用此類系統(tǒng)的人可能誤解了當(dāng)代可解釋性技術(shù)的能力——它們可以在一般意義上產(chǎn)生對人工智能系統(tǒng)如何工作的廣泛描述，但對于單個決策，這些解釋是不可靠的，或者在某些情況下，只能提供膚淺的解釋水平。”近日，麻省理工學(xué)院計算機(jī)科學(xué)家Marzyeh Ghassemi，澳大利亞機(jī)器學(xué)習(xí)研究所放射科醫(yī)生兼研究員Luke Oakden-Rayner和哈佛大學(xué)公共衛(wèi)生學(xué)院流行病學(xué)系研究員Andrew Beam在醫(yī)學(xué)雜志《柳葉刀數(shù)字健康》上發(fā)表的一篇論文中寫道。

為機(jī)器學(xué)習(xí)決策產(chǎn)生人類可理解的解釋的嘗試通常分為兩類：固有可解釋性和事后可解釋性。

對于輸入數(shù)據(jù)復(fù)雜性有限且易于理解的機(jī)器學(xué)習(xí)模型，量化這些簡單輸入與模型輸出之間的關(guān)系稱為固有可解釋性。比如從一開始就訓(xùn)練AI來識別某種疾病的原型特征，像肺部存在“毛玻璃”圖案，然后告訴醫(yī)生它認(rèn)為檢查的圖像與原型的匹配程度有多接近。

這看起來直觀簡單，但作者發(fā)現(xiàn)，這也很大程度上取決于人類的解釋——是否選擇了正確的原型特征，并在得出結(jié)論時對每個特征進(jìn)行了適當(dāng)?shù)募訖?quán)。

即使是固有可解釋模型也會因存在無法識別的混雜因素而難以真正生效。更別說在許多現(xiàn)代人工智能用例中，數(shù)據(jù)和模型過于復(fù)雜和高維，不能用輸入和輸出之間的簡單關(guān)系來解釋。

事后可解釋性思路是通過各種途徑剖析其決策過程。一種流行的事后可解釋性形式稱為熱圖，熱圖突出圖像的每個區(qū)域?qū)o定決策的貢獻(xiàn)程度，并且具有說明性，常用在醫(yī)學(xué)成像模型中。

圖說：用于檢測胸部X光肺炎的深度學(xué)習(xí)模型的事后解釋方法生成的熱圖
（根據(jù)深度神經(jīng)網(wǎng)絡(luò)，較亮的紅色表示重要性級別較高的區(qū)域，較深的藍(lán)色表示重要性級別較低的區(qū)域）

但Ghassemi等研究發(fā)現(xiàn)，本應(yīng)解釋為什么AI將患者歸類為肺炎的熱圖，即使是圖中“最熱區(qū)域”（最影響判斷區(qū)域）也包含著在醫(yī)生看來有用和無用的信息，簡單地定位該區(qū)域并不能準(zhǔn)確揭示模型認(rèn)為有用區(qū)域的確切內(nèi)容。

“臨床醫(yī)生不知道該模型是否恰當(dāng)?shù)卮_定了空域混濁的存在在決定中很重要，心臟邊界或左肺動脈的形狀是否是決定因素，或者該模型是否依賴于與人類不相關(guān)的特征，例如特定的像素值或紋理，可能與圖像采集過程有關(guān)，而不是潛在疾病，” Ghassemi、Oakden-Rayner和Beam寫道。

他們指出，在缺乏此類信息的情況下，人類傾向于假設(shè)人工智能正在研究人類臨床醫(yī)生會發(fā)現(xiàn)的重要特征。這種認(rèn)知偏差會使醫(yī)生對機(jī)器學(xué)習(xí)算法可能犯的錯誤視而不見。

研究人員還發(fā)現(xiàn)了其他流行的可解釋性方法的缺陷，如GradCam、LIME和Shapley Values。其中一些方法通過改變輸入的數(shù)據(jù)點(diǎn)，直到算法做出不同的預(yù)測，然后假設(shè)這些數(shù)據(jù)點(diǎn)對原來做的預(yù)測來說一定是最重要的。

但這些方法與熱圖有同樣的問題——它們可能會識別出對決策很重要的特征，但它們不能準(zhǔn)確告訴醫(yī)生為什么算法認(rèn)為這些特征很重要。如果這個特征讓醫(yī)生覺得違反直覺，醫(yī)生該怎么做？斷定算法是錯誤的，還是斷定它發(fā)現(xiàn)了以前醫(yī)學(xué)未知的臨床重要線索？任何一個都有可能。

更糟糕的是，不同的最新解釋方法在對算法結(jié)論的解釋上經(jīng)常存在分歧。在2月8日發(fā)表的《可解釋機(jī)器學(xué)習(xí)中的分歧問題：從業(yè)者的視角》論文中，來自哈佛大學(xué)、麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)和德雷克塞爾大學(xué)的研究人員發(fā)現(xiàn)，在現(xiàn)實(shí)世界中，大多數(shù)使用算法的人都無法解決這些差異，而且通常，正如Ghassemi等學(xué)者所建議的那樣，他們只是簡單地選擇了最符合他們現(xiàn)有想法的解釋。

卡內(nèi)基梅隆大學(xué)計算機(jī)科學(xué)教授Zachary Lipton在接受《Fortune》采訪時表示，“醫(yī)療保健領(lǐng)域領(lǐng)域每個認(rèn)真的人都知道，當(dāng)今大多數(shù)可解釋的AI都是無稽之談?！盠ipton表示，在他們的醫(yī)院部署了一個據(jù)稱可解釋的AI系統(tǒng)來解釋醫(yī)學(xué)圖像后，已經(jīng)有許多放射科醫(yī)生向他尋求幫助，這些圖像的解釋沒有意義——或者至少，與放射科醫(yī)生真正想要的東西無關(guān)。

然而，公司繼續(xù)將他們的AI系統(tǒng)推銷為“可解釋的”，Lipton表示，因?yàn)樗麄冋J(rèn)為他們必須這樣做才能進(jìn)行銷售，“他們說，‘如果沒有解釋，醫(yī)生不會相信它?！?但也許他們不應(yīng)該相信它?！?/p>

根據(jù)《英國醫(yī)學(xué)雜志》（The BMJ）2020年發(fā)表的一項(xiàng)研究，在最壞的情況下，提供解釋是為了掩蓋醫(yī)學(xué)成像中使用的大多數(shù)深度學(xué)習(xí)算法都沒有受到嚴(yán)格的雙盲隨機(jī)對照試驗(yàn)，而這些實(shí)驗(yàn)在新藥被批準(zhǔn)之前是必須的。

“我們建議可解釋AI的最終用戶，包括臨床醫(yī)生、立法者和監(jiān)管機(jī)構(gòu)，要意識到當(dāng)前存在的可解釋AI的局限性。我們認(rèn)為，如果希望確保人工智能系統(tǒng)能夠安全可靠地運(yùn)行，那么重點(diǎn)應(yīng)該放在嚴(yán)格和徹底的驗(yàn)證程序上?！盙hassemi、Oakden-Rayner和Beam得出了一個有點(diǎn)違反直覺的結(jié)論，即醫(yī)生不應(yīng)該專注于解釋，而應(yīng)該關(guān)注AI的作用效果，以及其是否經(jīng)過了嚴(yán)格、科學(xué)的測試。

他們指出，醫(yī)學(xué)充滿了醫(yī)生使用的藥物和技術(shù)，因?yàn)樗鼈兤鹱饔?，盡管沒有人知道為什么——對乙酰氨基酚已被用于治療疼痛和炎癥一個世紀(jì)，盡管我們?nèi)匀徊煌耆私馄錆撛跈C(jī)制。