圖：谷歌ACE模型揭示了圖像分類器做出決策的秘密

【網易智能訊10月17日消息】人們通常認為，隨著人工智能（AI）系統變得越來越復雜，它會變得越來越不容易解釋。但是研究人員已經開始通過像Facebook的模型可解釋庫Captum來挑戰這一觀念。Captum利用深度學習框架PyTorch、IBM的AI Explainability 360工具包以及微軟的InterpreacML，解釋神經網絡如何做出決定。

為了讓AI的決策過程變得更加透明，來自谷歌和斯坦福的聯合研究團隊最近探索了一種機器學習模型，即基于概念的自動解釋模型(ACE)，它會自動提取“具有人類直覺意義”的視覺概念，并為模型的預測提供信息支持。

正如研究人員在詳述他們發現的論文中所解釋的那樣，大多數機器學習解釋方法都會改變單個特征(例如，像素、超像素或詞向量等)，以使每個特征達到近似目標模型重要性的水平。這是一種不完美的方法，因為它很容易受到輸入中哪怕是最小變量的影響。

相比之下，ACE通過在提取概念并確定每個概念的重要性之前，將訓練有素的分類器和屬于該類別的一組圖像作為輸入來識別較高級別的概念。具體地說，ACE使用多個分辨率對圖像進行分段，以捕獲幾個層次的紋理、目標部分和目標整體，然后將相似的分段作為相同概念的示例進行分組，并返回最重要的概念。

為了測試ACE的表現，研究團隊使用了谷歌的Inception-V3圖像分類器模型，該模型是在流行的ImageNet數據集上訓練的，并從數據集中的1000個類別中選擇了100個子集來應用ACE。他們指出，被標記為重要的概念往往遵循人類的直覺。例如，在探測警車時，執法部門的標志顯然比地面上的瀝青更重要。

然而，情況也并不總是這樣。在不太明顯的例子中，分類籃球圖像的最重要概念是球員的球衣而不是籃球本身。當涉及到旋轉木馬的分類時，燈光比顯然座位和支撐架更重要。

研究人員承認，ACE絕不是完美的，盡管它在努力以有意義地方式提取異常復雜或困難的概念。但他們相信，這種方法為模型學習相關性提供了洞察力，可能會促進更安全地使用機器學習技術。

研究人員寫道：“我們通過人體實驗驗證了ACE的意義和連貫性，并進一步驗證了它們確實攜帶用于預測的顯著信號。我們的方法可以自動將輸入的特征分類為高級概念，并將有意義的概念作為連貫的示例顯現出來，這對于正確預測它們所在的圖像非常重要。我們發現的概念顯示，模型能夠令人驚訝的學會理解潛在相關性。”（選自：VentureBeat 作者：Kyle Wiggers 編譯：網易智能 參與：小小）