QQ交談
您所在位置：請輸入產品關鍵字：
郵編：200431
聯系人：王小姐
電話：021-56640936
傳真：021-33250231
手機：13122441390 15900755943
留言：發送留言
個性化：www.shifengsj.com
網址：www.shfeng-edu.com
商鋪：http://www.xldjsj.com/st236594/
類腦信息處理研究取得進展
點擊次數：1511 發布時間：2018-5-30
近期，中國科學院自動化研究所類腦智能研究中心類腦信息處理（BRAVE）研究組，在研究員張兆翔的帶領下，在借鑒生物神經結構、認知機制與學習特性的神經網絡建模與類人學習研究中取得了一系列突破性進展。該研究組在“視聽模態的生成、融合”以及“智能體之間的知識遷移”取得了重大突破，系列成果發表在AAAI 2018上。
在“視聽模態的融合”問題中，該研究組提出了有效將聽覺信息融合在視頻描述生成框架中的特征融合策略，并取得了理想的效果； 在“視聽模態的生成”問題中，該研究組提出了一個跨模態循環對抗生成網絡、一個聯合對應對抗損失函數和一個動態多模態分類網絡，構建出更有效的視聽跨模態相互生成模型；在“智能體之間的知識遷移”問題中，該研究組將一種新類型的知識——交叉樣本相似性引入到深度度量學習中，將知識形式化成一個教師和學生網絡間的排序匹配問題，將經典的基于列的學習轉換成排序學習算法，這一方法可大幅提高學生網絡的性能，也可得到較傳統方法更好的遷移性能。
1.視聽模態的融合
視頻描述生成在很多領域中有著潛在應用，比如人機交互、盲人輔助和視頻檢索。近些年來，受益于卷積神經網絡CNN，遞歸神經網絡和大規模的視頻描述數據集，視頻描述生成已經取得比較理想的結果。
大多數視頻描述生成框架可以分為一個編碼器和一個解碼器，編碼器對視頻特征進行編碼形成一個固定長度的視頻特征向量，解碼器基于該視頻特征生成對應的視頻描述子。研究者們針對定長的視頻特征描述子提出了一些方法，比如對視頻幀進行池化操作，下采樣固定長度的視頻幀，在遞歸網絡視頻特征編碼階段提取zui后一個時刻的狀態表示。
雖然上述方法均可生成比較合理的視頻描述，但是這些模型的視頻特征編碼都只側重于視覺信息而忽略了音頻信息。該課題組認為，忽視聲音模態會損害模型性能。比如，一個人躺在床上唱歌。大部分傳統的視頻描述生成方法只關注視覺信息而忽略聲音信息，可能會產生語義不完整的句子：“一個人躺在床上”。如果可以將音頻信息結合到模型中，就可以產生語義完整的句子“一個人躺在床上唱歌”。
那么如何更合理地利用視聽覺信息？課題組提出并分析了三種視聽覺特征深度融合框架（如圖1所示），*種為將視聽覺信息簡單并連在一起，第二種在視聽特征編碼階段共享LSTM內部記憶單元，建立視聽模態間的短時依賴性，第三種在視聽特征編碼階段共享外部記憶單元，建立視聽模態的長時依賴性。
同時，為了處理聽覺模態缺失問題，課題組提出了一個動態多模態特征融合框架（如圖2所示）。其核心模塊為由一個編碼器和一個解碼器組成的聽覺推理模型。聽覺推理模型具體為將視覺特征輸入編碼器進行編碼，利用解碼器解碼出對應的聽覺特征，通過在生成的聽覺特征與真實的聽覺特征之間增加L2范數約束來更新該模型參數，并實現視覺特征到聽覺特征的準確映射。模型在MSR-VTT、MSVD數據集上取得了理想的效果。
2.視聽模態的生成
視聽模態是視頻中的兩個共生模態，包含相同和互補信息。利用共同信息可實現模態間的相互轉換。同時，互補信息可作為先驗去輔助相關工作。因此，充分利用視聽模態間的共同和互補信息可以進一步增強相關任務的性能。然而，由于環境干擾和傳感器故障等因素，其中的一個模態會受損或者缺失，從而帶來一些嚴重的問題，比如消音的影片或者模糊的屏幕。如果可以基于已知模態生成缺失模態，會給許多多媒體任務帶來好處。因此，課題組致力于創建有效的視聽跨模態相互生成模型。
傳統的跨模態相互生成方法主要存在以下幾個問題，一是模態間存在嚴重的結構、維度和信息不對稱性，導致跨模態相互生成的質量不理想。二是模態間的相互生成是獨立的，具有很大的不便性。三是其訓練過程并不是端到端的。
為解決上述問題，課題組提出基于循環對抗生成網絡的跨模態相互生成模型（CMCGAN）。（如圖3所示）
該模型包含四個子網絡，分別為A-V（聽覺到視覺），V-A（視覺到聽覺），A-A（聽覺到聽覺）和V-V（視覺到視覺）子網絡。每個子網絡均由一個編碼器和一個解碼器組成。這四種子網絡以對稱的形式組成了兩種生成路徑，一種是V-A-V/A-V-A（視覺-聽覺-視覺/聽覺-視覺-聽覺），另一種為跨模態生成路徑A-A-V/V-V-A(聽覺-聽覺-視覺/視覺-視覺-聽覺)。
受益于CMCGAN，課題組同時也提出了一個動態多模態分類網絡。若輸入有兩個模態，則首先將它們進行融合然后輸入到后續的分類網絡中。若輸入只有一個模態，則可基于CMCGAN生成缺失模態，然后將已知模態和缺失模態輸入到后續的動態多模態分類網絡中。在該研究中，研究組提出了一個跨模態循環對抗生成網絡去實現跨模態的視聽相互生成；提出了一個聯合對應對抗損失函數將視聽相互生成集成在一個統一的框架中，該損失函數不僅可以區分圖像來自原始樣本集還是生成集，而且可以判斷（圖像，聲音）是否匹配；針對不同模態的輸入，提出了一個動態多模態分類網絡。
3.智能體之間的知識遷移
度量學習是許多計算機視覺任務的基礎，包括人臉驗證，行人再識別等。近年，基于度量損失函數指導的端到端深度度量學習取得了很大的成功。這些深度度量學習成功的關鍵因素是網絡結構的強大。然而，隨著所需表征特征的增強，網絡結構變的更深更寬從而帶來了嚴重的計算負擔。在現實世界的許多應用如無人駕駛上，由于硬件資源的限制，使用這些網絡會導致系統產生嚴重的延時。為保證安全性，這些系統需要實時的響應。因此，很難將的網絡結構設計應用到該研究的系統中。
為緩解該問題，研究者們提出了許多模型加速的方法，可簡單分為三類：網絡剪枝，模型量化和知識遷移。網絡剪枝迭代地刪除對zui后決策不太重要的神經元或權值。模型量化通過降低網絡中權值和激活函數的表達準確性來增加了網絡的吞吐量。知識遷移使用一個更大更強的老師網絡去指導一個小的學生網絡的學習過程。在這些方法中，基于知識遷移的方法是實際價值的。跟其他需要定制硬件或者實現細節的方法相比，知識遷移在沒有額外開銷的情況下也可得到相當的模型加速性能。
知識蒸餾和它的變體是知識遷移領域的核心方法。盡管它們所使用的知識形式不同，但都只針對于單個樣本。也就是說，這些方法中的教師網絡不管在分類層還是中間特征層都只為每個樣本提供監督信息。所有這些方法均忽略了另外一種有價值的度量——不同樣本之間的關系。這類知識同樣編碼了教師網絡中所嵌入的空間結構。同時，該種知識所使用的實例水平的監督信息符合度量學習的目標。圖4展示了研究組的動機。右上角展示了知識遷移后學生網絡可以更好的捕捉圖像相似性。數字0與6的相似性比數字3、4、5與6的相似性更大，因此等級更高。該研究中，課題組解決了以下幾個問題：將一種新類型的知識——交叉樣本相似性引入到深度度量學習中；將知識形式化成一個教師和學生網絡間的排序匹配問題，將經典的基于列的學習轉換成排序學習算法并致力于解決它；在不同度量學習任務上測試該方法，均可極大地提高學生網絡的性能。另外，與目前的方法融合后可得到更好的遷移性能。
以上研究得到了國家自然科學基金、微軟合作研究項目的資助