• <source id="v7nyg"></source>
    <source id="v7nyg"></source>
      1. <u id="v7nyg"></u>

        研究生科研創新基金2019年成果簡介之六

        日期:2019-06-20作者:點擊:

        我校計算機學院2016級博士研究生胡鵬承擔的“基于多視圖學習的異構識別的研究”研究生科研創新基金課題,近期在《Knowledge-Based Systems》(IF=4.396)、《IEEE Transactions on Image Processing》(IF=5.071)和《International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)》等國際級期刊和會議上發表系列研究成果,導師彭德中教授為該系列成果的通訊作者。

        (1)       多視圖對抗網絡

        針對多視圖學習中潛在的對抗學習行為,本課題提出了一種多視圖對抗網絡,用于將多視圖數據投影到一個公共空間中,在這個空間中不同視圖之間的相似性可以通過相同的距離測量直接計算。本課題提出的方法由多個特定于視圖的生成器,判別器和多視圖判別分析(MDA)的損失函數組成。通過對抗學習,生成器與判別器相互對抗以消除模態相互之間的差異。此外,提出了一種新的MDA損失函數,盡可能多地將判別信息保存到生成的公共表征的所有可用維度中。但是,直接優化MDA的跡準則會導致一些問題。具體而言,判別函數將過分強調:1)已經分離的類之間的較大距離,2)最大的幾個特征值。這些問題可能導致對公共表征的不良判別性。為了解決這些問題,本課題提出了一種類間策略和一種特征值策略,分別削弱了最大的類間差異和主導的特征值。為了驗證所提方法的有效性,在四種廣泛使用的多視圖數據庫上進行了大量的實驗,與15種現有的方法進行了比較。利用對抗學習,能夠使得公共空間中的跨模態差異盡可能地被縮小。

        該研究以“Multimodal adversarial network for cross-modal retrieval”為題,發表在國際著名期刊《Knowledge-Based Systems》上,胡鵬為該研究的第一作者。

        (2)   多視圖線性判別網絡

        為了消除復雜的(通常是高度非線性)視圖差異使其有利于跨模態識別和檢索,本課題提出了一個多視圖線性判別分析網絡,它可以用來尋找在多個視圖之間共享的具有非線性判別和視圖不變的表征。與現有的直接學習公共空間以縮小視圖距離的多視圖方法不同,本課題提出的MvLDAN采用多個前饋神經網絡(每個視圖對應一個網絡)和一個新的基于特征值的多視圖目標函數來封裝盡可能多的判別差異到所有可用的共同特征維度中。利用所提出的目標函數,在所學習的多視圖空間中,可以將所獲得的深度特征投影到潛在的公共空間中,其中來自同一類的樣本盡可能彼此接近(即使它們來自不同視圖),并且來自不同類別的樣本盡可能彼此相距很遠(即使它們來自同一視圖)。為了驗證所提方法的有效性,該方法在五個數據集上1種現有方法進行比較,實驗結果表明該方法在跨模態識別與檢索任務上達到了目前的較高水平。

        該研究以“Multi-view linear discriminant analysis network”為題,發表在國際著名期刊《IEEE Transaction on Image Processing》上,胡鵬為該研究的第一作者。

        (3)       可擴展多視圖學習

        針對如何高效地應對大規模的多視圖數據以及新增視圖,本課題提出了一種新的跨模態檢索方法,稱為可擴展深度多視圖學習(SDML)。目前眾多研究者提出了一些跨模態檢索方法,這些方法以聯合方式學習公共子空間,其在整個訓練過程中必須涉及所有視圖的數據。對于這些方法,在處理來自新視圖的樣本時必須重新訓練整個模型。針對這樣的問題,本課題提出了一個預定義的公共子空間,其中類間變化最大化,而類內變化最小化。然后,SDML將多視圖數據分別轉換到預定義的公共子空間,以實現多視圖學習。與許多現有方法不同,該方法可以獨立地訓練不同的視圖特定網絡,因此可以擴展視圖的數量。在四個廣泛使用的基準數據集上的實驗結果表明所提出方法在多視圖學習中是有效的,并且優于跨模態檢索中的現有方法。該方法可以高效地應對大規模的視圖以及不斷新增的視圖。

               該研究以“Scalable deep multimodal learning for cross-modal retrieval”為題,發表在國際頂級會議《International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)》上,胡鵬為該研究的共同第一作者。


        關閉

        地址:(望江校區)成都市一環路南一段24號|郵編:610065|(華西校區)成都市人民南路三段17號|郵編:610065|(江安校區)成都市雙流區川大路2號|郵編:610065

        咨詢電話及地址:望江校區研究生院3區|129029-85403337|院長信箱:gsscu@scu.edu.cn

        国产精品视频a在线观看