本周為TechBeat人工智能社區(qū)第300期線上Talk，也是ICLR 2021系列Talk第⑨期。北京時間4月29日(周四)晚8點，清華大學在讀博士—王語霖的Talk將準時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是: “局部監(jiān)督學習：深度神經(jīng)網(wǎng)絡的'淺度'訓練方法”，屆時將介紹有關局部監(jiān)督學習、計算機視覺、高效訓練算法的相關研究與近期的一些進展和思考。

不知不覺，我們的線上Talk已經(jīng)第300期啦??！為了感謝大家五年來的支持，我們準備了一些小禮物??，獲取方式請見文末~

Talk·信息

▼

主題：?局部監(jiān)督學習——

?深度神經(jīng)網(wǎng)絡的“淺度”訓練方法

嘉賓：清華大學在讀博士 王語霖

時間：北京時間?4月29日 (周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復制鏈接 https://datayi.cn/w/a9BDKzGP 至瀏覽器，一鍵完成預約！上線后會在第一時間收到通知哦~

Talk·提綱

▼

盡管端到端訓練在大量任務中取得了穩(wěn)定和良好的效果，但其效率至少在以下兩方面仍有待提升。其一，在網(wǎng)絡前傳時，需要將每一層的輸出進行存儲，這造成了極大的顯存開銷。其二，對網(wǎng)絡進行前傳-->反傳的范式是一個固有的線性過程，很難進行并行化以進一步的提升效率。

本次分享的主要內(nèi)容如下：講者將介紹一種比目前廣為使用的端到端訓練模式顯存開銷更小、更容易并行化的訓練方法：局部監(jiān)督學習，即將網(wǎng)絡拆分成若干段、使用局部監(jiān)督信號進行訓練。

我們首先指出了這一范式的一大缺陷在于損失網(wǎng)絡整體性能，進而從信息的角度闡明，其癥結(jié)在于局部監(jiān)督傾向于使網(wǎng)絡在淺層損失對深層網(wǎng)絡有很大價值的任務相關信息。最后，為有效解決這一問題，我們提出了一種局部監(jiān)督學習算法：InfoPro。

在圖像識別和語義分割任務上的實驗結(jié)果表明，我們的算法可以在不顯著增大訓練時間的前提下，有效節(jié)省顯存開銷，并提升性能。

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預習哦！

論文解讀：

ICLR 2021 | 顯存不夠？不妨拋棄端到端訓練（點擊閱讀）

OpenReview文章：

https://openreview.net/forum?id=fAbkE6ant2

代碼：

https://github.com/blackfeather-wang/InfoPro-Pytorch

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

王語霖，清華大學自動化系二年級直博生，導師為吳澄院士和黃高助理教授。此前于北京航空航天大學自動化學院獲工學學士學位。研究興趣為深度學習模型的高效訓練和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等國際一流期刊、會議上發(fā)表學術論文。

?互動福利！

在評論區(qū)留言【最喜歡】

或者【印象最深】的Talk及原因

點贊數(shù)最高的五位將每人分別獲得

將門AI is the New Sexy帽衫1件與將門定制口罩5個

（互動時間截止至4月29日下午16:00）

只送不賣沒地兒買

快來參與領福利啦~

ICLR 2021 系列Talk

▼

第①彈

第②彈

第③彈

第④彈

第⑥彈

第⑦彈

關于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ