2023年2月7日至2月14日，第37屆國(guó)際人工智能大會(huì)（AAAI2023）在美國(guó)華盛頓舉行。此次會(huì)議共收到來(lái)自全球的8777篇投稿，最終錄用1721篇，錄用率約19.6%。其中，伯克利和NUS的學(xué)者們帶來(lái)了備受關(guān)注的《大規(guī)模深度學(xué)習(xí)優(yōu)化技術(shù)》教程。

近年來(lái)，由于大型transformer模型表現(xiàn)出的優(yōu)異性能，大量的超大型模型相繼出現(xiàn)，然而，它們訓(xùn)練成本過(guò)高，通信開(kāi)銷(xiāo)和計(jì)算數(shù)量也十分巨大，這給深度學(xué)習(xí)的研究和工程師們帶來(lái)了很大的困擾。因此，在這個(gè)教程中，我們的目標(biāo)是為大家提供一份關(guān)于模型精度和效率的大規(guī)模深度學(xué)習(xí)優(yōu)化的清晰草圖。

本文重點(diǎn)研究了最常用于優(yōu)化的算法，回顧了梯度下降優(yōu)化的關(guān)鍵思想，介紹了大批量訓(xùn)練優(yōu)化，詳細(xì)闡述了在大批量訓(xùn)練中出現(xiàn)的泛化差距這一有爭(zhēng)議的主題，提出了二階優(yōu)化，最后，回顧了解決通信開(kāi)銷(xiāo)和減少內(nèi)存占用的最先進(jìn)策略。

這些優(yōu)化技術(shù)不僅能夠解決大型transformer模型的訓(xùn)練成本問(wèn)題，同時(shí)也能夠提高模型的泛化性能，使其在各種人工智能應(yīng)用場(chǎng)景中發(fā)揮更大的作用。如果你對(duì)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)感興趣，不妨關(guān)注一下這篇文章，或者找到相關(guān)資料進(jìn)行更深入的了解。

來(lái)源：公眾號(hào)"點(diǎn)頭人工智能"，回復(fù)"zero"領(lǐng)取。