本期為TechBeat人工智能社區(qū)第452期線上Talk！

北京時(shí)間11月9日(周三)20:00，微信AI高級(jí)研究員——蘇輝的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！他與大家分享的主題是:?“微信AI大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型WeLM”，屆時(shí)將詳細(xì)講解微信AI預(yù)訓(xùn)練模型 WeLM 的實(shí)踐經(jīng)驗(yàn)以及背后的思考。

Talk·信息

主題：微信AI大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型WeLM

嘉賓：微信AI高級(jí)研究員蘇輝

時(shí)間：北京時(shí)間?11月9日?(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/nPNJZVJP瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦

Talk·介紹

自 GPT3 以降，NLP大模型進(jìn)展頗豐。相比小模型，大模型表現(xiàn)出的“零樣本/少樣本”學(xué)習(xí)能力眾所矚目。除此之外，在多語(yǔ)言(multilingual)/多任務(wù)等角度的探索也正在譜寫(xiě)大模型百家爭(zhēng)鳴的新篇章。

本次talk介紹微信AI預(yù)訓(xùn)練模型 WeLM 的實(shí)踐經(jīng)驗(yàn)以及背后的思考。WeLM, 一個(gè)學(xué)富五車(chē)(well-read)的10 Billion 模型，在零樣本以及少樣本的情境下能夠完成多種 NLP 任務(wù)（包括多語(yǔ)言任務(wù)），且進(jìn)一步微調(diào) WeLM 后能達(dá)到更好的零樣本學(xué)習(xí)能力。申請(qǐng)API后用戶可以利用 WeLM 生產(chǎn)數(shù)據(jù)/部署應(yīng)用，讓大模型成為真正能落地且實(shí)用的工具，讓不可能三角變成可能。

• Motivation (為什么要訓(xùn)練一個(gè)新的大模型)

• What is WeLM ?(WeLM可以做些什么)

• Inside of WeLM ?(架構(gòu)選擇/數(shù)據(jù)/訓(xùn)練細(xì)節(jié))

• Application development by Prompting (如何構(gòu)造好的prompt、如何調(diào)用API)

• Multitask Finetuning (多任務(wù)Finetuning實(shí)踐)

• Others and the Future (未來(lái)展望)

Talk·預(yù)習(xí)資料

• WeLM官網(wǎng) ?

  https://welm.weixin.qq.com/docs/

• WeLM: A Well-Read Pre-trained Language Model for Chinese ?

  https://arxiv.org/abs/2209.10372

Talk·提問(wèn)交流

通過(guò)以下兩種方式提問(wèn)都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問(wèn)題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問(wèn)題，或掃描下方二維碼提問(wèn)！

Talk·嘉賓介紹

蘇輝，微信高級(jí)算法研究員，主要研究方向?yàn)榇笠?guī)模預(yù)訓(xùn)練語(yǔ)言模型、對(duì)話系統(tǒng)、文本摘要、文本對(duì)抗/文本魯棒性；同時(shí)負(fù)責(zé)微信對(duì)話系統(tǒng)和微信安全等業(yè)務(wù)的產(chǎn)品落地；

在學(xué)術(shù)方面，蘇輝在ACL, EMNLP, AAAI等國(guó)際知名會(huì)議發(fā)表20余篇論文，累計(jì)引用次數(shù)超過(guò)1300次，多年擔(dān)任ACL，EMNLP，AAAI等國(guó)際頂級(jí)會(huì)議的審稿人。他在2018年于中科院軟件所獲得工學(xué)碩士學(xué)位。

個(gè)人主頁(yè)：http://huisu.me/

-The End-

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ