【前言】

本文章適用于AMD顯卡在本地部署ChatGLM2教程。要求顯存必須8G及以上。ChatGLM2是清華大學(xué)THUDM的開源項(xiàng)目。源項(xiàng)目地址為：

實(shí)測ChatGLM2-6B中文表現(xiàn)對比ChatGPT3.5還是有一定差距，但是對于低門檻開源項(xiàng)目而言，其表現(xiàn)已經(jīng)相當(dāng)驚艷了！而且它最大的優(yōu)勢是可以在消費(fèi)級GPU上進(jìn)行LoRA微調(diào)定制自己的模型。

【環(huán)境準(zhǔn)備】

系統(tǒng)要求為Linux，推薦Ubuntu22.04。部署前請確保顯卡驅(qū)動(dòng)已完整安裝，測試方法為在終端中輸入：

需要有GPU信息出現(xiàn)。如果不會安裝這些，請使用我開發(fā)的Stable-Diffusion啟動(dòng)器，點(diǎn)擊一鍵安裝，即可自動(dòng)安裝顯卡驅(qū)動(dòng)。7900系列請參考個(gè)人首頁的7900專欄文章。

【開始部署】

首先在主目錄任意文件夾右鍵打開終端，將項(xiàng)目clone到本地：

如果下載比較慢，請使用下面這個(gè)軟件，并開啟TUN模式：

然后在項(xiàng)目文件夾內(nèi)依次運(yùn)行下面代碼，創(chuàng)建并進(jìn)入虛擬環(huán)境：

成功后，用戶名前方會有(venv)前綴：

然后安裝項(xiàng)目所需要的pytorch和其他依賴文件：

完成后，需要下載模型文件運(yùn)行：