方法:

• a. 理論背景:

• 本文提出了一種用于開放領(lǐng)域問答的密集檢索方法，稱為Dense Passage Retriever（DPR）。該方法使用雙編碼器架構(gòu)將段落和問題編碼為密集向量。

• b. 技術(shù)路線:

• 使用BERT預(yù)訓(xùn)練模型對(duì)問題和段落進(jìn)行編碼。

• 使用度量學(xué)習(xí)來優(yōu)化問題和段落之間的點(diǎn)積相似度函數(shù)。

• 使用FAISS對(duì)段落嵌入進(jìn)行預(yù)計(jì)算和索引，以便在推理時(shí)進(jìn)行檢索。

• 通過在訓(xùn)練中考慮不同類型的負(fù)面段落，使用批內(nèi)負(fù)面方法獲得最佳性能的模型。

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 在訓(xùn)練中，從BM25或DPR檢索系統(tǒng)返回的前100個(gè)段落中，對(duì)每個(gè)問題采樣一個(gè)正面段落和m-1個(gè)負(fù)面段落。

• 訓(xùn)練目標(biāo)是最大化正面段落中所有正確答案范圍的邊際對(duì)數(shù)似然，以及正面段落被選擇的對(duì)數(shù)似然。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• DPR在五個(gè)問答數(shù)據(jù)集上的表現(xiàn)優(yōu)于之前的模型，其中四個(gè)數(shù)據(jù)集的檢索準(zhǔn)確性得到了顯著提高。

• DPR可以處理每個(gè)問題的最多100個(gè)段落，并且在檢索準(zhǔn)確性方面優(yōu)于TF-IDF或BM25等稀疏向量空間模型。

• 使用密集向量而不是稀疏向量可以顯著提高問答性能。

• 作者證明了一個(gè)簡(jiǎn)單但有效的解決方案可以展現(xiàn)更強(qiáng)的實(shí)證性能，而無需依賴額外的預(yù)訓(xùn)練或復(fù)雜的聯(lián)合訓(xùn)練方案。