新華社北京6月25日電 人工智能(AI)中廣泛使用的大語言模型不時(shí)出現(xiàn)的“一本正經(jīng)地胡謅”是其難以克服的問題。近日,英國(guó)牛津大學(xué)研究團(tuán)隊(duì)開發(fā)出一種名為“語義熵”的新方法,有望大幅提升AI回答的可靠性。

大語言模型的“胡謅”在業(yè)界被稱為“幻覺”,牛津大學(xué)計(jì)算機(jī)科學(xué)系的研究人員提出“語義熵”方法試圖解決這一問題。在熱力學(xué)中,熵描述的是系統(tǒng)的混亂或者說不穩(wěn)定程度。這項(xiàng)研究中,熵衡量了大語言模型回答的不確定性,不確定性高意味著大語言模型的回答可能存在虛構(gòu)。

該研究成果已發(fā)表在近期出版的英國(guó)《自然》雜志上。論文中說,如果AI對(duì)同一個(gè)問題,給出了許多語義相似的答案,那說明它對(duì)自己的回答比較有把握;反之,如果答案五花八門,那就意味著AI自己也“心里沒底”,很可能是在“胡謅”。

研究人員利用“語義熵”方法,讓大語言模型對(duì)同一問題生成多個(gè)答案,然后將語義相近的答案聚類,最后根據(jù)聚類結(jié)果計(jì)算熵值。熵值越高,表示大語言模型的回答越不確定。

值得注意的是,這一方法不僅考慮了大語言模型回答的字面差異,更關(guān)注語義層面的一致性。這使得“語義熵”能夠更準(zhǔn)確地識(shí)別AI的“胡謅”,而不會(huì)被表達(dá)方式的多樣性所迷惑。

研究結(jié)果表明,“語義熵”方法在多個(gè)數(shù)據(jù)集和任務(wù)中都表現(xiàn)出色,能有效檢測(cè)大語言模型的錯(cuò)誤回答,并通過拒絕回答不確定的問題來提高整體準(zhǔn)確率。更重要的是,這一方法無需修改AI模型本身,可以直接應(yīng)用于現(xiàn)有的大語言模型。

研究人員說,“語義熵”技術(shù)有望在問答系統(tǒng)、文本生成、機(jī)器翻譯等多個(gè)領(lǐng)域發(fā)揮重要作用,幫助AI生成更可靠、更有價(jià)值的內(nèi)容。這不僅將提升AI在實(shí)際應(yīng)用中的表現(xiàn),也將增強(qiáng)用戶對(duì)AI系統(tǒng)的信任。