人工智能（AI）技術(shù)正以前所未有的速度發(fā)展，生成式AI憑借其驚人的創(chuàng)造力，不斷刷新人們的認(rèn)知。然而，即便是看似“聰明絕頂”的AI，也難逃“幻覺”的困擾。這里的“幻覺”，指的是AI生成看似合理但實(shí)際不準(zhǔn)確或虛假的信息。
英國(guó)《自然》雜志網(wǎng)站在1月22日的報(bào)道中指出，AI“幻覺”可能會(huì)引發(fā)嚴(yán)重后果，科學(xué)家正各出奇招，力求降低其發(fā)生率。這些措施包括增加事實(shí)核查、對(duì)AI進(jìn)行“腦部掃描”等，以促進(jìn)AI的健康、高效發(fā)展。
主因是數(shù)據(jù)模糊
各種生成式AI，包括由大語言模型驅(qū)動(dòng)的聊天機(jī)器人，常常會(huì)編造信息。它們有時(shí)會(huì)模糊事實(shí)與虛構(gòu)，在看似真實(shí)的陳述中夾雜錯(cuò)誤信息。這既是其創(chuàng)造力的體現(xiàn)，也是其不足之處。
美國(guó)佐治亞理工學(xué)院理論計(jì)算機(jī)科學(xué)家桑托什·威姆帕拉解釋稱，大語言模型的設(shè)計(jì)原理并非輸出準(zhǔn)確事實(shí)，而是通過模式識(shí)別生成答案。其內(nèi)部復(fù)雜的運(yùn)行機(jī)制迄今仍像一個(gè)“黑匣子”，人們難以洞悉其推理過程。
美國(guó)加州Vectara公司旨在減少生成式AI的“幻覺”。其聯(lián)合創(chuàng)始人阿姆爾·阿瓦達(dá)拉表示，在訓(xùn)練過程中，這些模型會(huì)壓縮數(shù)萬億個(gè)單詞間的關(guān)系，隨后通過一個(gè)龐大的網(wǎng)絡(luò)模型重新展開這些信息。盡管這些模型能夠重構(gòu)出接近98%的訓(xùn)練內(nèi)容，但剩下2%的內(nèi)容卻會(huì)讓其“誤入歧途”，生成不準(zhǔn)確或虛假信息。
導(dǎo)致AI出現(xiàn)“幻覺”的原因多種多樣，其中訓(xùn)練數(shù)據(jù)中的模糊性和錯(cuò)誤是常見因素。也有人認(rèn)為，即使訓(xùn)練數(shù)據(jù)準(zhǔn)確無誤，AI也有可能產(chǎn)生“幻覺”。這種現(xiàn)象與某一事實(shí)的稀缺程度密切相關(guān)。因此，即使經(jīng)過人類反饋調(diào)整過的聊天機(jī)器人，也無法完全避免出錯(cuò)。
多領(lǐng)域面臨考驗(yàn)
AI的“幻覺”可能會(huì)給人們的工作和生活帶來較大影響。
在新聞?lì)I(lǐng)域，大語言模型可能生成虛假新聞事件，擾亂信息傳播秩序，誤導(dǎo)公眾認(rèn)知。Vectara公司針對(duì)文檔內(nèi)容開展的研究表明，一些聊天機(jī)器人編造事實(shí)、虛構(gòu)信息的幾率高達(dá)30%。世界經(jīng)濟(jì)論壇發(fā)布的《2025年全球風(fēng)險(xiǎn)報(bào)告》顯示，錯(cuò)誤和虛假信息是2025年全球面臨的五大風(fēng)險(xiǎn)之一。
在法律領(lǐng)域，它可能引用虛構(gòu)的法律條文和案例。比如，2023年美國(guó)律師史蒂文·施瓦茨就因“輕信”ChatGPT，在法庭文件中引用了并不存在的法律案例。而在醫(yī)學(xué)領(lǐng)域，它可能提供錯(cuò)誤的診斷和治療建議，危及患者生命。
《自然》在報(bào)道中指出，AI“幻覺”在科學(xué)參考文獻(xiàn)方面出現(xiàn)錯(cuò)誤的情況也極為普遍。2024年的一項(xiàng)研究發(fā)現(xiàn)，各類聊天機(jī)器人在提及參考文獻(xiàn)時(shí)的出錯(cuò)率在30%至90%之間。它們至少會(huì)在論文標(biāo)題、第一作者或發(fā)表年份上出現(xiàn)偏差。雖然聊天機(jī)器人都帶有警告標(biāo)簽，提醒用戶對(duì)重要信息進(jìn)行二次核實(shí)。但如果用戶對(duì)聊天機(jī)器人的回復(fù)深信不疑，可能會(huì)引發(fā)一系列問題。
多舉措減少“幻覺”
為進(jìn)一步提升AI的精確度，科學(xué)家正想方設(shè)法降低其“幻覺”。
例如，增加模型訓(xùn)練參數(shù)和訓(xùn)練時(shí)長(zhǎng)可有效減少“幻覺”。但這種方法需要付出高昂的計(jì)算成本，并可能削弱聊天機(jī)器人的其他能力，如機(jī)器學(xué)習(xí)算法對(duì)未知數(shù)據(jù)的預(yù)測(cè)和處理能力。
此外，使用更大、更干凈的數(shù)據(jù)集進(jìn)行訓(xùn)練，也是降低AI模型“幻覺”出現(xiàn)的有效途徑。然而，當(dāng)前可用數(shù)據(jù)的有限性限制了這一方法的應(yīng)用。
檢索增強(qiáng)生成（RAG）技術(shù)也為減少AI“幻覺”提供了新思路。該方法通過讓聊天機(jī)器人在回復(fù)問題前參考給定的可信文本，從而確?；貜?fù)內(nèi)容的真實(shí)性，以此減少“幻覺”的產(chǎn)生。在醫(yī)療和法律等需要嚴(yán)格遵循經(jīng)過驗(yàn)證的知識(shí)的領(lǐng)域，RAG技術(shù)備受青睞。
不過，美國(guó)斯坦福大學(xué)計(jì)算機(jī)科學(xué)家米拉柯·蘇茲根表示，盡管RAG能提升內(nèi)容真實(shí)性，但其能力有限。蘇茲根團(tuán)隊(duì)的研究表明，一些為法律研究開發(fā)的、號(hào)稱“無幻覺”的RAG增強(qiáng)模型雖有所改進(jìn)，但仍存在不足。
開發(fā)者也可以使用一個(gè)與AI訓(xùn)練方式不同的獨(dú)立系統(tǒng)，通過網(wǎng)絡(luò)搜索對(duì)聊天機(jī)器人的回復(fù)進(jìn)行事實(shí)核查，谷歌的“雙子星”系統(tǒng)便是一個(gè)典型例子。該系統(tǒng)提供了“雙重核查響應(yīng)”功能：內(nèi)容如果突出顯示為綠色，表示其已通過網(wǎng)絡(luò)搜索驗(yàn)證；內(nèi)容如果突出顯示為棕色，則表示其為有爭(zhēng)議或不確定的內(nèi)容。但是，這種方法計(jì)算成本高昂且耗時(shí)，而且系統(tǒng)仍會(huì)產(chǎn)生“幻覺”，因?yàn)榛ヂ?lián)網(wǎng)上錯(cuò)誤信息泛濫。
在去年6月出版的《自然》雜志上，英國(guó)牛津大學(xué)科學(xué)家刊發(fā)論文稱，他們利用“語義熵”，通過概率來判斷大語言模型是否出現(xiàn)了“幻覺”。語義熵是信息熵的一種，被用于量化物理系統(tǒng)中所包含的信息量。通過評(píng)估AI模型在特定提示詞下生成內(nèi)容的不確定性，來計(jì)算模型的困惑程度，從而為用戶或模型提供警示，提醒其采取必要的循證措施，確保更準(zhǔn)確的答案輸出。
美國(guó)卡內(nèi)基梅隆AI研究人員安迪·鄒采用的方法是在大語言模型回答問題時(shí)，繪制其內(nèi)部計(jì)算節(jié)點(diǎn)的激活模式。他形象地稱之為“給AI做腦部掃描”。利用不同的計(jì)算節(jié)點(diǎn)活動(dòng)模式，可以告訴我們AI模型是在“說真話”，還是在“胡說八道”。
人工智能（AI）技術(shù)正以前所未有的速度發(fā)展，生成式AI憑借其驚人的創(chuàng)造力，不斷刷新人們的認(rèn)知。然而，即便是看似“聰明絕頂”的AI，也難逃“幻覺”的困擾。這里的“幻覺”，指的是AI生成看似合理但實(shí)際不準(zhǔn)確或虛假的信息。
英國(guó)《自然》雜志網(wǎng)站在1月22日的報(bào)道中指出，AI“幻覺”可能會(huì)引發(fā)嚴(yán)重后果，科學(xué)家正各出奇招，力求降低其發(fā)生率。這些措施包括增加事實(shí)核查、對(duì)AI進(jìn)行“腦部掃描”等，以促進(jìn)AI的健康、高效發(fā)展。
主因是數(shù)據(jù)模糊
各種生成式AI，包括由大語言模型驅(qū)動(dòng)的聊天機(jī)器人，常常會(huì)編造信息。它們有時(shí)會(huì)模糊事實(shí)與虛構(gòu)，在看似真實(shí)的陳述中夾雜錯(cuò)誤信息。這既是其創(chuàng)造力的體現(xiàn)，也是其不足之處。
美國(guó)佐治亞理工學(xué)院理論計(jì)算機(jī)科學(xué)家桑托什·威姆帕拉解釋稱，大語言模型的設(shè)計(jì)原理并非輸出準(zhǔn)確事實(shí)，而是通過模式識(shí)別生成答案。其內(nèi)部復(fù)雜的運(yùn)行機(jī)制迄今仍像一個(gè)“黑匣子”，人們難以洞悉其推理過程。
美國(guó)加州Vectara公司旨在減少生成式AI的“幻覺”。其聯(lián)合創(chuàng)始人阿姆爾·阿瓦達(dá)拉表示，在訓(xùn)練過程中，這些模型會(huì)壓縮數(shù)萬億個(gè)單詞間的關(guān)系，隨后通過一個(gè)龐大的網(wǎng)絡(luò)模型重新展開這些信息。盡管這些模型能夠重構(gòu)出接近98%的訓(xùn)練內(nèi)容，但剩下2%的內(nèi)容卻會(huì)讓其“誤入歧途”，生成不準(zhǔn)確或虛假信息。
導(dǎo)致AI出現(xiàn)“幻覺”的原因多種多樣，其中訓(xùn)練數(shù)據(jù)中的模糊性和錯(cuò)誤是常見因素。也有人認(rèn)為，即使訓(xùn)練數(shù)據(jù)準(zhǔn)確無誤，AI也有可能產(chǎn)生“幻覺”。這種現(xiàn)象與某一事實(shí)的稀缺程度密切相關(guān)。因此，即使經(jīng)過人類反饋調(diào)整過的聊天機(jī)器人，也無法完全避免出錯(cuò)。
多領(lǐng)域面臨考驗(yàn)
AI的“幻覺”可能會(huì)給人們的工作和生活帶來較大影響。
在新聞?lì)I(lǐng)域，大語言模型可能生成虛假新聞事件，擾亂信息傳播秩序，誤導(dǎo)公眾認(rèn)知。Vectara公司針對(duì)文檔內(nèi)容開展的研究表明，一些聊天機(jī)器人編造事實(shí)、虛構(gòu)信息的幾率高達(dá)30%。世界經(jīng)濟(jì)論壇發(fā)布的《2025年全球風(fēng)險(xiǎn)報(bào)告》顯示，錯(cuò)誤和虛假信息是2025年全球面臨的五大風(fēng)險(xiǎn)之一。
在法律領(lǐng)域，它可能引用虛構(gòu)的法律條文和案例。比如，2023年美國(guó)律師史蒂文·施瓦茨就因“輕信”ChatGPT，在法庭文件中引用了并不存在的法律案例。而在醫(yī)學(xué)領(lǐng)域，它可能提供錯(cuò)誤的診斷和治療建議，危及患者生命。
《自然》在報(bào)道中指出，AI“幻覺”在科學(xué)參考文獻(xiàn)方面出現(xiàn)錯(cuò)誤的情況也極為普遍。2024年的一項(xiàng)研究發(fā)現(xiàn)，各類聊天機(jī)器人在提及參考文獻(xiàn)時(shí)的出錯(cuò)率在30%至90%之間。它們至少會(huì)在論文標(biāo)題、第一作者或發(fā)表年份上出現(xiàn)偏差。雖然聊天機(jī)器人都帶有警告標(biāo)簽，提醒用戶對(duì)重要信息進(jìn)行二次核實(shí)。但如果用戶對(duì)聊天機(jī)器人的回復(fù)深信不疑，可能會(huì)引發(fā)一系列問題。
多舉措減少“幻覺”
為進(jìn)一步提升AI的精確度，科學(xué)家正想方設(shè)法降低其“幻覺”。
例如，增加模型訓(xùn)練參數(shù)和訓(xùn)練時(shí)長(zhǎng)可有效減少“幻覺”。但這種方法需要付出高昂的計(jì)算成本，并可能削弱聊天機(jī)器人的其他能力，如機(jī)器學(xué)習(xí)算法對(duì)未知數(shù)據(jù)的預(yù)測(cè)和處理能力。
此外，使用更大、更干凈的數(shù)據(jù)集進(jìn)行訓(xùn)練，也是降低AI模型“幻覺”出現(xiàn)的有效途徑。然而，當(dāng)前可用數(shù)據(jù)的有限性限制了這一方法的應(yīng)用。
檢索增強(qiáng)生成（RAG）技術(shù)也為減少AI“幻覺”提供了新思路。該方法通過讓聊天機(jī)器人在回復(fù)問題前參考給定的可信文本，從而確?；貜?fù)內(nèi)容的真實(shí)性，以此減少“幻覺”的產(chǎn)生。在醫(yī)療和法律等需要嚴(yán)格遵循經(jīng)過驗(yàn)證的知識(shí)的領(lǐng)域，RAG技術(shù)備受青睞。
不過，美國(guó)斯坦福大學(xué)計(jì)算機(jī)科學(xué)家米拉柯·蘇茲根表示，盡管RAG能提升內(nèi)容真實(shí)性，但其能力有限。蘇茲根團(tuán)隊(duì)的研究表明，一些為法律研究開發(fā)的、號(hào)稱“無幻覺”的RAG增強(qiáng)模型雖有所改進(jìn)，但仍存在不足。
開發(fā)者也可以使用一個(gè)與AI訓(xùn)練方式不同的獨(dú)立系統(tǒng)，通過網(wǎng)絡(luò)搜索對(duì)聊天機(jī)器人的回復(fù)進(jìn)行事實(shí)核查，谷歌的“雙子星”系統(tǒng)便是一個(gè)典型例子。該系統(tǒng)提供了“雙重核查響應(yīng)”功能：內(nèi)容如果突出顯示為綠色，表示其已通過網(wǎng)絡(luò)搜索驗(yàn)證；內(nèi)容如果突出顯示為棕色，則表示其為有爭(zhēng)議或不確定的內(nèi)容。但是，這種方法計(jì)算成本高昂且耗時(shí)，而且系統(tǒng)仍會(huì)產(chǎn)生“幻覺”，因?yàn)榛ヂ?lián)網(wǎng)上錯(cuò)誤信息泛濫。
在去年6月出版的《自然》雜志上，英國(guó)牛津大學(xué)科學(xué)家刊發(fā)論文稱，他們利用“語義熵”，通過概率來判斷大語言模型是否出現(xiàn)了“幻覺”。語義熵是信息熵的一種，被用于量化物理系統(tǒng)中所包含的信息量。通過評(píng)估AI模型在特定提示詞下生成內(nèi)容的不確定性，來計(jì)算模型的困惑程度，從而為用戶或模型提供警示，提醒其采取必要的循證措施，確保更準(zhǔn)確的答案輸出。
美國(guó)卡內(nèi)基梅隆AI研究人員安迪·鄒采用的方法是在大語言模型回答問題時(shí)，繪制其內(nèi)部計(jì)算節(jié)點(diǎn)的激活模式。他形象地稱之為“給AI做腦部掃描”。利用不同的計(jì)算節(jié)點(diǎn)活動(dòng)模式，可以告訴我們AI模型是在“說真話”，還是在“胡說八道”。
本文鏈接：http://jphkf.cn/news-2-375-0.html生成式AI“幻覺”困境如何破解
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇：標(biāo)記速度、均勻性和多功能性超出以往，新技術(shù)可高效標(biāo)記細(xì)胞蛋白質(zhì)
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕
