近日，據(jù)美聯(lián)社報(bào)道，多位軟件工程師、開發(fā)人員和學(xué)術(shù)研究人員指出，OpenAI推出的語(yǔ)音轉(zhuǎn)寫工具Whisper存在一個(gè)令人擔(dān)憂的重大缺陷：該工具在轉(zhuǎn)錄過(guò)程中有時(shí)會(huì)憑空生成大段甚至整句的虛假內(nèi)容，業(yè)內(nèi)通常將這一現(xiàn)象稱為“AI幻覺(jué)”。
據(jù)悉，這些生成的虛假文本內(nèi)容多樣，可能涉及種族言論、暴力措辭，甚至杜撰的醫(yī)療建議等。這一問(wèn)題引發(fā)了專家們的廣泛關(guān)注和擔(dān)憂，因?yàn)閃hisper已被廣泛應(yīng)用于全球多個(gè)行業(yè)，包括翻譯、訪談內(nèi)容轉(zhuǎn)錄、消費(fèi)科技文本生成以及視頻字幕制作等。
更具風(fēng)險(xiǎn)的是，盡管OpenAI已明確提醒用戶不應(yīng)在高風(fēng)險(xiǎn)領(lǐng)域使用Whisper工具，但一些醫(yī)療機(jī)構(gòu)仍然在匆忙采用基于該工具的系統(tǒng)來(lái)記錄醫(yī)生與患者的咨詢記錄。這無(wú)疑增加了醫(yī)療領(lǐng)域信息記錄的風(fēng)險(xiǎn)和不確定性。
研究人員和工程師在工作中頻繁遇到Whisper的“幻覺(jué)”現(xiàn)象。據(jù)密歇根大學(xué)一位研究員透露，他在研究公共會(huì)議時(shí)發(fā)現(xiàn)，在嘗試改進(jìn)模型之前，所檢查的十份音頻轉(zhuǎn)錄中，有八份都含有虛構(gòu)內(nèi)容。另一位機(jī)器學(xué)習(xí)工程師則表示，在最初分析的超過(guò)100小時(shí)的Whisper轉(zhuǎn)錄中，他發(fā)現(xiàn)大約一半的內(nèi)容都存在“幻覺(jué)”現(xiàn)象。更有開發(fā)者指出，在他用Whisper生成的26000份轉(zhuǎn)錄中，幾乎每一份都帶有虛構(gòu)內(nèi)容。
即便是音質(zhì)良好的簡(jiǎn)短音頻樣本，也未能幸免于“幻覺(jué)”問(wèn)題。計(jì)算機(jī)科學(xué)家們的最新研究表明，他們審查的13000多段清晰音頻片段中，有187段出現(xiàn)了“幻覺(jué)”現(xiàn)象。這一趨勢(shì)意味著，在數(shù)百萬(wàn)條錄音中，可能會(huì)出現(xiàn)數(shù)以萬(wàn)計(jì)的錯(cuò)誤轉(zhuǎn)錄。
針對(duì)這一問(wèn)題，OpenAI的發(fā)言人表示，公司一直在研究如何減少“幻覺(jué)”現(xiàn)象，并感謝研究者們的發(fā)現(xiàn)。發(fā)言人還承諾，在未來(lái)的模型更新中，將會(huì)采納這些反饋，以改進(jìn)Whisper的性能和準(zhǔn)確性。
然而，對(duì)于已經(jīng)在使用Whisper工具的用戶和行業(yè)來(lái)說(shuō)，這一缺陷無(wú)疑給他們帶來(lái)了不小的困擾和風(fēng)險(xiǎn)。尤其是在醫(yī)療等高風(fēng)險(xiǎn)領(lǐng)域，錯(cuò)誤的信息記錄可能會(huì)導(dǎo)致嚴(yán)重的后果。因此，用戶在使用這類工具時(shí)，需要保持謹(jǐn)慎和警惕，以避免因技術(shù)缺陷而引發(fā)的潛在風(fēng)險(xiǎn)。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/689097.html
