Sora 甚至欺騙了人類深度偽造探測器
此前，人工智能會留下有用的線索，表明它創建的圖像實際上並不真實。前幾代技術可能會給人類帶來額外的手指，甚至額外的肢體。牙齒可能看起來很奇怪並且不合適，皮膚可能變得很紅，就像皮克斯電影中的東西一樣。多個維度可能會讓我們的模型感到困惑，這些模型一直在努力以有意義的方式表示物理世界：如果你要求一張鮭魚在河裡游泳的圖像，人工智能可能會向你展示一塊漂浮在欣喜若狂的水流中的三分熟的鮭魚排。當然，我們正處於恐怖谷之中。但至少我們知道我們在那裡。現在情況已不再如此。雖然仍然有類似的方法可以告訴我們所看到的內容是由人工智能創建的，但微妙的視覺線索正在逐漸消失。幾家人工智能發現公司的專家表示，OpenAI 最新的視頻生成模型 Sora 2 的有限發布只會加速這一發展。這意味著我們可能很快就會發現自己完全依賴數字和其他技術工具來克服人工智能的渣滓。這不僅對普通互聯網用戶有影響，而且對任何有興趣保護其形像或身份免遭盜竊和盜用的機構也有影響。其中一家公司 Sensity AI 的聯合創始人弗朗西斯科·卡瓦利 (Francesco Cavalli) 告訴《Fast Company》：“即使對於像我這樣見證了這個行業發展的分析師來說，這也確實很困難，尤其是圖像方面。” “形狀、顏色和人物都是完美的。因此，在沒有任何工具的幫助下，普通互聯網用戶幾乎不可能了解圖像、視頻或音頻片段是否是由人工智能創建的。”視覺線索消失。好消息是，至少目前，仍然有一些明顯的視覺跡象表明內容是使用人工智能創建的。研究人員還在尋找更多。信息可靠性公司 NewsGuard 運營的出版物 Reality Check 的高級編輯索菲亞·魯賓森 (Sophia Rubinson) 解釋說，儘管多餘的手指不太常見，但人工智能圖像生成模型仍然難以生成有意義的文本。還記得兔子在蹦床上跳躍的監控視頻，原來是由人工智能創建的嗎？ “你可能只想知道兔子是否真的會這樣做，”魯賓森說。 “我們真的想鼓勵人們對他們在網上看到的內容更加挑剔，因為這些視覺效果正在消失，”她補充道。 Rubinson 說我們可以檢查視頻的一部分是否模糊，這可能表明 Sora 2 水印之前就存在過。我們還可以檢查誰分享了它。切換到帳戶頁面有時會顯示一堆類似的視頻 – 幾乎可以肯定這是一個暗示，表明您正在接受人工智能服務。另一方面，用戶名不一定能幫助我們確定誰真正創建了內容：正如 Fast Company 之前報導的那樣，儘管 OpenAI 對使用其他人的肖像有規定，但獲得與名人相關的 Sora 2 用戶名卻很容易，儘管並不總是可能。紐約州立大學布法羅分校研究 Deepfake 的教授 Xiwei Liu 表示，最終，我們可能必須能夠熟練地理解模特的個人風格和傾向。例如，Sora 2 生成的語音可能顯得太快。 （有些人將此稱為“人工智能口音”。）然而，Lyu 警告說，這些跡象“很微妙，在不經意的觀看中常常會被錯過”。而且技術會進步，這意味著這樣的暗示不太可能永遠存在。事實上，研究人員表示，人工智能參與創建某些內容的明顯痕跡似乎已經消失。 “我們過去針對視覺不一致給出的建議正在逐個模型地消失，”前記者 Emmanuel Saliba 說道，他現在負責 GetReal Labs 的調查工作，GetReal Labs 是一家網絡安全公司，專門檢測和檢查人工智能生成和操縱的內容。據她介紹，雖然之前脫節的身體動作表明使用人工智能來創建圖像，但《Sora 2》極大地改進了對現實世界的模擬。 Reality Defender 也致力於檢測深度造假，該公司的每一位研究人員（其中一半擁有博士學位）現在都被新一代人工智能生成的內容所愚弄。 Reality Defender 聯合創始人兼首席執行官本·科爾曼 (Ben Coleman) 告訴 Fast Company：“自從 Sora 推出以來，他們每個人都將深度偽造品錯誤地標記為真實的，反之亦然。” “如果從事這方面工作 5 到 25 年的人都無法區分真假，那麼普通用戶或使用手動檢測的用戶怎麼能區分呢？”標籤也救不了我們。雖然公司宣傳水印是識別人工智能生成內容的一種方式，但簡單的解決方法似乎破壞了這些工具。例如，來自 OpenAI 的 Sora 的視頻帶有視覺水印，但在線工具可以將其刪除。與其他公司一樣，OpenAI 遵守內容來源和真實性聯盟創建的 C2PA 標準。該規範旨在將一段內容的起源或來源編碼在其元數據中。但是，您可以通過對使用 OpenAI 技術創建的圖像進行屏幕截圖來刪除水印。正如 Fast Company 使用此工具進行的測試所示，在某些情況下，甚至拖動此圖像也可以刪除水印。 OpenAI 承認存在這一缺陷，但發言人表示他們無法重現拖放問題。當Fast公司向使用C2PA驗證工具的Adobe詢問有關此漏洞的問題時，該公司表示該問題是由OpenAI引起的。更新方法當然，《Fast Company》採訪的公司有興趣銷售各種旨在使我們免受深度造假浪潮影響的產品。一些人建議，人工智能驅動的內容檢測可以遵循病毒掃描的路徑，並集成到許多在線和工作場所工具中。其他人則認為他們的平台是必要的，因為 Sora 2 等工具的出現將使基於視頻通話的驗證變得過時。一些高管認為，他們的產品將在保護品牌免受人工智能生成的令人尷尬的內容方面發揮作用。為了響應 Sora 應用程序的發布，其中一些公司表示他們看到了越來越多的興趣。然而，就像人一樣，即使是這些公司在發布新模型時也需要更新他們的方法論。 “即使一個人從技術角度看不到任何東西，也總有一些東西值得探索，”Sensity 的卡瓦利說。這通常需要採用考慮多種因素的混合方法，包括檢查文件元數據和背景噪聲不一致。 Cavalli 補充道，隨著新模型的上線，Sensity 的檢測模型也會得到重新訓練和改進。但即使這樣也並不總是理想的。紐約州立大學布法羅分校的 Liu 表示，雖然他的團隊開發的檢測系統仍然適用於 Sora 2 生成的視頻，但與生成人工智能模型的性能相比，其準確性較低。這是經過一些修改後的。加州大學伯克利分校教授、Reality Defender 聯合創始人兼首席科學家哈尼·法里德 (Hani Farid) 表示，該公司的取證和數據科學技術“更好”，但在最新模型中“並不完美”。就 Sora 2 而言，該公司的一些視頻技術仍然有效，“而其他技術則需要微調”，他說，並補充說音頻檢測模型仍然可靠地工作。這是與生成人工智能早期時代的一個變化，當時取證技術必須不斷更新才能應用於最新的模型。 “對於我們的數字取證方法，這需要了解人工智能模型所代表的特定工件，然後創建檢測這些工件的方法。對於我們的數據驅動方法，這需要從最新模型生成內容並重新訓練我們的模型。”這些深度偽造檢測方法是否會繼續發揮作用尚不清楚。與此同時，我們似乎正日益走向一個人工智能氾濫的世界，但仍在建造水壩。
已发布: 2025-10-24 11:30:00
