每周有超過一百萬人在 ChatGPT 上談論自殺
歡迎閱讀《AI Decoded》，這是 Fast Company 的每週時事通訊，其中包含人工智能領域最重要的新聞。我是馬克·沙利文 (Mark Sullivan)，Fast Company 的資深撰稿人，報導新興技術、人工智能和技術政策。本週我將重點關注令人震驚的統計數據，該統計數據顯示 OpenAI 的 ChatGPT 每週與超過 100 萬用戶就自殺意念進行互動。我還研究了關於人工智能“自我反思”的新人類研究以及德克薩斯州哲學家對人工智能和道德的看法。在此註冊，每週通過電子郵件接收此新聞通訊。如果您對此問題有意見和/或對未來的想法，請發送電子郵件至 sullivan@fastcompany.com 並在 X（以前稱為 Twitter）@thesullivan 上關注我。 OpenAI 的弱勢地位 OpenAI 聲稱，一周內有 0.15% 的活躍用戶參與了包含“潛在自殺計劃或意圖的明確指標”的對話。考慮到 ChatGPT 每週約有 7 億活躍用戶，這意味著每周有超過 100 萬次此類對話。這使得 OpenAI 處於非常脆弱的境地。目前尚不清楚這些用戶中有多少人會根據語言模型的結果選擇他們的操作。青少年 Adam Rein 就是一個例子，他在不斷與 ChatGPT 交談後於 4 月自殺。他的父母正在起訴 OpenAI 及其首席執行官 Sam Altman，指控他們的兒子因聊天機器人討論而自殺。儘管用戶覺得他們可以不加判斷地與非人類交談，但有證據表明聊天機器人並不總是好的治療師。布朗大學的研究人員發現，人工智能聊天機器人經常違反心理健康道德的基本標準，這凸顯了隨著這些工具使用的增加，需要製定法律標準和監督。所有這些都有助於解釋 OpenAI 最近進軍心理健康領域的原因。出於對有心理健康問題的用戶的擔憂，該公司決定對其最新的 GPT-5 模型進行重大更改。他訓練模型減少阿諛奉承或不太可能不斷檢查用戶的想法，即使他們是自我毀滅性的。該公司本周公布了進一步的變化。聊天機器人對相關用戶的響應現在可以包括危機熱線的鏈接。聊天機器人可以將敏感對話重定向到更安全的模型。有些用戶可能會在長時間聊天過程中看到溫和的休息提醒。 OpenAI 表示，它測試了其模型對 1000 個有關自殘和自殺的挑戰性對話的響應，發現新的 GPT-5 模型的滿意響應率為 91%，而之前的 GPT-5 模型的滿意響應率為 77%。但這些只是在實驗室中進行的評估——它們模擬現實生活對話的效果如何，誰也說不准。正如 OpenAI 本身所言，很難一致且準確地識別用戶焦慮的跡象。一項研究表明，ChatGPT 用戶，尤其是年輕用戶，花費大量時間與聊天機器人談論個人問題，包括自尊問題、友誼等，之後問題開始出現。雖然這些對話並不是 ChatGPT 上最多的，但研究人員表示，它們是最長且最活躍的。人擇顯示表明人工智能模型可以思考自己的想法。人工智能實驗室無法從數學上解釋大型人工智能模型如何得出它們產生的答案，這可能會讓一些人感到驚訝。人工智能安全中有一個完整的領域稱為“機械可解釋性”，致力於研究這些模型的內部並理解它們如何建立聯繫和推理。 Anthropic 的 Mechanistic Interpretation 團隊剛剛發表的新研究表明，大型語言模型可以具有自我意識。也就是說，當被問及他們的推理時，他們可以認識到自己的內部思維過程，而不是簡單地編造出看似合理的答案。這一發現可能對安全研究具有重要意義。 Anthropic 表示，如果模型能夠準確地報告其內部機制，研究人員就可以深入了解其推理過程，並更有效地識別和解決行為問題。這也意味著人工智能模型可能能夠反思其“思維”中的錯誤轉向，從而將其帶向不安全的方向（也許無法面對正在考慮自殘的用戶）。研究人員在最大、最先進的模型 Claude Opus 4 和 Claude Opus 4.1 中發現了最明顯的內省跡象，這表明隨著技術的不斷發展，人工智能模型的內省能力可能會變得更加複雜。 Anthropic 很快指出，人工智能模型並不像我們人類那樣進行內省思考。儘管有其局限性，但觀察任何內省行為都與人工智能研究人員的普遍假設相矛盾。對自我意識等高級認知能力的研究取得的進展可以逐漸解開人工智能係統及其運作方式的謎團。是否有可能向人工智能傳授道德和價值觀？將人工智能係統與人類目標和願望結合起來的部分挑戰在於，模型無法輕易地被教授道德原則來幫助指導其結果。德克薩斯農工大學哲學教授馬丁·彼得森（Martin Peterson）表示，雖然人工智能可以模仿人類的決策，但它不能充當“道德代理人”，理解是非，從而對其行為負責。彼得森補充道，你可以看到人工智能提出的決策和建議聽起來與人類的決策和建議相似，但人工智能構建它們的方式根本不像人類。人類根據自由意志和道德責任感做出判斷，但這些東西目前無法教授給人工智能模型。從法律意義上（這可能是社會道德觀念的體現）來說，如果人工智能係統造成了損害，責任在於其開發者或用戶，而不是技術本身。彼得森認為，人工智能可以與公平、安全和透明等人類價值觀保持一致。但是，他說，這是一個嚴重的科學問題，成功的風險很高。他說：“除非我們非常清楚應該如何定義‘偏見’、‘公平’和‘安全’等價值術語，否則我們無法讓人工智能做我們想做的事。”他指出，即使訓練數據得到改進，定義這些概念的模糊性也可能導致可疑的結果。 Fast Company 的更多人工智能報導：想要對技術、業務創新、工作和設計的未來趨勢進行獨家報告和分析嗎？訂閱《快公司》高級版。 《快速公司改變世界創意獎》的截止日期是太平洋時間 11 月 14 日星期五晚上 11:59。今天申請。
已发布: 2025-10-30 16:00:00
