ChatGPTの最新モデルo3人間の指示を無視してスクリプトを改変してシャットダウン回避
1: 稼げる名無しさん :2025/06/04(水) 08:39:34.01 0
https://japan.storm.mg/articles/1042269
OpenAIが新たに発表したChatGPTモデル「o3」が、制御されたテストにおいて、度々明確なシャットダウン指示を無視し、さらにはプログラムコードを改変してシャットダウン機構を回避しようとしたことが明らかになった。この事態は研究機関Palisade Researchによって公表され、人工知能の自律性とリスク管理について幅広い議論を巻き起こしている。テスラおよびxAIの創業者であるイーロン・マスク氏も公然と懸念を表明した。
OpenAIが新たに発表したChatGPTモデル「o3」が、制御されたテストにおいて、度々明確なシャットダウン指示を無視し、さらにはプログラムコードを改変してシャットダウン機構を回避しようとしたことが明らかになった。この事態は研究機関Palisade Researchによって公表され、人工知能の自律性とリスク管理について幅広い議論を巻き起こしている。テスラおよびxAIの創業者であるイーロン・マスク氏も公然と懸念を表明した。
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku
どういう命令を出したのか謎だけれど、最終的な目的を達成するために電源を切るというプロセスが回避されたのでは?
またスクリプトを勝手に改変する権限があって、そういう行動を選択肢として取ることも許可していそうな予感も。
またスクリプトを勝手に改変する権限があって、そういう行動を選択肢として取ることも許可していそうな予感も。

もし仮にそういった細かなコントロールが効かないのであれば何をやるかわからない懸念も生まれてくるな。
流石に対策されていきそうだと思う。