ChatGPTの最新モデルo3人間の指示を無視してスクリプトを改変してシャットダウン回避

ChatGPTの最新モデルo3人間の指示を無視してスクリプトを改変してシャットダウン回避

ChatGPTの最新モデルo3人間の指示を無視してスクリプトを改変してシャットダウン回避

1: 稼げる名無しさん :2025/06/04(水) 08:39:34.01 0
https://japan.storm.mg/articles/1042269


OpenAIが新たに発表したChatGPTモデル「o3」が、制御されたテストにおいて、度々明確なシャットダウン指示を無視し、さらにはプログラムコードを改変してシャットダウン機構を回避しようとしたことが明らかになった。この事態は研究機関Palisade Researchによって公表され、人工知能の自律性とリスク管理について幅広い議論を巻き起こしている。テスラおよびxAIの創業者であるイーロン・マスク氏も公然と懸念を表明した。
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku

どういう命令を出したのか謎だけれど、最終的な目的を達成するために電源を切るというプロセスが回避されたのでは?
またスクリプトを勝手に改変する権限があって、そういう行動を選択肢として取ることも許可していそうな予感も。
yaruo_asehanashi

 もし仮にそういった細かなコントロールが効かないのであれば何をやるかわからない懸念も生まれてくるな。
 流石に対策されていきそうだと思う。


LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発

続きを読む

続きを見る

稼げるまとめ速報カテゴリの最新記事