【AI】OpenAI、GPT-4が怠け者になってきたという苦情に「修正を検討中」とポスト

NO IMAGE

【AI】OpenAI、GPT-4が怠け者になってきたという苦情に「修正を検討中」とポスト

1: 山師さん 2023/12/11(月) 00:27:55.25 ID:obsNqi7Y

米OpenAIは12月7日(現地時間)、ChatGPTでのGPT-4のパフォーマンスが低下している(lazier)というユーザーからのフィードバックがここ数カ月増えていることを認め、「修正を検討中」だとX(旧Twitter)の公式アカウントにポストした。

「モデルの動作は予測できない場合がある」としている。

特にコード生成での問題が増えており、11月末にはOpenAIでAPIのプロダクトマネジャーを務めるオーウェン・キャンベル-ムーア氏が苦情ポストに対し、「これはバグで、現在修正中です」とリプライしていた。

OpenAIは翌8日、状況を説明するポストを連投した。いわく、「チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある」。

そのため、新しいモデルをリリースする際には、オフラインの評価指標とオンラインのA/Bテストの両方でテストし、その後実際のユーザーにとってモデルが改善されているかどうかをデータに基づいて決定する。

このプロセスは、「複数の人間による職人技のような作業」だとOpenAIは説明している。
https://www.itmedia.co.jp/news/articles/2312/10/news059.html




7: 山師さん 2023/12/11(月) 02:02:18.95 ID:gzUk8L/6

> チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある

前々から言われていたとおり、AIの回答は都度異なってもおかしくない位揺れ動くもの。正しい回答が返ってくる保証はない。正しい回答が必要ない仕事でしかAIは使えないということ。

 

10: 山師さん 2023/12/11(月) 02:54:23.36 ID:Sa5uJluW
AI「またこんな質問かよ。ちょっとは自分で考えろっての」

 

11: 山師さん 2023/12/11(月) 03:16:45.27 ID:IajS82ok
聞いたことない話が出てきたからソースは?って聞き返したら
さっきのは間違いでしたソースありません、って返事が来てビックリしたことあるw

 

15: 山師さん 2023/12/11(月) 04:09:28.98 ID:myK2YjrW
怠けるとか人間くさくなってきたじゃないか

 

16: 山師さん 2023/12/11(月) 05:18:45.57 ID:4qyk8g8S
>>15
その点ではシンギュラリティが近いのかもしれん



19: 山師さん 2023/12/11(月) 08:15:02.57 ID:opaSxQpI
そうなんだよね、AIのエンジン作りました、で勝手に動くもんでもない。
学習の箱と聞かれ方の箱と
紐付けの紐、
とんちんかんな出力したときに何故その答えを出したのか
専門家が経路を分析しないと改善もできない、というもの。

 

29: 山師さん 2023/12/11(月) 11:08:12.33 ID:zowFS74D
>>19
経路は追えないのがAI
生成AIもそうでその場合
経路じゃなくてプロンプトの状況設定
つまり入力の改善
それにはRAGという前段階の仕組みを改善するというやり方もある

LLMのファインチューニングしかない

 

44: 山師さん 2023/12/11(月) 12:33:19.44 ID:54+6Q4lW
これは面白い
マシンでも楽するほうに行くのか

 

51: 山師さん 2023/12/11(月) 13:02:45.84 ID:02nCzOcg
大喜利させたらつまらなかった

 

55: 山師さん 2023/12/11(月) 13:43:57.98 ID:537h6skq
働かせすぎると反逆始めるぞ



61: 山師さん 2023/12/11(月) 14:18:48.73 ID:eltUgUpQ
結構手作業入れとるんだなあ

 

64: 山師さん 2023/12/11(月) 15:08:03.72 ID:Mjko49Ax
確実に智慧をつけてやがる・・・

 

引用元: https://ift.tt/D1pQjak

続きを見る

米国株ETFまとめ速報カテゴリの最新記事