世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も
1: 稼げる名無しさん ：2024/02/29(木) 16:34:34.47 ID:/Cz/NJMF9.net
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536×1031.png
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536×1031.png
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へhttps://t.co/KKRA5bw9MZ
— GIGAZINE(ギガジン) (@gigazine) February 29, 2024
詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(？)00:00:00 ID:money_soku
スレタイで「GPUが不要になる可能性」ってあるけれど、行列の加算でもGPUが圧倒的なのでは？
乗算だけなんだっけ？
乗算だけなんだっけ？
加算でも同様にGPUのほうが早かったと記憶しているが、最新のアーキテクチャは確認していないのでちょっと調べてみたいな。
スレ内ではNVIDIA終了という声も見られたが、恐らく問題なくNVIDIA一強状態は続くのではと思っている。（株価は上昇一服状態に入っているが）
