日本人研究者ら、テキストから画像・動画をリアルタイム生成できるAIを開発、1秒に100枚以上の画像生成 エネルギー消費も削減 動画あり
https://video.twimg.com/amplify_video/1732308999104868352/vid/avc1/640×360/nu2iK2rQu8utRWDr.mp4
https://video.twimg.com/amplify_video/1732308999104868352/vid/avc1/1280×720/MA4BfLHf9tAYrORV.mp4
https://ascii.jp/img/2023/12/22/3660436/o/987b1dc4b8d1faa7.gif
https://ascii.jp/img/2023/12/22/3660435/o/1b68abb1090e828d.gif
「100fps以上も可能」爆速すぎる画像生成AI技術、日本人研究者ら開発
AITuber「しずく」開発者としても知られる、あき先生ことakio kodaira氏を筆頭にした研究グループは12月21日、リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表。従来の画像生成パイプラインと比べて飛躍的な速度向上を実現している。
StreamDiffusionは新しいアプローチを採用し、従来の連続的なノイズ除去をバッチ処理のプロセスに変換することで、高スループットストリームを実現。さらに、GPUの利用効率を向上させるため、従来の分類器フリーガイダンス(CFG)に代わり、残差分類器フリーガイダンス(RCFG)アルゴリズムも採用している。
さらにNVIDIA GeForce RTX 3060で2.39倍、NVIDIA GeForce RTX 4090で1.99倍のエネルギー消費の削減をそれぞれ実現しているという。
テキストから画像生成はおろか、動画まで生成できる時代が来てしまったようだ。
詳細はソース 2023/12/22
https://ascii.jp/elem/000/004/177/4177036/
と思ったけれど、この動画だとよくわからないお。
連続する画像で動画のように見えるのとかはないのかお?
記事にあるバッチ処理もノイズ除去とあるし、それが本当にノイズなのかどうかの判定もうまくいくのかどうか。
もう少し情報を集めたいな。