Findy IDでログインすると視聴できます
エージェント時代における推論構造、オープンソースモデルからデータセンターまで
エージェント時代における推論構造、オープンソースモデルからデータセンターまで
自律エージェントの普及により、Opensourceモデルの現在と今後は転換期にあります。本講演では、自律型エージェントのアーキテクチャ、それを稼働し続けるための推論最適化の具体的手法(prefill/decode分離、MoEなど)を深掘りします。さらに、急増するAIトークン負荷を支える現代のAIデータセンター構築論(電力・冷却・ハードウェア統合など)を解説し、次世代AI基盤の全体像に迫ります。
<登壇者>
原 信平
株式会社エーアイ・アンド