推論サービングのオーバヘッドを削減するイベント駆動型GPUDirect推論

抄録

本研究では、NTTが展開する次世代データセンタインフラストラクチャ（IOWN）において動作するAI駆動型サイバーフィジカルシステムを目指して、DOCA GPUNetIOとCUDA Graphを統合した新たなイベント駆動型ストリーミングGPUコンピューティングシステムを開発した。目的は、低レイテンシオーバーヘッドと低GPU消費電力でのマルチモデル並行実行を実現することである。提案手法では、推論オーバーヘッドを既存技術比で20%削減、スループットを173.2%向上。イベント駆動型推論により、リソース競合なしに最大5つのモデルの推論要求を処理可能であることを実証した。