AWS
Amazon SageMaker、GPUを分割して効率よくAIモデルを動かせる機能に対応
保存・既読はこの端末のブラウザにのみ記録されます。コピーには記事の公開情報のみが含まれます。保存データの管理 →
専門用語をかみ砕いて、仕事で使える言い方にしています。
結論
AIを動かすためのサーバー費用を抑えやすくなりました。
1つの高性能な頭脳を、複数の小さな頭脳に分けて使えるようになります。
無駄なコストを削りながら、AIサービスの運用効率を高められます。
詳細内容
最新のチップを無駄なく切り分けて利用できるようになるため、リソースの最適化が図れます。
NVIDIAの最新技術を活用し、ハードウェアレベルで完全に分離された領域ごとに異なるモデルを配置可能です。
従来型の古いGPU全体を使った場合と比較して、コストパフォーマンスや処理効率の検証データも公開されています。
使えるシチュエーション
- 1複数の小さなAI機能を同時に運用し、サーバー代を節約したいとき
- 2高価な最新のアクセラレータを自社のシステム規模に合わせて無駄なく使いたいとき
- 3モデルごとの処理負荷に応じて、適切なサイズのリソースを割り当てたいとき
元記事で詳細を確認する →
まずカード内の要約で把握。詳しく見たいときだけ公式へ。
https://aws.amazon.com/blogs/machine-learning/sagemaker-inference-now-supports-multi-instance-gpu-to-maximize-gpu-utilization-for-model-endpoints/