AWS
AWS Batchが SageMakerのチーム間クォータ管理とリソース共有機能を提供開始
保存・既読はこの端末のブラウザにのみ記録されます。コピーには記事の公開情報のみが含まれます。保存データの管理 →
専門用語をかみ砕いて、仕事で使える言い方にしています。
結論
チーム間でGPUなどの処理能力を自動的に分け合える新しい仕組みが登場しました。
使っていないチームの枠を他のチームが一時的に借りて効率よく使い切ることができます。
優先度の高い重要なAI学習を自動で最優先して実行できるようになります。
詳細内容
これまでは手動での調整が必要だったチーム間のリソース配分が自動化されます。
容量の無駄をなくすことで、組織全体のコストパフォーマンスを高めることが可能です。
急ぎの処理が発生した際も、他の処理を一時停止させて優先実行させられます。
使えるシチュエーション
- 1複数チームが限られたAI用GPUの空き待ちで困っているとき
- 2夜間に別のチームの余ったマシンパワーを使って処理を終わらせたいとき
- 3緊急のモデル修正や学習をどうしてもすぐに終わらせる必要があるとき
元記事で詳細を確認する →
まずカード内の要約で把握。詳しく見たいときだけ公式へ。
https://aws.amazon.com/blogs/machine-learning/lend-and-borrow-resources-across-teams-with-aws-batchs-quota-management-for-sagemaker-training-jobs/