O’Reilly（オライリー）は、AIとクラウドコンピューティングの時代におけるキャパシティープランニングの重要性の高まりを強調している。同社は、クラウドにおける無限のスケーラビリティーという前提が、エンタープライズAIのアーキテクチャー制御ポイントになりつつあるGPUの物理的制約によって揺らぎ始めていると指摘している。この変化により、キャパシティプランニングが再び注目を集めており、組織はレイテンシー、コスト、信頼性の目標を達成するために、モデルの選択、推論の深度、ワークロードのタイミングを考慮する必要に迫られている。
同社はさらに、AIプロダクションシステムはアクセラレーターが主流であり、物理的な制約を受けるため、キャパシティーが設計上の第一義的な依存関係にあると説明している。適切なアクセラレーターのキャパシティーを適切なタイミングで確保できない場合、システムは必要なスループットとレイテンシーで動作できず、アーキテクチャー上の決定は意味をなさなくなる。これは、組織が調達リードタイム、予約キャパシティー、ワークロード配置の決定、そしてプラットフォームレベルのポリシーを考慮する必要がある、戦略的計画の再考につながる。
O’Reillyはまた、容量を弾力性と互換性のあるものとして扱うという前提に基づいて拡張してきたクラウドコンピューティングのかつての約束が崩れつつあると指摘している。AIAIロードは希少で、互換性がなく、電力と冷却の制約に縛られており、それらは線形に拡張されません。これは、クラウドが無限のプールではなく、割り当てシステムのように動作し始めていることを意味する。同社は、AIシステムにおいて、弾力性は容量へのアクセス、インフラストラクチャーのトポロジー、そして保証に対する支払い意思に応じて条件付きになると述べている。
同社は最後に、AIが運用上不可欠になるにつれ、クラウド容量は公共サービスではなく割り当てシステムのような役割を担うようになると述べている。企業は、オンデマンド前提から容量管理へと移行し、消費の暴走を防ぐためのクォーター、可用性を確保するための予約、そして本番環境ワークフローを競合から守るための明示的な優先順位付けを導入することで、この状況に対応している。これはクラウドの経済性とベンダーとの関係性に変化をもたらし、価格設定は利用率よりも保証を重視するようになっている。
出典：O'Reilly
この製品の詳細については、O'Reilly製品ページをご覧ください。
