AI開発者向けプラットフォームを運営するHugging Faceは、新機能「Storage Buckets」を同社のHub上に導入した。これにより、大規模データセットやモデル重みをクラウドストレージ感覚で直接管理できるようになり、機械学習ワークフローの効率を大幅に高めるとみられる。
なぜStorage Bucketsの導入に踏み切ったか
Hugging Face HubはこれまでGitベースのリポジトリでファイル管理を行ってきたが、大規模データを扱う際の制約が開発現場で課題となっていた。リポジトリサイズの上限やプッシュ時のオーバーヘッドが、数百ギガバイト級のデータセットや大規模言語モデルのパラメータ管理においてボトルネックを生じさせていたためである。
同社の発表によると、Storage BucketsはS3互換APIを備えたオブジェクトストレージとして機能し、開発者は使い慣れたクラウドストレージの操作感でファイルのアップロードやダウンロード、一覧表示を実行できる。認証には既存のHugging Faceトークンを用い、別途クラウドアカウントを契約する必要がない点が開発者コミュニティから評価されている。
企業向けOrgsプランで利用可能な容量と料金体系
Storage BucketsはOrganizationsプランのユーザーを対象に提供開始となる。各Organizationにつき最大1TBのストレージ容量が割り当てられ、追加容量が必要な場合は段階的な拡張が可能だ。料金は月額20ドルからと設定され、エンタープライズ向けには管理ダッシュボードを通じたチーム単位のアクセス制御や監査ログ機能も実装される。
アナリスト予測では、機械学習インフラ市場が2027年までに年平均成長率30％超で拡大する中、ストレージ管理のクラウドシフトは開発生産性を左右する要素になるとされる。Hugging Faceがストレージレイヤーまでエコシステムに取り込むことで、データ準備からモデル配布までの一貫したパイプラインが単一プラットフォームで完結する意義は大きい。
Hugging Faceエコシステムに閉じるストレージ戦略
Storage Bucketsの最大の特徴は、Hub上のデータセットカードやモデルカードとの統合にある。バケットに保存したデータに対してメタデータを自動付与し、データセットの出所やライセンス情報、前処理パイプラインを可視化できる仕組みが組み込まれている。
これにより、研究者が公開するデータセットの再利用性が向上し、企業内のデータガバナンス強化にも寄与するとの見方がある。Hugging FaceのCTOは技術ブログで「Storage Bucketsはデータの保存場所を提供するだけでなく、機械学習資産のライフサイクル全体を追跡可能にする」と述べており、単なるストレージサービスを超えた差別化を図る姿勢がうかがえる。
日本企業のAI開発にもたらす波及効果
日本市場においても、この動きは重要な意味を持つ。国内のAIスタートアップや大手企業の研究開発部門では、大規模言語モデルのファインチューニングやマルチモーダルデータの前処理に伴うストレージコストと管理負荷が増大している。Hugging Faceのプラットフォーム上でデータ保存からモデル配布まで完結できるようになれば、クラウド間のデータ転送料金や異なるサービス間の認証管理といった運用上の摩擦が軽減される。
複数リージョン対応と今後の拡張ロードマップ
現時点でStorage Bucketsは米国リージョンのみの提供だが、同社は2025年前半を目処に欧州およびアジア太平洋リージョンへの拡張を計画している。データ主権やレイテンシーを重視する規制業界の需要に応えるための対応とみられる。
バケット間のレプリケーション機能や、主要クラウドプロバイダーが提供する機械学習パイプラインサービスとのネイティブ連携もロードマップに含まれており、ハイブリッドクラウド構成を採用するエンタープライズにとっては採用判断の材料となりそうだ。Hugging Faceは2024年にシリーズDラウンドで2億3500万ドルを調達しており、インフラ投資を加速させる財務基盤を確保している。
