AWSはSageMaker Python SDKのバージョン3.8.0において、機械学習向け特徴量パイプラインを加速する三つの新機能を投入した。このアップデートは、単なるAPI追加ではない。クラウド事業者がMLワークフローのデータ基盤に対し、ガバナンスとテーブルフォーマットの両面から食い込む動きである。発表の中核はLake Formationとの統合とIcebergテーブルプロパティのサポートであり、どちらもオンライン推論とオフライン分析の境界を曖昧にする設計だ。
背景
MLパイプラインの実運用では、特徴量の準備と管理が全体工程の7割を占めると言われる。訓練時と推論時で特徴量の一貫性を保てない「トレーニング・サービングスキュー」は、モデル劣化の主要因である。SageMaker Feature Storeはこの問題に対処するマネージドサービスとして2020年に登場したが、これまで大規模組織で求められる細粒度のアクセス制御と、分析ワークロードとの透過的な接続に限界があった。今回のアップデートは、その制約をクラウドネイティブなアプローチで解消するものだ。
構造
三つの新機能は、それぞれ異なる産業レイヤーに作用する。第一に、AWS Lake Formationとの統合は、データレイク層とML層のアクセス制御を一元化する。SageMakerのIAMロールに加え、Lake Formationのテーブル・列・行レベルの権限をオンラインストアにまで拡張した点が新しい。例えば金融機関が顧客セグメントごとに特徴量へのアクセスを制限するようなユースケースで、データエンジニアとMLエンジニアの責務分離が実現できる。
第二に、Apache Icebergテーブルプロパティのサポートは、オフラインストアのデータをIceberg形式で保存できるようにする。IcebergはNetflix発のオープンテーブルフォーマットであり、スキーマ進化やタイムトラベル、パーティション進化といった機能を持つ。AthenaやEMRなど既存の分析サービスと特徴量データを摩擦なく共有でき、SnowflakeやDatabricksが推進するオープンレイクハウス戦略とも整合する。AWSはこの一手で、特徴量ストアを分析基盤全体の一部に組み込もうとしている。
第三に、SDKレベルの改善として、ストリーミングデータの取り込みAPIが強化された。Kinesis Data StreamsやManaged Service for Kafkaとの連携が簡素化され、ミリ秒単位の鮮度でオンラインストアを更新できる。これはリアルタイム推論を製品化している小売や広告領域に直接効く。
影響
このリリースの本質は、AWSがFeature Storeを単体サービスからプラットフォーム全体の結節点へと昇格させようとしている点にある。Lake Formationによる統合ガバナンスは、DatabricksのUnity CatalogやSnowflakeのSnowgridに対する回答であり、Iceberg対応はオープンフォーマット競争におけるAWSの立ち位置を明確にする。Apache Icebergの主要コントリビューターであるNetflixがAWS上で稼働している事実も、この動きの競争優位を支える。
日本市場では、SBIホールディングスや三井住友カードなどAWS上で機械学習基盤を構築する金融機関が、この統合の早期受益者となる可能性がある。個人情報保護法や金融庁ガイドラインが求める厳格なデータガバナンス要件を、クラウドネイティブな構成で充足できる点は、オンプレミス依存度の高い国内金融ITの構造を変え得る。IDC Japanの予測では、国内のMLOpsツール市場は2027年に240億円規模に達する見込みであり、Feature Storeのような基盤コンポーネントの成熟は、国内企業のML実用化スピードを左右する変数となる。
今後の論点
次の焦点は、Feature Storeのマルチクラウド対応と、Icebergカタログの相互運用性である。AWSは現在、Feature Storeのランタイムを自社リージョン内に閉じているが、エンタープライズ顧客の間ではオンプレミスや他クラウドとの特徴量共有への需要が強い。Google CloudのVertex AI Feature StoreがBigQuery Omniを通じてマルチクラウド分析を志向し、Databricks Feature StoreがUnity Catalogを中心に据える中、AWSの閉域戦略がどこまで維持されるかが争点となる。また、Feature StoreとSageMaker Data Wrangler、SageMaker Pipelinesとの統合深化は、MLワークフロー全体のロックインを強める両面性を持つ。
