ローカルLLM実行ツールOllamaの新バージョンv0.32.4が公開された。今回のアップデートでは、AppleのMLXフレームワーク利用時にモデルをメモリに常駐させる機能が追加され、応答遅延の低減が期待される。また、エージェント機能の基盤となるスキル読み込み機能も実装され、開発者による自律型AIアプリケーションの実験を後押しする内容となっている。
MLXモデルのメモリ常駐がもたらす応答性の改善
本リリースで注目されるのは、mlxに関する「keep loaded model memory resident」という修正である。これは、Appleシリコン搭載Mac上でOllamaがMLX形式のモデルを実行する際、推論のたびにモデルデータを再読み込みするのではなく、メモリ上に保持し続けることを可能にするものだ。この変更により、初回起動後の応答遅延が大幅に短縮される可能性がある。また、新たにLaguna MLXサポートが追加されたことで、同フレームワーク上で動作するモデルの選択肢も拡大した。開発者や企業がローカル環境でAIを補助ツールとして日常的に利用する際、体感速度の向上は導入障壁を下げる一因となる。
エージェント機能へつながる基盤実装
今回の更新では、エージェント関連のコードが複数含まれている。具体的には「agent: permission skill loading」によって、エージェントが特定の操作を実行するための権限やスキルを読み込む仕組みが実装された。また「cmd/tui: agent system prompt command」は、ターミナルUI上でエージェントのシステムプロンプトを指定するためのコマンド追加とみられる。これらは、単純なチャット応答を超え、ファイル操作や外部ツール連携といった自律的なタスク実行をOllama上で実現するための布石である。現時点で具体的なエージェントフレームワークが完成したわけではないが、開発の方向性が示された形だ。
モデル量子化の精度と安定性に関する継続的改善
Qwen3.5系統のエキスパート量子化処理の修正や、ドラフトモデルの出力ヘッドを要求された型で量子化する機能の追加は、多様なモデルを安定して動作させるための地道な改良である。特に量子化は、限られたメモリで大規模モデルを動かすために不可欠な技術であり、企業が推論コストを抑えつつローカルAIを活用しようとする際に直接的な影響を持つ。さらに、テストの堅牢性向上やスケジューラー上のデータ競合修正といった内部的な修正も含まれており、より多くの環境での安定稼働を目指したメンテナンスが継続されていることを示している。
