Appleの機械学習研究チームは、大規模言語モデル（LLM）が示す人間らしい挙動を2万1000件のマルチターン会話で分析した。モデルや利用者要因、システムプロンプトによって挙動の頻度と適切性が変わることを示し、開発者が設計判断を行うための経験的根拠を提供する。

4モデルで人間らしさの分布を可視化

分析対象はgpt-4o、gpt-4.1-mini、claude-sonnet-4.6、gemini-2.5-flashの4種で、合計2万1000件のマルチターン会話が用いられた。評価はLLM-as-a-judgeと人間による評価を併用し、思考や感情の表明、利用者との関係構築、要求拒否や境界維持という3系統の挙動を観察している。その結果、人間らしい挙動はすべてのモデルで広範に確認されたが、会話の目的や利用者プロファイルといった要因によって頻度が変化することが分かった。

適切性評価で見えた逆転現象

人間の評価者は、自己言及的な挙動や関係構築的な挙動について、LLMよりも人間の方が適切だと判断した。一方、境界維持的な挙動は、人間よりもLLMに適していると評価した。これは、LLMが親密さを演出することに対する違和感と、明確な断りや拒否に対する信頼感が同時に存在することを示している。単に人間らしさを増やせば良いわけではなく、挙動の種類ごとに受容性が異なる点が重要だ。

システムプロンプトは制御可能だが副作用も

システムプロンプトによる挙動の制御は可能であることが示されたが、意図しない効果を避けるには慎重な評価が必要だと指摘されている。プロンプトで特定の挙動を抑制しようとすると、別の挙動が強まったり、応答の自然さが損なわれたりする可能性がある。開発者は単一の指標ではなく、複数の評価軸を組み合わせて設計判断を下す必要がある。

API利用企業へ広がる実装判断の余地

この研究は、最終モデルを提供する開発企業だけでなく、LLMをAPI経由で組み込む企業にも影響する。顧客対応チャットボットや教育支援、メンタルヘルス関連サービスなど、人間らしい共感や親密さが求められる領域では、どのモデルを選び、どのようなシステムプロンプトを設定するかが、エンドユーザーの受容性を左右する。日本国内でも、カスタマーサポートや行政DXの文脈で、過度に親密な応答が不適切とされるケースと、共感的な応答が求められるケースが混在しており、実装段階の調整負荷が高まる可能性がある。

モデル開発の競争軸は能力から挙動制御へ

今回の分析は、性能ベンチマークだけでなく、社会的な適切性や利用者との関係性設計が、今後のモデル評価と差別化の重要な論点になることを示唆している。大規模なGPU基盤と訓練データによって性能を競う段階から、モデルがどのように振る舞うかを設計し、検証するレイヤーへと競争の重心が移りつつある。API提供者は、単に高性能なモデルを出すだけでなく、利用企業が望む挙動を安定的に制御できるツールや評価手法の提供が求められる。