大規模言語モデルの調整手法として知られる「直接選好最適化（DPO）」が、チャットボットの対話品質向上以外の領域で明確な効果を示した。ブラジルポルトガル語のOCR（光学文字認識）タスクにおいて、モデルがテキストを正常に出力できず繰り返しループに陥る「テキスト崩壊」現象に対し、DPOを適用することで平均59.4％の削減を達成している。

この記事を一言でいうと

教師ありファインチューニングだけでは取り除けなかったOCRモデルの反復出力エラー「テキスト崩壊」に対し、DPOを追加で実施することで、テストした全モデルでエラー発生率が低下した。平均削減率は59.4％、最大で87.6％に達した。

なぜ話題なのか

従来、DPOは人間の好みや対話の安全性・有用性に関するデータを用いてチャットモデルの挙動を調整する手法として知られてきた。今回のケースでは、会話のような主観的な評価基準が存在せず、正しい文字起こしと異常な繰り返し出力という明確な二項対立を学習信号として利用している点が新しい。また、学習データはモデル自身が失敗した際の出力から生成されており、外部の人手評価ではなくモデルの欠陥そのものを改善に転用している点が注目される。

一般読者や企業にどう関係するのか

OCRは請求書処理や契約書のデジタル化、行政文書の電子化といった業務の基盤技術であり、出力の信頼性は業務効率や後続の自動処理の精度に直結する。テキスト崩壊のような予測困難なエラーはシステム全体の稼働率を損なうため、DPOによる障害削減は企業の実運用において直接的な価値を持つ。日本語文書を扱う際にも文字種やレイアウトの複雑さから類似の崩壊現象が起こり得るため、国内企業が高性能OCRを内製またはカスタマイズする局面でDPOの適用は検討に値する。

AI業界の構造で見ると何が変わるのか

今回の成果は、DPOが「対話AIの価値観調整」専用という位置づけを超え、タスク固有の客観的な失敗を直接修正する学習段階として機能することを示している。OCRに限らず、音声認識や機械翻訳、コード生成など、正誤が明確に定義できるタスク全般で、SFTの限界を突破する後工程としてDPOが標準化する可能性がある。教師あり学習ではトークン単位の評価しか行わないため、系列全体としての失敗を捉えられない構造的な課題があり、DPOはその補完手段となる。

一次情報から確認できる事実

  • 評価対象はオープンソースと商用を含む主要な視覚言語モデル群
  • ブラジルポルトガル語の構造化文書抽出タスクにおけるテキスト崩壊率を計測
  • 教師ありファインチューニング後の時点で、テキスト崩壊率はモデルによって1％未満から33％超までばらつく
  • 同一文書・同一モデルに対してDPOを追加適用したところ、全モデルでテキスト崩壊率が低下
  • 平均削減率は59.4％、最大削減率は87.6％（Nanonets-OCR2–3Bにおいて1.61％→0.20％）
  • DPOの選好データは正しい文字起こし（選択）と崩壊ループ出力（拒否）で構成され、モデル自身の失敗出力に基づく

関連企業・関連技術

  • DharmaOCR（Dharma-AI） : 構造化文書向けOCRモデル。DPO適用の実証基盤
  • Hugging Face : モデル公開およびブログ掲載プラットフォーム
  • Nanonets-OCR2 : 最大削減率を記録したモデル系統
  • Rafailov et al. (2023) : DPOの理論的基礎を確立した研究

今後の論点

  • 他の客観的タスク（音声認識、翻訳、コード生成）でのSFT＋DPOの有効性検証
  • テキスト崩壊以外の失敗モード（幻覚出力、構造逸脱）へのDPO拡張可能性
  • SFTでは崩壊率を一定以下に抑えられない根本原因の理論的解明
  • 日本語を含む多言語文書での再現性評価と商用OCRサービスへの実装動向