固定環境で残る学習課題

AIエージェントは環境を観察して行動を選ぶAIです。ベンチマークは性能を比べるための標準課題です。

研究者がエージェントを同じベンチマークで訓練しても、個別の弱点に合う経験が得られるとは限りません。固定環境では、開始条件や規則、フィードバック（行動結果をエージェントに返す情報）の設計がエージェントの習熟度に応じて調整されないためです。課題ごとに初期状態が違うことと、学習者に合わせて環境を変えることは別の話です[1]。

論文が挙げる弱点には、同じ行動を繰り返すループ、長い観察文の読み取り失敗、ツール制約の誤解があります。必要な技能を使わずに済む近道がある場合、環境の設計者はその行動を制限し、弱点に関わる技能を練習する機会を作ります[2]。

EnvHarnessは環境側の条件を調整して練習させ、その経験が元の課題でも役立つかを確かめる研究フレームワークです（公式README）。

Setup・Rule・Linkで変える範囲

エージェント側のハーネスはLLM（大規模言語モデル）にスキル（再利用できる行動手順）や記憶、外部ツールを組み合わせて動作を支えます。EnvHarnessが包むのは、環境を初期化するresetや、エージェントの行動を反映するstepといった標準インタフェースです。ラッパーはモデルの重み（モデルの振る舞いを決める数値）を保ったまま、開始状態や行動・観察の条件を変えた環境をエージェントに提供します。両者は組み合わせて使えます[3]。

主要な部品はSetup・Rule・Linkの3つです。論文と公開実装では名称が異なるため、対応も示します。

部品論文の名称調整する内容
SetupStagereset後に一連の行動を再生し、開始状態を変える
Rule（実装名Rules）Contract行動を通す・変換する・遮断するほか、遷移応答や観察を加工する
LinkChain異なる環境のタスクを直列につなぎ、長い一連の課題にする

Ruleの実装には行動を処理するfilter_action、実行結果を加工するmodify_transition、観察を加工するfilter_observationがあります。エージェントに何を許し、どのような応答を見せるかを、この層で調整します[4]。

SetupやRulesは元環境の内部コードを変更せず、元の成功判定器（課題の成功を判定する処理）を呼び出す設計です。ただし、SetupやRulesによって、外から見える難易度や課題の条件が変わる場合があります[5]。Linkも各環境の採点器を再利用しますが、公開実装では両方の課題に成功することを結合後の成功条件としています。元の判定器を保つことと、結合課題の目標を保つことは区別する必要があります。

EnvRiggerによる診断と環境調整

環境を自動設計するEnvRiggerは、対象の方策（policy、エージェントの行動の選び方）をブラックボックスとして扱います。EnvRiggerは方策の内部の仕組みを参照せず、入出力と成功・失敗の実行履歴から行動上の弱点を診断します[6]。

EnvRiggerは診断に基づいてPythonの環境部品を生成し、候補環境で新たな試行を行います。EnvRiggerは成功率と失敗の分布を調べ、課題として解決可能で、学習の手掛かりが得られるかを検証します。EnvRiggerは、解けない候補や易しすぎる候補を退け、調整が不適切な候補は修正します[7]。

EnvRiggerは、学習に使う環境の条件を確かめます。調整した環境での成功率はその環境内の成果を示します。学習した能力を元の課題でも使えるかは、元の環境で評価する必要があります。また、調整によって課題条件や難易度が変わることがあります。

論文の主実験ではEnvRiggerの自動生成対象からLink（Chain）を除外しています。結合環境の内部状態を観測しにくいためで、結合の効果は別の分析で扱われています。主実験の改善値はLinkを含まない自動調整で得られたものです。

スキル生成と強化学習を分けて読む

主なスキル学習の実験では調整環境で得た実行履歴からスキルを抽出し、そのスキルを備えたエージェントを評価します。強化学習は環境での試行から得る報酬（行動の結果を評価する値）を手掛かりに、行動の選び方を学ぶ方法です。オンライン強化学習（環境で試行を続けながら方策を更新する方法）の実験では、元環境と調整環境で方策そのものを訓練して比較します（論文の学習設定）。

スキルの評価には学習に使わなかった課題（held-out課題）を使います。評価時の環境は調整前の元の環境です。比較条件は次の3つです[8]。

  • No Skills：追加の学習済みスキルを付与しない条件です。
  • Original Envs：元環境から抽出したスキルを使います。
  • EnvHarness Envs：調整環境から抽出したスキルを使います。

次の表は論文v1の表2からOriginal EnvsとEnvHarness Envsを比べたものです。ALFWorldとWebArenaでは、行動するモデルと環境を設計するモデルの両方にGemini-3.1-Flash-Liteを使っています。同じ学習用課題、環境数、スキル抽出手順、方策をそろえた比較で、値は3回の独立試行の平均±標準偏差です。標準偏差は試行間のばらつきを示します。

評価対象・指標Original Envs由来スキルEnvHarness由来スキル平均値の差
ALFWorld・平均成功率（%）62.4±3.468.3±1.3+5.9ポイント
WebArena・平均成功率（%）38.5±3.141.6±1.8+3.1ポイント

ここで示す平均値の差は元環境由来のスキルとEnvHarness由来のスキルの比較です。ALFWorldの分布外課題（学習時と異なる条件での課題、OOD）では+9.0ポイントでした[9]。この値の対象は前述のモデルを使ったALFWorldの当該課題群に限られます。

別の強化学習実験（表4）で、論文の著者らはQwen3-8B-baseをGRPOで訓練しています。GRPOはGroup Relative Policy Optimizationの略です。GRPOは同じ入力への複数の出力の報酬をグループ内で相対評価して方策を更新する手法です（提案論文）。

ALFWorldの分布内（学習時と同種の条件での課題）の成功率は81.4%から87.9%へ上がった一方、分布外は89.6%から88.8%へ下がりました。この強化学習実験はスキル学習とは別の比較です。表4には独立試行数と標準偏差の記載がなく、この表から結果のばらつきは判断できません。

導入条件と評価の限界

EnvHarnessはテキストで行動と観察をやり取りでき、状態をリセットして試行し直せる環境を前提とします。論文が評価した範囲はリセット可能なベンチマーク環境であり、実アカウントでの操作は評価対象に含まれておらず、適用可能性はこの評価から確認できません。Linkの検証可能な合成も直列の連結に限られ、分岐や共有する中間状態には制約があります[10]。

別のベンチマークを接続するには、bridgeと呼ばれる接続層が必要です。接続担当者は、環境操作用インタフェースActionableEnvの7メソッドを実装し、tool_registryで行動スキーマを定義します。7メソッドはreset、step、observe、evaluate、get_env_state、save_state、from_stateです。行動スキーマは行動名と引数の形式を定めます[11]。

環境の設計にもモデルの推論と試行の費用・時間がかかります。ベンチマークの成功率だけから、本番での品質や総費用の改善は判断できません[10]。

公開実装のSubprocessRunnerは、生成コードを別のPythonプロセスで実行します。この子プロセス化だけでは、OS（基本ソフトウェア）・ファイル・ネットワークへのアクセスを制限する安全な隔離は保証されません。

生成したPythonコードの実行管理も含め、導入を検討するなら、まずリセット可能な検証環境で必要な技能が伸びるかを確かめる、というのが実務上の検討案です。本稿では再現実験や導入検証は行っていません。