「2倍」の前に、何を数えたかを確認する

AI活用を進めた企業で、開発者1人当たりのPRが約2倍になったと報じられました。PR(pull request)は、コードの変更を取り込むよう依頼する単位です。読者は作成件数と、実際にマージして取り込んだ件数を分けて読むと、研究が示す変化を捉えやすくなります。

2026年10月15日のITmedia記事が紹介したのは、7月2日に論文公開サイトのarXivで公開された研究です。研究者らは、企業向けソフトウェアを提供する、ある中規模の会社の2024年1月〜2026年4月のデータを調べました。紹介記事の掲載日と論文の公開日は別です [1, 2]。

対象企業の最高技術責任者(CTO)は2025年6月、AI活用で「技術者1人・月当たりのマージ済みPR数」を2倍にする目標を掲げたと、論文は記しています。一方、研究の見出し値2.09倍は、推定対象のうち当月活動した開発者1人当たりの月間作成PR数を、基準期間と比べた倍率です。研究者らは、2025年1〜4月の平均21.2件と2026年4月の44.3件を比較しました [3, 4]。

基準期間は目標発表前で、AIでコード作成を支援するツールのCursorは、それ以前から使われていました。個人ごとのAI初回利用を基準にした比較とは、時点のそろえ方が異なります [4]。

802人の元データと、564人の推定対象

論文は、開発者ごとの月次データとPR単位のデータを作っています。本稿では、元データ全体と分析条件を満たす対象を分けて示します [2, 5]。

区分対象と範囲
元データの開発者観察期間中の802人
PR単位の元データ自動処理プログラム(bot)が作成したPRを除く196,212件。コードを保管・管理するリポジトリ364件
開発者単位の推定対象少なくとも3か月の活動がある564人
利用ログに基づく区分AIコーディングツールCursor/Claude Codeの導入者451人、未導入区分113人

113人は、対象となる2つのツールの利用ログに基づく分類です。113人は、ツール導入者と結果を比べるための未導入者の集まりです。会社がAIに帰属させたPR(AIラベル付きPR)を作った人もいるため、比較群の定義は利用ログの範囲と併せて読みます [6]。

研究の2.09倍は、その月に活動した人を分母とする月間作成PR数の比です。また、研究の2.09倍は、会社が掲げたマージ済みPRの目標とは分子も分母も異なります [4, 7]。

集計の倍率と、本人内変化の推定を分ける

研究者らは、利用開始の時期が異なる開発者を、それぞれの初回利用月にそろえて比較しました。CursorまたはClaude Codeの利用ログを使い、開発者ごとの違いや時期の変化を調整しています [8, 9]。

数値比較しているもの
2.09倍目標発表前の基準期間と2026年4月における、当月活動者1人当たりの作成PR数を記述的に集計した値
1.46倍組織に共通する月別の変動を調整し、2026年4月の利用水準で評価した、同じ開発者の変化の推定値
1.99倍各人の初回利用から9か月後という時間軸で求めた推定値

これらは、条件や時間軸が異なる数字です。1.46倍の推定には、導入時の変化と累積利用に伴う変化が含まれます。利用量は仕事量や意欲、作業の種類とも連動するため、利用量の選択による影響が推定に残ります [8, 10, 11]。

Callaway–Sant’Anna法は、導入時期の違いを考慮する統計手法です。研究者らは、まだ導入していない開発者を比較対象にしました。この分析では、導入効果の推定値をゼロと区別する統計的な証拠が十分ではありませんでした。研究者らは導入前の推移などを点検しましたが、開発者を無作為には割り当てていません。研究はAI活用とPR増加の関連を示しますが、AI活用がPR増加を引き起こした程度(因果効果)には不確実性があります [9, 12]。

後輩PRが約2倍なら、AIの効果も2倍と読めますか?

先輩まず数えたPRと分母、比較した時点を確認しよう。その上で、集計値と条件を調整した推定を分けて読むんだ。

レビューの件数、対象範囲、時間を並べて見る

同社では、2025年初頭を基準にPR総量が約3.1倍になった一方、PRの変更内容を確認する担当者(レビュアー)として活動する開発者数は約1.5倍でした。論文は、この組織集計からレビュアー1人当たりの負荷を約2倍と報告しています。この組織集計は件数と人数の関係を示します。研究者らは所要時間を別の指標で分析しています [13]。

レビューを受けたPRの割合も変わりました。以下は論文の図6・図10の報告値です。196,212件はPRデータセット全体の規模を表します。図10の注記は対象を「non-bot pull requests on the estimation sample」(推定サンプルの非bot PR)と明記しています。本文の脚注5も、概要図を推定サンプルで計算すると説明しています。読者は図ごとの対象範囲を確認し、同じ範囲の数値を比較します [14, 15]。

レビューの対象割合2025年初頭2026年4月
少なくとも1件の人間レビュー89%68%
自動AIレビュー約19%約84%

同じPRが両方のレビューを受ける場合もあるため、各行は別々の対象割合です。コメントを伴う人間レビューの割合は約39%から約21%に下がり、承認のみの割合は約50%でおおむね横ばいでした。これは記録上のコメントと承認の区分です [14, 15]。

分析者は所要時間を比べる際、工程ごとの区切りをそろえます。論文では、最初のcommit(変更記録)からPRを開くまでを作成段階として扱います。PRを開いてから初回の人間レビューやコメントまでの時間と、そこからmerge(取り込み)またはclose(終了)までの時間も分けています。次の図は、人間レビューを受けるPRについての時間区分です [16]。

研究者らは、本文・表IVの時間分析で方針発表後のAIラベル付きPRとラベルなしPRを比較しました。研究者らは、AIラベル付きPRについて、初回の人間レビューまでとその後の区間の両方で、所要時間が長くなる方向の推定結果を示しました [16]。対象はマージされレビューを受けたPRで、PR作成者、月、変更行数、ファイル数を考慮した比較です。本文・表と付録図11では一部の率が一致しませんが、初回レビュー後に時間差が集中するという説明は共通しています [16, 18, 19]。

会社が付けるcreated-by-aiラベルは、AIに帰属させたPRを示す分類です。付与方法は研究者の管理外です。ラベルだけでAIの関与を完全に判定したり、時間差を因果効果としたりすることには限界があります [17, 18, 19]。

品質指標と、自社で観測する項目

研究では、PRが取り込まれた割合(マージ率)と、変更が取り消された割合(revert率)が、観察期間を通じておおむね安定していました。これらは短期の品質を間接的に示す指標です。潜在欠陥、本番障害、技術的負債(将来の修正や保守を難しくする設計上の負担)、長期保守性は、別の指標で追う必要があります [20, 21]。

また、対象はAI活用に積極的で、利用条件にも恵まれた、企業向けソフトウェアを提供する若い会社の1例です。各社は、古く大規模な既存コードや異なる開発体制に研究結果を適用できるか、自社の条件と併せて判断します。モデル世代の更新と組織全体の利用増も重なっており、個別モデルの寄与は切り分けられていません [22, 23]。

後輩マージ率とrevert率が安定していれば、何を追加で見ればよいですか?

先輩レビューの対象範囲や待ち時間に、リリース後の障害や保守の指標も併記しよう。出力量と、その後の工程を一緒に追えるよ。

本稿では、各社がマージ済みPR数にレビュー待ち時間、待ち行列、revertや障害の指標を組み合わせて測定する案を示します。自社で測る際は、作成PRとマージ済みPRを分け、分母となる開発者の範囲と期間を記録してください。各社はPR量、レビュー対象割合、コメントの記録、工程ごとの待ち時間、リリース後の品質を並べ、増えた作業がどこで受け止められているかを検討できます。