【発表の概要】Sakana AIが誤差逆伝播法に頼らない新手法「PC-ALM」を公開
Sakana AIのJeffrey Seely氏とJulian Gould氏が、深層学習の新手法「PC-ALM」を発表しました[1]。研究チームは2026年5月29日に論文をarXivへ初回投稿しました[2]。本手法は誤差逆伝播法を使わず、局所的な通信のみで最大1000層の学習を可能にします[3]。誤差逆伝播法（バックプロパゲーション）とは、出力の誤差を逆方向に伝えて重みを更新する標準手法です。
研究チームは解説記事とともに、GitHub上で公式JAX実装をMITライセンスで公開しました[4, 5]。初回コミットは2026年9月8日に記録されています[6]。開発者は同一の残差多層パーセプトロンを用い、既存手法と性能を直接比較できます。
【背景と動機】同期計算を強いる誤差逆伝播法と信号が減衰する予測符号化の限界
現在の深層学習は誤差逆伝播法に依存しています。この手法は順方向計算、誤差逆伝播、重み更新を厳密な順序で同期して実行します[7]。ネットワーク全体をまたぐ再帰計算が必要なため、生物の脳が持つ局所的な情報処理とは仕組みが異なります[8]。実際の脳内で全体を同期させる仕組みは確認されていません[9]。また、AIモデルの大規模化に伴う電力消費の増大も、同期計算に依存しない手法が求められる動機です[10]。
その代替候補が予測符号化（Predictive Coding）です[11]。予測符号化とは、各層が隣接層との予測誤差を小さくするように自律調整する学習法です。しかし従来の予測符号化は、深層構造で信用割当信号（重みを更新すべき方向を示す情報）が急速に減衰する弱点がありました[12]。信号を届けるには深さに応じて推論ステップを増やす必要があります[13]。
【技術の仕組み】ラグランジュ乗数による誤差蓄積が実現する「弾道的」な信号伝播
PC-ALMは、ネットワーク全体の逆計算を各層の局所的な動力学へ置き換えます[14]。核心は、各層に予測誤差を蓄積する「ラグランジュ乗数（双対変数）」を導入した点です[15]。双対変数とは、制約の食い違いを保持する補助変数です。各層は過去の蓄積誤差も参照して状態を更新し、局所通信から適切な信用信号を作ります[16, 17]。
従来の予測符号化が熱のように誤差を遅く拡散させるのに対し、PC-ALMは深層全体へ信号を均等に届ける「弾道的な伝播」を実現します[18]。収束時には各層が順方向計算の値に戻り、双対変数に逆伝播と同等の信用信号が蓄積されます[19]。
後輩逆伝播法を使わないと言っても、同じ勾配を計算しているんですよね。何が違うんですか？
先輩計算の進め方だね。逆伝播法は全体を同期させるけれど、PC-ALMは各層が隣とだけ通信して自律的に動くんだよ。
後輩全体の逆方向パスを使わず、局所通信だけでBPに近い更新方向と性能を得ているわけですね。
先輩そうだね。ただし誤差信号を排除したのではなく、局所的な誤差蓄積でBPに近い信用信号を形成し、線形系の平衡では厳密な対応が示されているんだよ[^20]。
【実証データ】1000層の深層ネットワークでも誤差逆伝播法に匹敵する性能を記録
研究チームはMNISTおよびFashion-MNISTで性能を検証しました。幅と深さを8から128まで変化させた主実験において、推論予算を深さの2倍にしたPC-ALMは全範囲で誤差逆伝播法に匹敵する性能を示しました[21, 22]。深さ32層から128層の比較では、従来の予測符号化が深層化で大幅に精度を落とす一方、PC-ALMは高い精度を維持しています[23, 24]。
| データセット | 層数 | 従来のPC | PC-ALM | 誤差逆伝播法（BP） |
|---|---|---|---|---|
| MNIST | 32層 | 63.21% | 84.96% | 86.48% |
| MNIST | 64層 | 50.26% | 82.09% | 84.49% |
| MNIST | 128層 | 42.55% | 78.91% | 80.84% |
| Fashion-MNIST | 32層 | 65.37% | 76.76% | 77.67% |
| Fashion-MNIST | 64層 | 61.48% | 76.00% | 77.42% |
| Fashion-MNIST | 128層 | 53.20% | 73.64% | 74.70% |
公式記事では最大1000層の追加評価も報告されました。幅32のモデルによる5エポックの学習において、全域で誤差逆伝播法との精度差をおおむね2パーセントポイント以内に抑えています[25]。公式再現例（Fashion-MNIST、深さ32層）では精度77.75%を達成し、勾配のコサイン類似度は従来の0.604から0.909へ向上しました[26, 27]。メモリ消費量は約2倍ですが、計算量は従来の幅拡大手法より約1桁少なくなります[28]。なお、ResNet-18によるCIFAR-10実験では74.18%となり、従来PCの55.93%を上回ったものの誤差逆伝播法の90.44%には届いていません[29]。
【今後の展望と影響】次世代ハードウェアへの期待と本番規模モデルに向けた課題
PC-ALMの局所通信アプローチは、新たなハードウェア設計の指針となる可能性があります[30]。各層が近傍とのみ通信する仕組みは、脳型半導体（ニューロモーフィック半導体）と親和性があります[31]。ただし、提示された資料からは実機ハードウェア評価の有無を確認できず、現時点では理論的な言及にとどまっています[32]。
実用化に向けた課題も残されています。収束の理論保証は線形系に限定されており、ReLUなどの非線形関数を含むモデルでは理論保証がありません[33]。また、重み行列の転置を必要とする「重み転送問題」は未解決です[34]。推論ステップが有限の場合は勾配にズレが生じる制約もあります[35]。
したがって本研究は、大規模言語モデルを直ちに置き換えるものではなく、局所計算の成立を示した原理実証と位置付けられます[36]。検証対象は小規模な画像分類タスクが中心で、大規模モデルへの一般化は未確認です[37]。研究チームは時系列タスクや自己教師あり学習への拡張を次の課題に挙げています[38]。また、公開コードで完全再現が確認できるのは小規模設定が中心であり、1000層などの全検証が同一コードだけで完全再現できるかは判断できません[39]。
