何が起きたか：リアルタイム市場を守るAI基盤「SafeChat」の全貌

フードデリバリー大手のDoorDashは、配達員（Dasher）と消費者間の安全を守るためのAIモデレーション基盤「SafeChat」を構築・運用しています。SafeChatは、単なる自動化や効率化にとどまらず、利用者の安全とマーケットプレイス運営の完全性を維持するために自社開発された機能群です[3, 10]。

DoorDashのモデレーション機能は段階的に進化してきました。同社は2022年11月14日に初期のSafeChatを発表し、米国、カナダ、オーストラリア、ニュージーランドで提供を開始しました[1, 69]。この機能は、アプリ内チャットで不適切または攻撃的な言葉を検知した際に、送信者への警告、受信者による報告、配達員の無ペナルティな配達離脱を可能にしました[1, 69]。その後、2024年3月12日には「SafeChat+」を発表し、消費者と配達員の間で交わされるすべてのアプリ内チャットをAIで確認し、言葉による嫌がらせや暴言を検知する体制へと拡張しました[2, 34]。

SafeChatの技術的な実装は、DoorDashのソフトウェアエンジニアであるBruna Pereira氏によって解説されています[3, 8]。同基盤の対象は当事者間で交換されるコンテンツ全般であり、テキスト、画像、音声というコンテンツ種別ごとに異なるアーキテクチャを採用しています[4, 62]。テキストは配信前に検査されて安全でない内容がブロックされ、画像は配達中のやり取りや配達完了証明が審査され、音声は通話がリアルタイムに分析されます[5, 6]。

後輩SafeChatって、テキストチャットの禁止ワードを弾くだけのフィルターとは違うんですか？

先輩テキストだけではなく、配達完了写真などの画像や通話音声までカバーするマルチモーダルな基盤なんだ。

後輩テキストだけでなく画像や通話まで別の仕組みでリアルタイムに処理しているんですね。

先輩そうだね。やり取りされるコンテンツの形式ごとに最適なアーキテクチャを組み合わせているよ。

なぜ今か：事後対応の限界とリアルタイム大規模処理の壁

オンデマンド市場では、日々膨大な件数のやり取りが発生します。DoorDashでは毎日数百万件のチャットメッセージに加えて、数十万件の画像や通話を処理・審査しています[11]。SafeChat+の展開時点では、毎分1,400件を超えるメッセージが審査対象となっていました[20]。また、Pereira氏の講演では、1日にチャット400万件超、通話40万件超、画像20万件超がやり取りされているとも説明されています[21]。

こうした規模の市場において、すべてを人手で即時審査することには物理的な制約があります[11, 74]。また、ユーザーからの通報を受けた後に調査する事後対応のみでは、最初の有害メッセージの到達や対話のエスカレーションを防げないという指摘もあります[13]。一方で、すべてのメッセージを高精度な大規模言語モデル（LLM）だけで判定しようとすると、モデルの処理速度やコストが大きな壁となります[17]。実際、全件をLLMで判定する案では1回あたり平均2〜10秒の遅延が生じ、大量処理には実用적でないと検討段階で判断されました[22]。

そのためDoorDashでは、AIが大量の通常コンテンツや低リスクなコンテンツを高速に処理し、深刻または反復的な違反のみを人間の安全担当者へエスカレーションする仕組みを設計しました[14]。

後輩1日数百万人規模のやり取りを全部LLMや人間で見るのは無理がありますね。

先輩通報を待つだけでは被害の発生を防ぎにくい一方で、重いLLMを全件に通すと配達のリアルタイム性が損なわれてしまう。

後輩だから大半の安全な通信は高速なモデルで素早く流して、怪しいものだけを深く調べる設計にしたわけですね。

先輩その通り。速度と精度のバランスを取るための工夫が求められたんだ。

技術の核心：低遅延と高精度を両立する多層アーキテクチャ

SafeChatは、単一のフィルターではなくモダリティ（データの種類）ごとに最適化された多層防御アーキテクチャを採用しています[18, 55]。テキスト処理では、メッセージを受信者に届ける前に同期的に検査し、有害な内容をブロックまたは検閲します[5, 12, 63]。

テキスト判定モデルは進化を重ねています。初期の三層構成では無料のモデレーションAPIを用いて約90％の安全なメッセージを通過させていました[24]。現在は、約1,000万件のデータポイントで学習した社内モデルを第1層に置く二層構成を採用しています[25, 30]。この社内モデルがメッセージ全体の99.8％を処理し、大半に対して300ミリ秒未満で応答します[23, 25, 40]。危険候補と判定された残り0.2％のメッセージのみが高精度な精密LLMへ送られ、最大3秒かけて追加判定されます[23, 25, 58]。

ポリシー判定においても、単純な安全・危険の二値判定は行いません。暴言、脅迫、性的内容の3つのカテゴリーごとに0〜5点のスコアを算出し、当事者の役割や配達段階に応じて柔軟に対応を分岐させています[16, 29, 64]。

画像モデレーションでは、単純な一律分類を行う外部APIのシャドーテスト（本番環境の裏で並行稼働させるテスト）において誤検知率の高さが課題となりました[15, 31, 57]。そこでDoorDashは、詳細なサブカテゴリーと信頼度スコアを持つモデルへと移行し、手動レビューと閾値調整を繰り返すことで適合率と再現率のバランスを改善しました[31, 41]。選定された画像モデルの追加レイテンシは約500ミリ秒に抑えられています[26]。

音声モデレーションでは、発話前の完全な遮断が原理的に困難です[19, 56]。そのため、導入初期は自動アクションを行わずに全通話を観測し、フラグが付いた会話を人間が確認してカテゴリーや閾値を調整しました[32, 42, 65]。精度の検証を経てから、危険な通話の強制終了や、その後の追加連絡を制限する自動化処理が導入されています[6, 42, 65]。

後輩99.8％のチャットを300ミリ秒未満の社内モデルで捌いているのはすごいですね。

先輩社内モデルで大半を高速に仕分けて、曖昧なケースだけ重いLLMに渡すことで遅延と精度の両立を図っているんだ。

後輩画像や音声も最初から自動で遮断したわけではないんですね。

先輩シャドーテストや人間の確認を挟んで誤検知を減らしてから、段階的に自動制御へ移行しているよ。

何が変わるか：事案50％減の成果と「人手とAIの協調」

SafeChatの導入により、DoorDashのプラットフォーム上では低・中程度の安全関連事案が50％減少しました[27, 49, 68]。事案の減少は、カスタマーサポートへの問い合わせ削減やプラットフォームの信頼性向上につながっています[49]。なお、SafeChat+発表時点でDoorDashは全配達の99.99％超が安全関連事案なしで完了していると説明していますが、これはプラットフォーム全体の水準を示す数値です[28]。

SafeChatは人間のオペレーションを排除するシステムではありません。AIによる検知後も、重大な事案や反復的な違反に対してはTrust & Safety（信頼・安全）チームが調査を行い、アカウントの一時停止や永久削除といった最終的な執行判断を担当します[33, 47, 67]。また、カスタマーサポートは顧客からの報告や支援要請を受け付ける窓口として維持されており、AIと人間が役割を分担する協調体制が敷かれています[48]。

検知後のアクションは段階的に設計されています。コンテンツの遮断や検閲、配達のキャンセルや再割り当て、通話の終了や連絡制限、そして人間の安全担当者によるアカウント措置へとシームレスにつながっています[44, 45, 66]。

後輩安全関連の事案が50％減ったとなると、サポート業務は全部AIに任せられるようになったんですか？

先輩いや、重大な違反の調査やアカウント停止の判断はTrust & Safetyチームが担っているよ。

後輩AIは即座の危険防止やトリアージを担当して、最終的な重い判断は人が行う分担なんですね。

先輩その通り。AIによる即時アクションと人間による慎重な審査が組み合わされているんだ。

誰に影響するか：配達員・消費者の保護と残された課題

SafeChatの導入は、配達員と消費者の双方に直接的な保護をもたらしています。配達員は、危険な会話が検知された際に、評価を落とすことなく配達から離脱（注文キャンセル）したり、相手との今後のマッチングを停止したりする選択肢を得られます[44, 46]。消費者も、配達完了後に不適切なチャットが続くことを防ぐ自動終了機能によって保護されます[45]。なお、注文そのものはSafeChatの直接的なモデレーション対象として説明されるのではなく、危険な会話を検知した後のキャンセルなどの対応先として位置づけられています[7]。また加盟店に対する固有の本番アクションは明記されておらず、市場全体の健全化を通じた間接的な恩恵にとどまるとみられます[54]。

一方で、リアルタイムモデレーションの運用には課題も存在します。SafeChat+の発表ではAIが個人情報にアクセスせずメッセージ内容のみを識別すると説明されている一方、DoorDashのプライバシーポリシーにはダイレクトメッセージの監視・分析・保存が明記されており、利用者は通信監視に伴うプライバシー上の負担を負う側面があります[35, 36, 50, 51]。また、正当なやり取りが誤ってブロックされる誤遮断のリスクも残されています[52]。

さらに、アカウント停止に対するアプリ内異議申し立て手続きは導入されているものの、個別のメッセージ誤遮断に対する専用の申立て手順は公開資料上確認できません[37, 38, 53]。多言語展開が進む一方で言語ごとの性能差やバイアス監査の詳細、適応的な攻撃への耐性評価などは公表されておらず、透明性の確保が今後の論点となります[39, 43, 59, 60, 61]。

後輩配達員がペナルティなしで危険な配達から抜けられるのは安心ですが、監視される側のプライバシーはどうなるんでしょう？

先輩ポリシー上はメッセージの監視や分析が明記されているから、安全性とプライバシーのバランスは常に議論になる点だね。

後輩誤って普通のメッセージが止められたときの異議申し立ても気になります。

先輩アカウント停止への不服申立てはあるけれど、個別メッセージの誤遮断への対応手順はまだ公開資料では確認できないよ。

今後の展望：業界標準ガードレールとの共通項とプラットフォーム拡張

SafeChatで採用された設計思想は、AI業界全体で進むセーフティガードレールの標準化の流れと深く共鳴しています。たとえば、Metaが公開した「Llama Guard」はリスク分類体系と多クラス分類を組み合わせていますし、AWSの「Amazon Bedrock Guardrails」も検知結果を数値スコアとして返して柔軟なアクションを選べる設計を提供しています[72, 73]。OpenAIの研究でも、ポリシー策定からデータ収集、小型モデルへの蒸留という反復的な開発手順が示されています[70, 71]。また、欧州のデジタルサービス法（DSA）が求めるモデレーションの透明性や人による審査といった要件にも合致する方向性です[75]。

SafeChatのアーキテクチャから抽出できる再利用可能な核は、モダリティ別の入力処理、高速な第1層と精密な第2層によるカスケード、多軸スコアリング、判定とアクションの分離、そして人間によるレビューの統合です[76]。その上でDoorDash固有の要素として、配達段階や当事者の役割、無ペナルティ離脱といった物理空間の安全に直結するアクションが組み込まれています[76]。

Pereira氏の講演では、プロフィール画像や登録名、食品レビューなど多様な用途に対応するコンテンツ非依存のモデレーション基盤への拡張構想も語られました[9]。リアルタイムな商取引を保護するAI基盤の設計は、今後他のマーケットプレイスやプラットフォーム企業にとっても重要な参照点となるでしょう。