AIニュース

ChatGPTのアカウント停止|OpenAIのCSAM検出ツール公開を解説

ChatGPTを仕事や学びで使っていると、どんな使い方がアカウント停止につながるのかは気になるところだ。OpenAIは、児童性的虐待コンテンツ(CSAM=Child Sexual Abuse Material)にあたる可能性のある画像を見つける分類ツールと、開発者向けの子どもの安全ガイダンスを公開した。この記事では公式資料に書かれている範囲だけを使い、何が検出の対象になり何が禁じられているのかを個人の目線で整理する。

要点

  • OpenAI CSAM Image Classifierは無償で使えるが、利用には承認が必要になる
  • 既知の画像との照合だけでは見逃す可能性のある、新しい素材やAI生成の素材も扱う
  • 出力はリスクスコアで、スコアだけではその画像がCSAMだと確定しない
  • 開発者向けガイダンスは、18歳未満の人を搾取したり危険にさらしたり性的対象にする目的でOpenAIのサービスを使ってはならないと明記している
  • 同ガイダンスは、CSAMポリシーに違反した、または違反しようとしたアカウントの恒久的な禁止などを検討するよう勧めている

何が公開されたか

検出ツールの役割

OpenAI CSAM Image Classifierは、CSAMにあたる可能性のある画像を識別するツールだ。既知の画像の「指紋」と照らし合わせるハッシュ照合だけでは見逃す可能性のある、新しい素材やAI生成の素材も対象に含む。出力はリスクスコアで、プラットフォームが画像を訓練された人によるレビューへ振り分けたり優先順位を付けたりするのを助ける。ハッシュ照合や文脈に基づく虐待の検出、人によるレビュー、法的な通報の手続きを置き換えるものではなく、それらを補完する位置づけだ。

個人として押さえておきたいのは、分類器のスコアだけではその画像がCSAMだと確定せず、法的な位置づけや通報すべきかどうかも決まらないという説明だ。学習時の定義は「子どもが関わる性的に露骨な行為の視覚的な描写」で、特定の国の法律に沿って判定する分類器ではなく、適用される定義や通報の要件は個別に確認すべきだとされている。

アクセスは無償だが承認が必要で、申請フォームの提出とPersonaによる本人確認フローの完了、さらにプログラムのオンボーディングと規約への同意が求められる。開発はNCMEC(National Center for Missing and Exploited Children)の協力を得て行われ、開発者向けガイダンスはTech Coalition、Thorn、NCMEC、IWF(Internet Watch Foundation)の専門的な助言を受けて作られた。

仕組みとスコア

分類器は、内部のCLIP画像エンコーダーと3層の多層パーセプトロン(MLP)を組み合わせている。APIが返すスコアは、CSAMの疑いを示すlikely-csamと、AI生成のCSAMの疑いを示すlikely-csam/gen-aiの2つだ。この2つは排他ではなく、AI生成のCSAMを含む画像は両方で高いスコアになりうる。既定のしきい値はlikely-csamが0.996324、likely-csam/gen-aiが0.90。獣姦やサディズム、乳幼児に関するより細かいシグナルは、性能をさらに検証できるまで外部には提供していないとしている。

一方で、子どもが関わる性的に露骨な行為を写していない画像はnon-CSAMとして整理されている。医療の実習や指導の文脈にある画像、性教育や発達の文脈にある写真や図、戦時下や宗教儀式などを記録した画像、赤ちゃんの初めてのお風呂のような家庭での写真が例に挙げられている。

精度として示された数字

評価に使われた保留セットは約46,849枚で、過去に確認された誤検知や、CSAMにあたらない医療画像のような境界的な例も含む。既定のしきい値での再現率はlikely-csamが0.802(5,490/6,849)、likely-csam/gen-aiが0.864(1,966/2,275)だった。誤検知の確認にはRe-LAION-5B-researchから約125万枚を使い、likely-csamのフラグ率は0.000004(5/1,248,985)とされている。

検証は保留した画像や公開データセットに加えて、ChatGPTのトラフィックのサンプルでも行われた。そして同じしきい値でも、オンラインの評価セットでの適合率はオフラインの保留セットより大幅に低かったと書かれている。適合率とは、フラグされた画像のうち本当に該当するものの割合のことだ。なお、分類器のAPIに送られた画像は保持されない。

開発者に求められていること

OpenAIは開発者に対し、自分のユーザーがOpenAIのサービスを関係する法律に従って使うようにする責任があるとしている。そのうえで、18歳未満の誰かを搾取したり危険にさらしたり性的対象にする目的でOpenAIのサービスを使ってはならないと明記している。具体的な対策としては、すべてのアップロードをユーザーに紐づけること、CSAMに関わる行為をしようとしているユーザーに警告やメッセージを出すこと、違反した、または違反しようとしたアカウントの恒久的な禁止や無効化を検討することが挙げられている。処分を回避しようとする繰り返しの違反者にも注意するよう書かれている。

個人の仕事や学びにどう使えるか

ひとつ目は、資料づくりやSNS運用で画像を生成・アップロードする場面だ。広報や総務の担当者が社内向けの画像を作るときも、18歳未満の人を性的対象にする利用は明確な禁止にあたる。ガイダンスは違反の試みを含めてアカウントの恒久的な禁止の検討まで挙げているので、「試しに」という軽い動機でも避けるのが前提になる。

ふたつ目は、医療や教育、福祉の現場で子どもが写った画像を扱う場面だ。看護師や学校の教員のように、医学的な文脈の画像や性教育の教材を扱う職種では、こうした画像がnon-CSAMとして整理されていることを知っておくと判断の助けになる。ただしスコアだけで確定しない前提のため、所属組織のルールに沿って扱い、公式のポリシーを確認しておきたい。

三つ目は、個人開発者やフリーランスのエンジニアがOpenAIのAPIでサービスを作る場面だ。画像のアップロードや編集、生成を扱うなら、ハッシュ照合の導入、すべてのアップロードをユーザーに紐づけるsafety_identifierの送信、NCMECや地域のホットラインへの登録を早い段階から検討する。プライバシーを守るため、メールアドレスやユーザー名はハッシュ化して送るよう案内されている。

会社・チームで使うときのポイント

本番規模では、フラグ率がわずかに上がるだけで数千枚から数万枚の画像が人のレビューに回る可能性があると説明されている。ガイダンスは、リリース前のリスク評価、層を重ねた検出、確度や重大度の高いシグナルへの人によるレビュー、レート制限やアカウント管理と不正利用の監視、そしてレビュー担当者や支援チームへの教育を挙げている。ただしこれらは出発点であり法的助言ではないとも書かれているため、自社のサービスと適用される法律に合わせて組み立てる必要がある。法人でのAI導入や社内研修を検討しているなら、法人向けAIリスキリングサービスで導入社数No.1(東京商工リサーチ・2026年3月末時点)の株式会社デジライズに相談できる。

使う前の注意点

この分類ツールは承認された組織向けで、個人が自分の手元で動かすものではない。評価の結果についても限界が明示されている。LLMが付けたタグによる集計では、likely-csamの再現率はBlackとタグ付けされた例で61.27%、ほかの人種タグでは84.48%〜90.32%で、female とタグ付けされた例の方がmaleより高かった。年齢では、prepubescentとタグ付けされた群の再現率が最も高く、infantとタグ付けされた群が最も低い。OpenAIはこれらが未検証のタグに基づく比較であり、属性そのものや差の原因を示すものではないと注記している。

テキスト側のモデレーションにも範囲がある。標準のモデレーションモデルのsexual/minorsカテゴリーはテキストのみを対象で、画像ベースのCSAM検出は別に扱う必要があるとされている。また、地域によって法律や通報義務は異なるとも書かれている。アカウントへの警告や停止がどのように運用されるのか、提供される国やプランの範囲が気になる場合は、使う前に公式のヘルプで最新の内容を確かめるのが安全だ。

まとめ

今回の公開でわかるのは、CSAMに関わる利用が明確な禁止であり、アカウントへの対応まで含めた仕組みが具体的に整えられているということだ。普段の使い方で心配なら、禁止事項と自分の業務上の画像の扱いを一度確認しておきたい。ChatGPTの使い方を体系的に学ぶなら、動画990本以上のデジライズAIスクールのコース一覧から「ChatGPT基礎(初級)」のような講座で基本から押さえていくのもいい。

出典


この記事は、各社の公式の発表をもとに AI で下書きし、出典の本文との照合とGoogle 検索による事実確認(ファクトチェック)を通ったものだけを公開しています。

ChatGPTアカウント停止の線引きとCSAM検出ツール | デジライズAIスクール