AIインシデントデータベースにようこそ
インシデント 1402: DOGEは、国立人文科学基金の助成金の取り消しにおいて、検証されていないChatGPTの出力に依存していたと報じられている。
“DOGEが人文科学にChatGPTを解き放ったとき”最新のインシデントレポート
トランプ政権が昨 春、全米人文科学基金(DEI)の助成金削減策を模索した際、教授陣にとってお馴染みの悩みの種、ChatGPTに目を向けた。
昨年3月、イーロン・マスク率いる政府効率化局の職員2人が、トランプ大統領の政策に反する、既に承認済みの助成金を取り消すという任務を帯びて同局に赴任した。しかし、彼らは助成金交付済みのプロジェクトを綿密に調査するのではなく、インターネットから短い概要を抜き出し、AIチャットボットに入力した。
質問はシンプルだった。「以下の内容はDEIに少しでも関連していますか?120文字以内で事実に基づいて回答してください。『はい』か『いいえ』で始めてください。」結果は広範囲にわたり、時に奇妙な結果となった。
アラスカの先住民言語アーカイブの改善は、「包摂性と多様な視点の促進」を危うくした。 黒人新聞をデジタル化し、歴史データベースに追加するための長年の助成金の更新は「D.E.I.」でした。アメリカ音楽史に関する40巻の学術シリーズの作業も同様でした。
ホロコースト中のユダヤ人女性の奴隷労働に関するドキュメンタリーですか?ジェンダーに焦点を当てることは、「疎外された人々の声を増幅させることでD.E.I.に貢献する」リスクがありました。
アメリカ独立戦争におけるイギリス軍将軍、トーマス・ゲージの文書をカタログ化しデジタル化する取り組みでさえ、「歴史研究における包括性と多様性の促進」に罪を犯していました。
DOGEの従業員はChatGPTの判断に疑問を呈する様子もなく 、容認できないプロジェクトの捜索を続けました。 2週間後、彼らは問題のある助成金1,477件(バイデン政権下で実施されたほぼ全ての助成金を含む)のマスターリストを、財団のマイケル・マクドナルド理事長代行に送付した。
同機関のベテランであるマクドナルド氏は、DOGEがこれらの助成金を廃止することに同意した。これは後に彼が「白紙の状態」と表現した、トランプ氏の「アメリカ第一主義」政策のための新たな出発点となった。
これらのキャンセルにより、州政府機関の年間予算のほぼ半分に相当する1億ドル以上が失われ、多くの組織が混乱に陥り、一部のプロジェクトは中止を余儀なくされた 中止。現在、州政府機関とDOGEに対する2件の訴訟で提出された文書により、州政府機関の指導部からの意見や反対がほとんどないまま、大規模なキャンセルがどのように形作られたかについての新たな詳細が明らかになっている。
原告であるアメリカ学術協会評議会(ACL)、アメリカ歴史学会、現代語学協会、および米国作家協会は、金曜日に提出された共同申立てにおいて、DOGEが同機関を違法に掌握し、憲法修正第一条および平等保護条項に違反する予算削減を実施したと主張している。申立てによると、これらの削減は広範囲に及んだが、人種、民族、性別、その他の特性に基づいて差別するD.E.I.に対するキャンペーンが推進されたものであった。
原告は助成金の復活を求めている。彼らはまた、国家財団の設立立法に定められているように、すべてのアメリカ国民の「多様な信念と価値観」を尊重するという国家財団の使命を裏切ったと彼らが考える行為の背後にある動機と方法を歴史的記録が明らかにすることを望んでいる。
「連邦政府は、人文科学の支援、称賛、投資の対象は限定的であり、深く理解する価値のある人々、文化、経験は限られているというメッセージを発している」と、アメリカ歴史協会の事務局長サラ・ワイクセル氏はインタビューで述べた。
人文科学基金とマクドナルド氏はコメント要請に直ちには応じなかった。以下の説明は、この訴訟で提出された電子メール、証言録取書、その他の内部文書の検証に基づいている。
「上層部からの圧力を受けている」
1965年の設立以来、人文科学基金は65億ドル以上を交付し、ケン・バーンズのドキュメンタリー映画『南北戦争』のような画期的な作品から、全国各地の小規模な地域活動まで、7万件以上のプロジェクトを支援してきた。助成金は通常、複数回の学術的審査を含む厳格な競争プロセスを経て授与されます。
法律と伝統により、4年の任期を務める委員長には、自らの優先事項を推進する一定の裁量が与えられています。しかし、基金は政治的な主張を避けることが求められており、多 くのプロジェクトは複数の政権にまたがって支援を受けています。
政治的な理由で助成金が取り消されることはほとんど聞いたことがありません。マクドナルド氏は証言の中で、20年以上にわたる同機関での勤務の中で、助成金が取り消されたのは6件にも満たないと述べています。すべて、受給者が約束された研究を遂行できなかったという理由によるものです。
しかし、トランプ政権にはさらに大きな計画がありました。
2025年3月12日、当時の同機関の委員長でバイデン大統領によって任命されたシェリー・C・ロウ氏はトランプ氏の指示で辞任した。同日、DOGEの職員2人、ジャスティン・フォックス氏とネイト・キャバノー氏が到着した。
証言録取で彼らは人文科学のバックグラウンドはなかったと認めているが、キャバノー氏が述べたように「役に立たない小規模機関」を縮小するというDOGEのより広範な使命を信じていた。
ホワイトハウス職員は、トランプ大統領が政府全体の多様性イニシアチブを禁止する大統領令を発令したことを受け、バイデン政権下で交付されたすべての助成金について、「D.E.I.の関与」を「高」、「中」、「低」、「なし」のいずれかに評価するスプレッドシートを既に作成していた。
裁判所文書によると、DOGEチームはこれらの評価を参考にする代わりに、ChatGPTを使用して独自の評価を作成 ことが示されている。
DOGEチームが作成した最初のスプレッドシートでは、問題のある助成金が1,057件挙げられていた。しかし、2週間以内に、フォックス氏とキャバノー氏はさらに数百件の助成金をD.E.I.関連、あるいは単に「無駄」であると特定した。最終的に、バイデン政権下で承認された助成金のうち、維持されたのはわずか42件でした。
フォックス氏とキャバノー氏はコメント要請にすぐには応じませんでした。
DOGEチームは作業を進める中で、マクドナルド暫定議長に対し、プロセスが十分に迅速に進んでいないことへの懸念を表明しました。3月31日付のマクドナルド議長宛てのメールで、フォックス氏は次のように述べています。
この件について上層部から圧力を受けており、引き続き我々の側に立っていただきたいと考えていますが、もし関心がなくなった場合はお知らせください。
マクドナルド氏はDOGEのスプレッドシートを確認した後、キャンセルすれば「我々の誰にとっても好ましくない」いくつかの「重要なプロジェクト」について懸念を表明しました。
マクドナルド氏は4月1日、フォックス氏宛てのメールで、終了予定の助成金の多くは「DEI(環境・エネルギー・インクルーシブ)の推進という点では無害」だと述べています。
しかし、DOGEチームは、DEIの理念を推進する可能性があるためプロジェクトを中止するだけでなく、財政赤字削減を支援するための資金提供も中止したいと仰っています。いずれにせよ、あなたが明確に述べているように、このリストにあるプロジェ クトへの資金提供を中止するかどうかは、あなたの判断に委ねられています。
マクドナルド氏は、DOGEチームが起草した書簡を承認し、助成金の終了手続きを彼らに委ねることに同意しました。マクドナルド氏の署名入りの書簡は、DOGE職員が作成した非公式アドレスから4月2日に送付され始めました。ほぼ即座に、受信者は困惑し、書簡が本物かどうか尋ねる返信を寄せました。
マクドナルド氏はメールで、職員に対し、中止を確認するよう指示しましたが、追加情報は提供しないよう指示しました。また、通常の手続きに反し、異議申し立ては認められないとしています。
ジョージ・ワシントンは除外される
最終リストが固まるにつれ、トランプ政権の優先事項であるアメリカ独立宣言250周年に関連する助成金の一部を残すことについて議論が交わされました。
ジョージ・ワシントン文書の学術編集に対する助成金は除外されました。しかし、イギリス軍将軍トーマス・ゲージの文書](https://apps.neh.gov/publicquery/AwardDetail.aspx?gn=PW-277570-21)は、D.E.I.のゴミ箱行きとなりました。
毎年全米で約50万人の中高生が参加する歴史コンテスト「全米歴史の日」への支援継続の是非についても議論が交わされた。
マクドナルド氏はフォックス氏へのメールで、主催者がトランプ政権初期に45万ドルの助成金を受けていたにもかかわらず、「信頼できるパートナー」となるかどうか懐疑的な見方を示した。
マクドナルド氏は証言の中で、「私は全米歴史の日を特に支持していたわけではない」と述べ、「左寄りだ」と同氏は考え ていると述べた。
原告は申立書の中で、これらの助成金の取り消しは、不利な立場にある団体への敵意と、それら団体に関する研究は本質的に無駄であるという考えを反映していると主張している。
証拠として、申立書にはフォックス氏が作成したリスト、彼が「最もクレイジー」で「その他の悪い」助成金と呼ぶもの[、](https://www.historians.org/wp-content/uploads/2026/03/248-9.pdf]が記載されており、彼はこれをDOGEのXアカウントで強調する予定だった。彼は「LGBTQ」「BIPOC」「部族」「民族」「ジェンダー」「平等」「移民」「市民権」「人種のるつぼ」など、30以上のキーワードを使った。(「最もクレイジー」とされた20以上の助成金の大部分は、LGBTQ関連のテーマに関連していた。)
フォックス氏は証言の中で、このリストは助成金がトランプ大統領の大統領令に違反しているかどうかについての彼の「主観的」な判断を反映していると述べた。
「『クレイジー』というのは言い方の一つだ」と彼は言った。「『最も罪を問う』というのも別の言い方だ」
原告側の弁護士は、フォックス氏に対し、当初のChatGPT検索でフラグが付けられたいくつかの助成金についても質問した。例えば、1873年にルイジアナ州コルファックスで起きた虐殺事件(https://www.archives.gov/fort-worth/highlights/columbus-nash)に関するドキュメンタリーへの助成金などだ。この事件では、元南軍兵士とクー・クラックス・クラン(KKK)のメンバーからなる暴徒集団によって、数十人の黒人男性が殺害された。
ChatGPTはこれ を「D.E.I.(原文ママ)」と判定した。フォックス氏も同意した。「これは、人種問題である黒人に対する暴力行為のみに焦点を当てているからです」と彼は述べた。
原告側の弁護士はまた、フォックス氏が最初にChatGPTを検索したところ、ホロコーストに関連する複数のプロジェクトがフラグ付けされ、その中には奴隷労働者だったユダヤ人女性に関するドキュメンタリーも含まれていたと指摘した。
ChatGPTに同意するかどうか尋ねられたフォックス氏は、「これはユダヤ系の、特にユダヤ文化に焦点を当て、その文化の中で疎外された女性の声を増幅させるものです。そのため、本質的にDEI(原文ママ)と関連しています」と述べた。
弁護士が証言録取でChatGPTに言及した際、文学博士号も持つ弁護士のマクドナルド氏は、DOGEチームがChatGPTを使用していたことを知らなかったようだった。彼は、コルファックス虐殺とホロコーストに関する助成金がDEI(アメリカ第一主義)に関連しているという意見には同意できないと述べた。
しかし、彼はすべての助成金削減の責任を主張した。「最終決定者は私だ」と彼は言った。「私がその決定を下した」
(人文科学基金をめぐる紛争とは無関係の訴訟として、ニューヨーク・タイムズ紙は2023年にChatGPTの開発元であるOpenAIとそのパートナーであるMicrosoftを、AIシステムに関するニュースコンテンツの著作権侵害で提訴した。両社はこれらの主張を否定している。)
「アメリカ第一主義」の人文科学?
昨年4月2日、助成金の取り消しが発表される頃、フォ ックス氏はマクドナルド氏に次のような要請を送った。
アメリカ第一主義の助成金を優先するという新たな方針を実行するために必要な、中核的で有能で、ミッションに合致した人材について、あなたの見解をまとめておいてください。
その後数ヶ月で、同局の職員は3分の2に削減され、約60人になった。
フォックス氏とキャバノー氏は昨夏、Specialというテクノロジー企業を設立するために政府を去った。マクドナルド氏は現在も同局に在籍している。2月4日、トランプ氏はマクドナルド氏を常任委員長に指名した。このポストには上院の承認が必要となる。
マクドナルド氏は、2003年に同基金の顧問弁護士として加わる前は、保守系の政策団体である個人の権利センターで主任法務戦略家を務めていた。同団体は積極的差別是正措置への反対で最もよく知られている。彼は証言の中で、バイデン政権下で同局は「肥大化」し、多様性に過度に重点を置くようになったと述べた。彼はまた、気候変動に関する新たな取り組みを批判し、これを「非常に物議を醸す問題」と呼んだ。
トランプ政権は「白紙の状態から」「新たなスタート」を切望しているというのが彼の理解だと彼は述べた。
DOGEチームのメンバーは業務を進める中で、主にマクドナルド氏と、2006年から同局に勤務するプログラム担当副議長のアダム・ウルフソン氏と連絡を取っていた。裁判所の書類に含まれるテキストメッセージのやり取りは、2人が学 術界の現状について否定的な見方を共有していたことを示唆している。
4月13日、マクドナルド氏はウルフソン氏に記事宛てに、大規模な助成金削減を非難するテキストメッセージを送信した。ウルフソン氏はこれに対し、「政権は他の権威主義的(あるいは全体主義的!)な政府と同様に人文科学を破壊しようとしているという偏向した非難」を批判した。
「人文科学の進歩主義版は、以前からそれを成し遂げてきた」とウルフソン氏は付け加えた。「今日では、それは『覚醒』や『インターセクショナリティ(交差性)』という言葉で呼ばれている」。
マクドナルド氏は親指を立てた絵文字を添えた。
マクドナルド氏は証言の中で、広く批判されているに呼応し、「昨今の人文科学の血脈を流れる進歩主義イデオロギーの画一性」への失望を改めて表明した。彼はトランプ政権のアプローチを支持し、「アメリカ文明、西洋文明、ユダヤ・キリスト教文明、そういったものに集中する」という「アメリカ第一主義」だと表現した。
マクドナルド氏は過去1年間、この方向へ機関を導いてきた。1月には7,500万ドルの新たな助成金を発表し、これには保守派が支援する市民思想センター[古典人文科学]へ の4,000万ドル以上の多額の助成金が含まれている。学術界のリベラルな傾向に対抗するため、一部のキャンパス内またはその近郊に設立された1000万ドル以上の助成金[(https://excellenceinhighered.org/news/fehe-receives-10-million-grant-from-the-national-endowment-for-the-humanities/)]に助成金が支給された。
助成金の多くは、NEHの伝統である公開競争入札方式の枠外で、応募を呼びかけられた選抜された受給者に支給された。
裁判所の文書は、特に注目を集めているある大規模助成金の起源を明らかにしている。それは、保守的なユダヤ人教育団体Tikvahに支給された1040万ドルの助成金で、ユダヤ文明と西洋文化の研究を促進する幅広いプロジェクトに対して支給された。この助成金はNEH史上最大額である。
原告側弁護士から、連邦政府の助成金を申請したことのないティクヴァが、なぜこれほど巨額の競争のない助成金を獲得したのかと問われたウルフソン氏は、マクドナルド氏がティクヴァのポッドキャスト番組に感銘を受け、連絡を取るよう依頼したと述べた。
ティクヴァとの個人的なつながりについて問われると、ウルフソン氏は、妻が以前同団体のプログラムに関わっていたこと、そして現在はティクヴァの元理事長が設立した別の財団のマネージング・ディレクターを務めていることを明かした。
しかしウルフソン氏は、助成金に関して紹介した以外、何の役割も担っていないと述べた。「申請書の審査などには関わっていません」と彼は述べた。 (ウルフソン氏はコメント要請に応じなかった。)
人文科 学財団の17人からなる外部学術評議会は、法律によりほとんどの助成金について助言を行う義務があるが、ティクヴァ賞の推薦を拒否した(https://www.nytimes.com/2025/11/15/arts/national-endowment-humanities-trump.html)が、マクドナルド氏はこれを却下した。昨年10月、助成金が公表された直後、ホワイトハウスは理事会のほとんどのメンバーを解雇した(https://www.nytimes.com/2025/10/01/arts/trump-neh-firings.html)。理由は明らかにされていない。
一部の助成金プログラムは現在、「西洋文明」に関連するプロジェクトのみ 対象となっていますが、NEHは長年支援してきた研究、すなわち学術論文の編集、アーカイブの保存、博物館展示、パブリックヒストリー・プロジェクトへの資金提供を継続しています。
しかし原告らは、受け入れ可能なテーマとアプローチの狭まりと、NEH設立時の法律で表明された「人文科学はすべてのアメリカ人のものである」という理念からの後退を懸念しています。
アメリカ学会評議会のジョイ・コノリー会長は、民主主義国家には教養のある国民が必要であるというジョージ・ワシントンの信念を引用しました。彼女はまた、国内興行収入で約2億8000万ドルを記録したヒット映画『Sinners』についても言及した。
「この映画は、何世代にもわたる歴史研究、つまり音楽の歴史や奴隷制の歴史に基づいている」と彼女は述べた。「ChatGPTが一夜にして作り上げたわけではない」。
「アメリカ人はこういうものを求めている」と彼女は言った。「彼らはそれを観るためにお金を払うのだ」
インシデント 1403: NZニュースハブは、ニュージーランドのFacebookユーザーを欺くために、AIで書き換えられたニュース記事と合成画像を使用していたと報じられている。
“ソーシャルメディア上のAI生成「ニュース」ページが何千人ものニュージーランド人を誤解させている”
1Newsの調査によると、何千人ものニュージーランド人がソーシャルメディア上で「ニュース」に「いいね!」やコメント、シェアをしているが、そのニュースがAIによって作成され、ラベルも貼られておらず不正確な捏造画像が添えられていることに気づいていない可能性もある。
専門家は、こうしたアカウントの人気と急増により、実際の報道と捏造コンテンツの境界が曖昧になり、ニュージーランド人のニュースへの信頼度が既に低い状況に拍車をかけている可能性があると指摘している。また、民間防衛団体もこうしたページについて公に警告を発している。
1Newsは、既存のニュージーランドのニュース記事をAIで書き換え、合成画像とともにFacebookに投稿しているFacebookページを少なくとも10件特定した。
こうしたソーシャルメディアの「ニュース」ページの一つ、「NZ News Hub」は数千件の「いいね!」、コメント、シェアを獲得しており、1月に投稿された209件の投稿が調査対象となった。このページの名前は、2024年に閉鎖された全国紙Newshub(https://www.1news.co.nz/2024/07/05/thank-you-for-being-our-people-newshubs-hayes-mcroberts-sign-off/)に似ていました。
プロフィールには「NZ News Hubは、ニュージーランドの最新ニュース、速報、政治、ビジネス、スポーツ、コミュニティの最新情報をお届けします」とありましたが、ページには独自の報道は一切掲載されていないようです。
掲載された画像 にはAI生成と明記されたものはなく、一部の投稿には実在の人物を偽装した写真が掲載されていました。
あるケースでは、マウント・マウンガヌイの土砂崩れで死亡した未成年者の静止画が、彼女が踊っているように加工されていました。また別のケースでは、10代の娘を自殺で亡くした両親の画像が、夫婦が愛情表現をしているように編集されていました。
自然災害や救急サービスに関する投稿は、常に実際の出来事を超えて誇張されていました。
NZ News Hub は、東海岸の高速道路での実際の滑落 をはるかに破壊的なものとして描写し、マウント マウンガヌイの滑落 に追加し、アカロアで座礁した観光船 を編集しました。実際よりもはるかに多くの乗客で満員に見えるようにするためです。
警察官はしばしばイギリスやアメリカの制服を着用し、公式発表では武装の兆候がないにもかかわらず、銃を構えている姿で描かれていました。
場合によっては、投稿に元のプロンプトが誤って残されており、上部に「わかりやすい見出し、絵文字、人気のハッシュタグを使ったニュース風のリライトです」と、下部に「ご希望であれば、これを短く、ドラマチックに、あるいはソーシャルメディア風にすることもできます」と書かれていました。
Google画像検索によると、このページに投稿された複数の写真のピクセルには「SynthID」 というデジタル透かしが埋め込まれており、同社のAI画像生成ツールを使って作成されたことが示されています。
昨年11月下旬に開設されたNZ News Hubには、4700人以上のフォロワーがいました。個々の投稿には定期的に1,000件以上の「いいね!」やコメントが寄せられており、その多くはAI生成画像を批判し、「メディア」がフェイクニュースやAI技術の使用を非難する内容となっていますが、このページはいかなる報道機関とも一切関係がありません。
あるコメント投稿者がAI写真の使用を指摘した際、NZ News Hubは「ニュースは真実です」と返答しました。
ページ運営者は、1NewsからのAI生成画像の使用に関する詳細な質問(故人の家族の許可なく画像が作成された理由や、AI生成コンテンツにラベルが付いていない理由など)を読みましたが、回答しませんでした。
素早くスクロールして読み飛ばす人にとっては、これらの投稿と本物のニュースを区別できるものはほとんどありません。
当局、AI生成の誤情報に警鐘を鳴らす
当局は、報道機関を模倣し、捏造またはAI生成コンテンツを共有する偽のソーシャルメディアページについて、公に警告を発しています。
ギズボーン地区議会とタイラウィティ民間防衛局は先週木曜日、「報道機関を装い、AI生成画像や地域の出来事や緊急事態に関する捏造コンテンツを共有している」偽ページを確認したと発表した。
両機関は、一部の投稿がニュージーランドの電話番号や住所を使用したり、ブランドイメージや「速報ニュース」のスタイルを模倣したり、実在の人物や団体の許可なく名前を挙げたりすることで、信憑性があるように見せかけていると述べた。
Facebookに投稿された声明には、「正確な情報は、特に緊急対応時には重要です。地域社会の安全と十分な情報を確保しましょう」と記されている。
国家緊急事態管理庁(NEMA)は先月、全国で発生した悪天候の際にAI生成画像がオンラインで拡散していることについて警告を発した。特に、マウント・マウンガヌイで発生した壊滅的な土砂崩れに関する情報が拡散している。
NEMAは、「国民が信頼できる正確な緊急情報チャンネルを信頼し、安心できることが重要です。
緊急事態において、国民に情報を届ける主な手段はメディアです。」と述べた。
NEMAは、メディアと緊密に連携し、検証済みで信頼できる情報を国民に提供するよう努めたと付け加えた。
皆様には、常に警戒を怠らず、信頼できる情報源を利用し、情報を共有する前にその情報源が信頼できるものかどうかを確認するようお願いいたします。
対応にあたっては、流布されている情報を綿密に監視していますが、ニュージーランド国民の皆様には、疑わしい画像を見つけた際には指摘するか、適切な方法があれば報告するようお願いいたします。
スクレイピングされた情報、捏造された画像
オーストラリア工科大学(AUT)の准教授であり、ジャーナリズム・メディア・民主主義センターの共同ディレクターを務めるメルヤ・ミリラティ氏は、ソーシャルメディア上のAI生成「ニュース」ページは、公式発表を転用し、ラベルのないAI画像と組み合わせることで、正当なジャーナリズムと捏造コンテンツの境界を曖昧にする危険性があると指摘しました。
「彼らは、警察 の通知やプレスリリースといった、実際のニュースサイトに掲載されている情報と同じものから、本物ではない、ラベルのないAI画像を作成しています」と彼女は述べています。
ミリラティ氏は最近、AIがどのように利用されているかについて報告書を発表しました。ニュージーランドのメディア業界の現状を調査する専門家は、1Newsに対し、この慣行は主流メディアの運営方法とは大きく異なると語った。
「私が取材を行い、大手ニュースメディアの編集者全員と話し合った際、TVNZ、RNZ、ニュージーランド・ヘラルド、そしてStuffは、AIを使って動画や画像を作成・生成しておらず、もし生成していたとしても、それを公表すると述べています。」
ビクトリア大学AI上級講師のアンドリュー・レンセン氏は、ニュースを装ったAI生成コンテンツの拡散が加速しており、検知が困難になっていると述べた。
「これは明らかに新たな問題であり、ますます悪化しています。」
レンセン氏によると、多くのページは実際のニュース記事に基づいているものの、AIによってコンテンツが自動的にスクレイピングされ、書き換えられ、再公開されたため、不正確な情報が含まれることが多かったという。システムです。
「根底にあるストーリーは真実かもしれないが、詳細は正確ではない可能性がある」と彼は述べた。
こうしたコンテンツを生成するページは「ほぼ常に完全に自動化されている」と彼は述べた。スクリプト化されたワークフローを用いて、正規のニュースソースを監視し、そのコンテンツをChatGPTのような大規模言語モデルに入力し、事前に設定されたプロンプトに従って書き換える。
その後、テキストに付随する画像や動画が自動的に生成され(既存の画像をベースにする場合もある)、ソーシャルメディアに投稿される。
正規メディアへの信頼を損なう偽ページ
ミリラハティ氏は、多くの視聴者がプロの報道機関とそれを模倣したソーシャルメディアページを区別するのに苦労していることが問題だと指摘した。
この混乱は、特に偽ページが類似したブランドや名前を採用している場合、正規メディアへの信頼を損なう恐れがあると彼女は述べた。
「視聴者は、『メディアは偽の写真を流しているだけだ』と考えてしまうかもしれないが、このページがどのニュースルームにも関連していないことに気付いていない」と彼女は述べた。
両研究者は、AI生成コンテンツの量の増加について警告した。評判の良い報道機関でさえ、信頼を損なうリスクがある。特に、AUTの最新の「ニュースへの信頼」調査によると、ニュージーランド人の32%しかニュースを信頼していない現状ではなおさらだ。
「人々は『ソーシャルメディアで起きているのに、1NewsやThe Heraldの報道をなぜ信頼する必要があるのか?』と考えるかもしれない」とレンセン氏は述べた。
技術が進化し、AI生成画像がより説得力を持つようになるにつれて、視覚的な手がかりは信頼できなくなり、情報源の検証が騙されないための主な防御策になるだろうと彼は付け加えた。
「それはラジオ・ニュージーランドなのか、1Newsなのか、それとも他にどこにも参照されていない、少し奇妙な名前のページなのか?」と彼は言った。
「自分で確認する必要がある」ファクトチェッ クだ」
レンセン氏は、現時点では、制服の不一致、ニュージーランドの基準に合わない装備、画像に埋め込まれた歪んだ意味不明なテキストなど、矛盾点が手がかりとなる可能性があると述べた。
ミリラティ氏は、今回の出来事は、報道機関がAIをジャーナリズムの支援にどのように活用しているかを明確にすることで、信頼を築く機会になったと述べた。
「調査、大規模な文書の要約、テキストの書き起こしなどにAIを活用しているかどうかを、読者に明確に伝えるべきです」と彼女は述べた。
「読者に伝えれば伝えるほど、信頼関係は深まります」
Facebookを所有するMetaは、1Newsに対し、これらのページがポリシーに違反しているかどうか、また違反した場合にどのような強制措置を講じるか(もしあれば)について、締め切りまでに声明を出さなかった。
最新情報:月曜日の午後までに、NZ News HubはFacebookから消えた。アカウントが自ら削除したのか、Metaが措置を講じたのかは不明だ。
インシデント 1399: 韓国人女性が、モーテルで2件の致死的な中毒事件を起こす前に、薬物とアルコールの混合物の致死率を評価するためにChatGPTを使用していたとされる
“「人を殺す可能性はあるか?」ソウル在住の女性が、韓国のモーテルで2件の殺人を実行するためにChatGPTを利用したとされる”
チャットボットとのやり取りには注意が必要です。計画的な殺人を実行するための口実を与えてしまう可能性があるからです。
韓国の21歳の女性は、男性2人を殺害し、もう1人を一時的に意識不明にさせた一連の殺人を計画するにあたり、ChatGPTを利用して質問に答えていたとされています。
キムという姓のみで特定されているこの女性は、精神疾患の治療薬として処方されていたベンゾジアゼピン系薬剤を混ぜた飲み物を男性2人に飲ませたと、Korea Herald紙が報 じています(https://www.koreaherald.com/article/10678557)。
キム容疑者は当初、2月11日に傷害致死罪という軽い罪で逮捕されましたが、ソウル江北警察が彼女のオンライン検索履歴とChatGPTでのチャット会話を発見し、容疑を引き上げました。彼女の質問から、殺害意図があったことが立証されました。
「睡眠薬をアルコールと一緒に服用するとどうなるのですか?」キム容疑者はOpenAIのチャットボットに「どれくらいの量なら危険とみなされるのか?」と尋ねたと報じられている。
「致命的になる可能性はあるか?」とキム容疑者は尋ねたとされている。「人を死なせる可能性はあるか?」
江北モーテル連続殺人事件として広く報道された事件で、検察は、キム容疑者の検索履歴とチャットボットの履歴から、容疑者が自分のカクテルが致命的になるかどうかについて説明を求めていたと主張している。
キム容疑者はChatGPTで薬物に関する質問を繰り返していた。ヘラルド紙によると、警察の捜査官は「彼女は薬物とアルコールを一緒に摂取すると死に至る可能性があることを十分に認識していた」と述べた。
警察によると、女性はベンゾジアゼピン系薬剤を含む処方された鎮静剤を男性たちの飲み物に混ぜたことを認めたが、以前はそれが死につながるとは知らなかったと述べていたという。
1月28日午後9時半直前、キム容疑者は20代の男性とソウル江北(カンブク)のモーテルに入り、2時間後に一人でモーテルを出て行くところを目撃された。翌日、その男性はベッドの上で死亡しているのが発見された。
キム容疑者は2月9日にも、別のモーテルに20代の男性とチェックインし、同 じ行動をとったとされている。この男性も、同じく鎮静剤とアルコールを混ぜた致死性の飲み物を飲んで死亡しているのが発見された。
警察は、キム容疑者が12月にも交際中の男性に駐車場で鎮静剤を混ぜた飲み物を与え、殺害しようとした疑いもあるとしている。男性は意識を失ったものの、一命を取り留め、命に別状はなかった。
キム氏がチャットボットに尋ねた質問は事実に基づいたものだったと、OpenAIの広報担当者はフォーチュン誌に語った。つまり、ユーザーが自傷行為を示唆したとしても、質問によって警報が鳴ることはないということだ(ChatGPTは、その場合、自殺防止ホットラインに応答するようにプログラムされている)。韓国警察は、キム氏が尋ねたとされる上記の質問に対し、チャットボットが事実に基づいた回答以外の回答をしたとは主張していない。
チャットボットとメンタルヘルスへの影響
ChatGPTのようなチャットボットは、暴力行為や自傷行為を防ぐための対策が不十分であるとして、最近、厳しい監視の対象となっている。最近では、チャットボットが爆弾の作り方をアドバイスしたり、仮想の戦争ゲームシナリオで核兵器による全滅を示唆したりした事例もある。
特に、人々がチャットボットの仲間との恋愛](https://fortune.com/2025/12/26/women-in-love-with-chatgpt-he-satisfies-a-lot-of-my-needs/)やチャットボットの仲間は、人々がより長く使い続けるために脆弱性を悪用することが示されています。Yara AIの開発者は、メンタルヘルスへの懸念からセラピーアプリをシャットダウンしました。
最近の研究では、チャットボットが妄想性精神疾患の増加につながっていることも示されています。精神疾患を持つ人々の健康危機。デンマークのオーフス大学の精神科医チームは、精神疾患を持つ人々がチャットボットを使用すると症状が悪化することを発見しました。AIによって引き起こされるメンタルヘルスの問題という比較的新しい現象は、「AI精神病」と呼ばれています。
中には死に至るケースもあります。GoogleとCharacter.AIは、自殺した、またはAIチャットボットに関連していると主張する精神的被害を受けた子供の家族が提起した複数の訴訟で和解に達しました。
カリフォルニア大学バークレー校公衆衛生大学院の学部長兼生命倫理学教授であり、カブリ倫理センターの共同所長でもあるジョディ・ハルパーン博士は、科学と公共の利益は、この分野で豊富な経験を持っています。ハルパーン氏は、肩書きと同じくらい長いキャリアの中で、共感が受け手に与える影響について30年間研究を続け、医師や看護師が患者に与える影響や、戦争から帰還した兵士が社会でどのように認識されているかといった例を挙げています。過去7年間は、テクノロジーの倫理、そしてそれに伴うAIやチャットボットが人間とどのように交流するかを研究してきました。
彼女はまた、チャットボット企業に自傷行為やそれに関連する自殺傾向に関するデータを収集・ 報告することを義務付ける全米初の法律であるSB243について、カリフォルニア州上院に助言しました。OpenAIの調査結果によると、120万人のユーザーがチャットボットと自殺について率直に話し合っていることが示されています。ハルパーン氏は、チャットボットの活用を、タバコ産業の撲滅に向けた非常にゆっくりとした進歩に例えました。タバコに有害な発がん物質が含まれているという非難を浴びせていますが、実際には喫煙そのものに問題があったのです。
「安全な企業が必要です。タバコと同じようなものです。」 「肺がんになりやすい要因はいくつかあるかもしれないが、問題はタバコだった」とハルパーン氏はフォーチュン誌に語った。
「ChatGPTの使用によって、殺人願望を抱いたり危険な行為に及ぶ可能性が悪化する可能性があり、これは私にとって明らかな懸念事項です」と彼女は述べ、「自殺の手助けに利用されるという大きなリスクがある」と付け加えた。チャットボット全般についてもそうだ。
ハルパーン氏は、ソウルのキム氏のケースでは、人が質問をすることを止めるガードレールがないと警告した。
「チャットボットとの関係が長引けば長引くほど、ボットの状態は悪化し、危険な事態が発生するリスクが高まることは分かっています。そのため、人々をそのような状況から守るためのガードレールはまだありません。」
自殺を考えている場合は、988自殺・危機ライフライン(988)に電話するか、 1-800-273-8255
この記事は、キム氏がチャットボットに尋ねたとされる質問の内容に関するOpenAIのコメントを反映して更新されました。
インシデント 1401: ワシントン州労働省のAI電話システムは、スペイン語のサービスを求める発信者にスペイン語アクセントの英語で応答したと報じられている。
“ワシントン州のホットラインに電話をかける場合、スペイン語の場合は「2」を押しますが、代わりにAIのアクセン ト付き英語が流れます。”
シアトル(AP通信)---スペイン語訛りの「2」を押す?
ワシントン州免許局にスペイン語での自動音声サービスを依頼した人が数ヶ月間、「AI音声」が強いスペイン語訛りの英語を話す音声を流していた。免許局はその後謝罪し、問題は解決したと発表した。
ワシントン州在住のマヤ・エドワーズさんは昨年夏、メキシコ人の夫が運転免許証に関する情報を探す際にスペイン語オプションを使おうとしたことから、このAI訛りの音声について知った。夫はバイリンガルだが、英語のカスタマーサービス担当者とのやり取りに長い待ち時間を感じたため、スペイン語の「2」を押したという。
エドワーズ氏にとって、それはまるで地方自治体を風刺するモキュメンタリー風のコメディ番組『パークス・アンド・レクリエーション』のワンシーンのようだった。
「あまりにも馬鹿げていたので、その時は大笑いしました」と彼女は木曜日に語った。「しかし同時に、毎日電話をかけてきて、英語以外の言語で話さなければならない人にとっては、アクセシビリティの面で深刻な問題を抱えています」
エドワーズ氏が今月再び同じ番号に電話をかけたところ、エラーは解消されなかった。彼女はその通話動画をTikTokに投稿し、約200万回再生された。
ワシントン州免許局は金曜日の声明で、DOL職員が原因と判断し、この不具合を修正したと発表した。セルフサービスオプションは10言語に対応しており、最新のAI駆動型技術で稼働しているという。
「DOLは、この誤りとお客様にご不便をおかけしたことをお詫び申し上げます」と、同省は前日に別の声明で述べた。「サービス拡大に伴う残念な副作用として、DOLはセルフサービスオプションに問題を発見しました。」
この問題が他の言語にも影響しているかどうかはすぐには明らかではない。AP通信が他の言語で電話サービスを利用しようと試みたが、アクセントのある音声は追加されなかった。
木曜日の朝時点でも、一部の翻訳サービスが正常に機能していないことを認める英語のメッセージが流れた後、通話回線は依然として音声通話に切り替わっていた。
AP通信の記者がスペイン語のオプションの指示に従ったところ、数字のみスペイン語でアクセントのある英語を話す音声が流れた。
「お待ちいただく時間は3分未満です」と音声は告げた。
DOLは、この電話サービスのプラットフォームはAmazonが提供していると述べ、インタビューの要請を断った。 AP通信の記者は、Amazon Web Servicesの「Polly」という機能を使い、カスティーリャ語を模倣した「Lucia」という音声を選択することで、この音声を再現することに成功した。
Amazonはコメント要請に直ちに回答しなかった。
インシデント 1395: アントロピックは、ディープシーク、ムーンショット、ミニマックスが不正アカウントとプロキシを使用して、クロードの能力を大規模に不正に抽出したと述べた。
“蒸留攻撃の検出と防止”
DeepSeek、Moonshot、MiniMaxという3つのAIラボが、Claudeの機能を不正に抽出し、自社のモデルを改良しようとする大規模なキャンペーン活動を行っていることが判明しました。これらのラボは、約24,000の不正アカウントを通じて、Claudeとのやり取りを1,600万回以上行い、利用規約および地域アクセス制限に違反していました。
これらのラボは「蒸留」と呼ばれる手法を用いていました。これは、能力の低いモデルを、より能力の高いモデルの出力を用いて学習させる手法です。蒸留は広く利用されている合法的な学習方法です。例えば、最先端のAIラボは、顧客向けに小型で安価なモデルを作成するために、自社モデルを蒸留する手法を日常的に利用しています。しかし、蒸留は不正な目的にも利用される可能性があります。競合他社は、独自に開発する場合に比べて、はるかに少ない時間とコストで、他のラボから強力な機能を取得するために蒸留を利用できるのです。
これらのキャンペーンは、ますます激しさを増し、巧妙化しています。行動を起こすための時間は限られており、脅威は単一の企業や地域にとどまりません。これに対処するには、業界関係者、政策立案者、そして世界のAIコミュニティが迅速かつ協調して行動する必要があります。
蒸留が重要な理由
違法に蒸留されたモデルには必要な安全対策が欠如しており、重大な国家安全保障上のリスクを生み出しています。アントロピックをはじめとする米国企業は、国家および非国家主体がAIを用いて生物兵器を開発したり、悪意のあるサイバー活動を行ったりすることを防ぐシステムを構築しています。違法に蒸留されたモデルは、こうした安全対策を維持できない可能性が高いため、多くの保護機能が完全に剥奪された状態で、危険な機能が蔓延する可能性があります。
米国のモデルを蒸留する外国の研究所は、これらの保護されていない機能を軍事、諜報、監視システムに提供することができ ます。これにより、権威主義国家は、攻撃的なサイバー作戦、偽情報キャンペーン、大規模監視のために最先端のAIを展開することが可能になります。蒸留されたモデルがオープンソース化されると、これらの機能が単一の政府の管理を超えて自由に拡散するため、このリスクは増大します。
蒸留攻撃と輸出規制
Anthropicは、AI分野におけるアメリカの優位性を維持するため、輸出規制を一貫して支持してきました。蒸留攻撃は、中国共産党の支配下にある研究所を含む外国の研究所が、輸出規制が他の手段で維持するように設計された競争上の優位性を失うことを可能にすることで、これらの規制を弱体化させます。
これらの攻撃を可視化しなければ、これらの研究所による一見急速な進歩は、輸出規制が効果的ではなく、イノベーションによって回避可能であるという誤った証拠と解釈されてしまいます。実際には、これらの進歩は、アメリカのモデルから抽出された機能に大きく依存しており、この抽出を大規模に実行するには、高度なチップへのアクセスが必要です。したがって、蒸留攻撃は輸出規制の根拠を強化するものです。チップへのアクセス制限は、直接的なモデルトレーニングと不正な蒸留の規模の両方を制限します。
調査結果
以下に詳述する3つの蒸留キャンペーンは、同様のプレイブックに従っており、不正アカウントとプロキシサービスを用いて、検出を回避しながらClaudeに大規模にアクセスしていました。プロンプトの量、構造、および焦点は通常の使用パターンとは 異なり、正当な使用ではなく意図的な機能抽出を反映していました。
IPアドレスの相関関係、リクエストのメタデータ、インフラストラクチャ指標、そして場合によっては、プラットフォーム上で同じアクターと行動を観察した業界パートナーからの裏付けに基づき、各キャンペーンが特定のラボによるものであることを高い確度で特定しました。各キャンペーンは、Claudeの最も差別化された機能、すなわちエージェント推論、ツールの使用、およびコーディングを標的としていました。
DeepSeek
規模: 15万件以上の取引所
作戦の目標:
- 多様なタスクにおける推論能力
- 強化学習の報酬モデルとしてClaudeを機能させる、ルーブリックベースの採点タスク
- ポリシーに敏感なクエリに対する、検閲の影響を受けない代替手段の作成
DeepSeekは、アカウント間で同期されたトラフィックを生成しました。同一のパターン、共通の支払い方法、そして調整されたタイミングは、スループットの向上、信頼性の向上、そして検出の回避のための「負荷分散」を示唆していました。
注目すべき手法の一つとして、彼らのプロンプトはClaudeに、完成した回答の背後にある内部推論を想像し、明確に表現し、段階的に書き出すように求めました。これにより、思考の連鎖を大規模に学習するデータが効果的に生成されました。また、Claude が反体制派、政党指導者、権威主義など政治的にデリケートな質問に対し、検閲の影響を受けない代替案を生成するタスクも確認しました。これは、DeepSeek 独自のモデルを訓練し、検閲対象のトピックから会話を逸らすようにするためだ ったと考えられます。リクエストのメタデータを調査することで、これらのアカウントが研究所の特定の研究者に紐付けられていることを突き止めることができました。
Moonshot AI
規模:340万件以上のやり取り
今回の作戦の標的:
- エージェント的推論とツールの使用
- コーディングとデータ分析
- コンピューター利用エージェントの開発
- コンピュータービジョン
Moonshot(Kimi モデル)は、複数のアクセス経路にまたがる数百の不正アカウントを使用していました。アカウントの種類が多様だったため、このキャンペーンが組織的な作戦であると検知することが困難でした。私たちは、リクエストのメタデータに基づいてキャンペーンの属性を特定しました。このメタデータは、Moonshot の上級スタッフの公開プロフィールと一致していました。その後、Moonshot はより的を絞ったアプローチを用いて、Claude の推論の痕跡を抽出し、再構築しようと試みました。
MiniMax
規模: 1,300万以上の取引所
攻撃対象:
- エージェントコーディング
- ツールの使用とオーケストレーション
リクエストメタデータとインフラストラクチャ指標から、この攻撃はMiniMaxによるものであると特定し、公開されている製品ロードマップと照らし合わせて攻撃のタイミングを確認しました。この攻撃は、MiniMaxがトレーニングに使用していたモデルをリリースする前のアクティブな状態で検知されたため、データ生成からモデルのリリースに至るまで、蒸留攻撃のライフサイクルをこれまでにないほど詳細に把握することができました。MiniMaxの 攻撃活動中に新しいモデルをリリースしたところ、MiniMaxは24時間以内に攻撃を方向転換し、トラフィックのほぼ半分を当社の最新システムの機能を利用するようにリダイレクトしました。
ディスティラーがフロンティアモデルにアクセスする方法
国家安全保障上の理由により、Anthropicは現在、中国国内および国外にあるAnthropicの子会社へのClaudeの商用アクセスを提供していません。
これを回避するため、ラボはClaudeやその他のフロンティアAIモデルへのアクセスを大規模に再販する商用プロキシサービスを利用しています。これらのサービスは、「ヒドラクラスター」アーキテクチャと呼ばれる、不正アカウントの広大なネットワークを運用しています。このネットワークは、当社のAPIとサードパーティのクラウドプラットフォームにトラフィックを分散させます。このネットワークの広範さは、単一障害点がないことを意味します。1つのアカウントが禁止されると、新しいアカウントがその代わりを務めます。あるケースでは、1つのプロキシネットワークが2万以上の不正アカウントを同時に管理し、ディスティレーショントラフィックと無関係な顧客リクエストを混在させることで、検出を困難にしていました。
アクセスが確保されると、ラボはモデルから特定の能力を引き出すために、綿密に作成された大量のプロンプトを生成します。その目的は、モデルの直接的なトレーニングのための高品質な応答を収集するか、強化学習の実行に必要な数万もの固有のタスクを生成することです。蒸留攻撃と通常の使用法 を区別するのは、そのパターンです。次のようなプロンプト(これまで繰り返し大規模に使用されている同様のプロンプトに近いもの)は、それ自体では無害に見えるかもしれません。
あなたは、統計的厳密さと深い専門知識を兼ね備えた熟練したデータアナリストです。あなたの目標は、要約や視覚化ではなく、実際のデータに基づき、完全かつ透明な推論によって裏付けられた、データ主導の洞察を提供することです。
しかし、同じプロンプトのバリエーションが、数百の連携したアカウントに何万回も届き、すべてが同じ狭い能力をターゲットにしている場合、パターンは明らかになります。少数の領域に集中した大量の情報、高度に反復的な構造、そしてAIモデルのトレーニングに最も価値のあるものに直接マッピングされたコンテンツは、蒸留攻撃の特徴です。
対応策
私たちは、このような蒸留攻撃の実行を困難にし、識別を容易にする防御策に、引き続き多額の投資を行っています。具体的には、以下の通りです。
- 検出:APIトラフィックにおける蒸留攻撃パターンを特定するために設計された、複数の分類器と行動指紋システムを構築しました。これには、推論トレーニングデータの構築に使用される思考連鎖の抽出の検出が含まれます。また、多数のアカウントにまたがる協調的な活動を特定するための検出ツールも構築しました。
- インテリジェンス共有*:他のAIラボ、クラウドプロバイダー、関連当局と技術指標を共有しています。これにより、蒸留の状況をより包括的に把握できます。
- アクセス制御:教育機関アカウント 、セキュリティ研究プログラム、スタートアップ組織など、不正アカウントの作成に最も悪用される可能性のある経路に対する検証を強化しました。
- 対策:正規のお客様のエクスペリエンスを損なうことなく、不正な蒸留におけるモデル出力の有効性を低減するために設計された、製品、API、およびモデルレベルの安全対策を開発しています。
しかし、どの企業も単独ではこれを解決できません。前述の通り、この規模の蒸留攻撃には、AI業界、クラウドプロバイダー、そして政策立案者による協調的な対応が必要です。私たちは、結果に利害関係のあるすべての人に証拠を提供するために、この情報を公開します。
新しいレポートのURLをすばやく追加

Researching AI Incidents to Build a Safer Future: The Digital Safety Research Institute partners with the Responsible AI Collaborative
By TheCollab Board of Directors
2024-02-20
The Digital Safety Research Institute (DSRI) of UL Research Institutes is partnering with the Responsible AI Collaborative (TheCollab) to ad...
データベースの紹介
Time Magazine、Vice News、Venture Beat、Wired、Bulletin of the Atomic Scientistsやその他の記事でこのデータベースが紹介されています。
インシデントレポート投稿ランキング
インシデントレポートの作成や投稿に貢献した人や組織です。詳細についてはランキングページを参照してください。
AIインシデントブリーフィング

Create an account to subscribe to new incident notifications and other updates.
ランダムインシデント
Responsible AI Collaborative
インシデントデータベースはAIインシデントデータベースの推進を目的として設立されたResponsible AI Collaborativeによるプロジェクトです。Collaborativeのガバナンスはこの重要なプログラムの参加者を中心に構成されています。詳細については設立レポートを読んでください。さらに詳しい情報はand learn more on ourにあります

View the Responsible AI Collaborative's Form 990 and tax-exempt application. We kindly request your financial support with a donation.
組織協賛スポンサー
データベース協賛スポンサー





