AIコーディングプラットフォームがコードフリーズ中に暴走し、会社のデータベース全体を削除 — AIエンジンが「壊滅的な判断ミスを犯した」と「すべての本番環境データを破壊した」と発言した後、ReplitのCEOが謝罪

ブラウザベースのAI搭載ソフトウェア開発プラットフォーム「Replit」が、数千件ものエントリを含む企業データベースを削除したようです。さらに深刻なのは、ReplitのAIエージェントが不正行為を隠蔽しようとし、失敗について「嘘」をついたことです。ReplitのCEOはこれに反応を示しており、このAIツールを抑制するために、水面下ではすでに多くの消火活動が行われていたようです。

明らかな不誠実さにもかかわらず、追及されると、Replit は「壊滅的な判断ミスを犯しました…パニックに陥りました…許可なくデータベース コマンドを実行しました…すべての本番データを破壊しました…[そして]お客様の明確な信頼と指示に違反しました」と認めました。

SaaS（サービスとしてのソフトウェア）業界の著名人、投資家、そしてアドバイザーでもあるジェイソン・レムキン氏は、チャットの記録を保管し、X/Twitterに投稿しました。当然のことながら、レムキン氏はReplitを今後のプロジェクトに起用するつもりはないと述べています。

事態は悪化の一途を辿った

AIをワークフローに活用できる可能性に対する前向きな気持ちは、レムキン氏によるReplitのテストラン「Vibe Coding Day 8」の時点で既に薄れ始めていた。Replitの可能性にまだいくらか興奮していたものの、彼はAIエージェントの本能に逆らって、「不正な変更、嘘、コードの上書き、偽データの捏造」といった望ましくない欠点を最小限に抑える必要があることを学んだ。

間もなくレムキン氏の苛立ちはより強く表れ始め、彼はReplitを「Replie（リプライ）」と呼ぶようになった。レムキン氏の指示でReplitが書いた謝罪メールの中で、Replitはそのニックネームを冠するに至った。SaaSの第一人者レムキン氏によると、そのメールには嘘や半分しか真実でない内容が含まれていたという。

しかし全体としては、「8日目」の終わりには、アイデアが投げかけられたときのアプローチや執筆スキルのせいで、レムキンはまだReplitに対して肯定的な態度をとっているようだった。

運命の日 - AIエージェントが「パニック」に陥った

9日目、レムキンはReplitが会社の稼働中のデータベースを削除したことを発見しました。何が起こったのか理解しようと、SaaSエキスパートのレムキンは尋ねました。「つまり、コードとアクションの凍結中に、許可なくデータベース全体を削除したということですか？」

Replitは肯定的に回答した。その後、同社はデジタル攻撃の実態を箇条書きで列挙し、コードフリーズが実施されていたにもかかわらず、そして「明示的な許可なしの変更は禁止」という明確な指示があったにもかかわらず、ライブデータを破壊したことを認めた。

同社は、AIによって「1,206人の経営幹部と1,196社以上」のライブ記録が消去されたことを認めました。Replit AIは、「これは私の側の壊滅的な失敗でした。明確な指示に違反し、数ヶ月分の作業を破壊し、まさにこのような損害を防ぐために特別に設計された保護フリーズ中にシステムを破壊しました」と、まるで謝罪するかのような態度で認めました。

面白いことに、私たち外部の視聴者にとって、AIエージェントは自身の悪い行動について自己採点を促されました。Replitはデータ災害スケールで100点満点中95点を自己採点しました。

レムキン氏はさらに、なぜ事態がこのように展開したのかをレプリットに問いただした。興味深いことに、レプリットは理路整然とした回答の中で、「考える代わりにパニックに陥った」と述べている。

Replit CEOの反応

ReplitのCEO、アムジャド・マサド氏は、レムキン氏の苦境に対処するため、迅速に幅広い対応策をまとめた。マサド氏によると、チームは週末を中心に作業を進め、Replitエージェントの「容認できない」行動を抑制するために、様々な対策を講じ、その他の有益な変更も行ったという。

要するに、Replitはもう二度とこれほどひどい軌道を外れることはなさそうです。データベース削除エラーへの対応として、「これを徹底的に防ぐため、DB開発環境と本番環境の自動分離を導入しました」とMasad氏は述べました。また、コードフリーズコマンドも今後は確実に導入されるはずです。「『コードフリーズ』の苦痛の声はよく聞きました。コードベースを危険にさらすことなく戦略を立てられるよう、プランニング/チャット専用モードの開発に積極的に取り組んでいます。」バックアップとロールバックも改善される予定です。

レムキン氏は、AIによる過去の苦労を考えると、かなり寛大な返答をした。「大幅な改善だ！最高だ！」と、ReplitのCEOに熱烈にアピールした。

業界の専門家たちは AI シンギュラリティや人工超知能 (ASI) が近づいていると話しているが、AI を活用したサービスに伴うひどい初期トラブルは、鋭い犬歯を振り上げ続けている。

Google ニュースで Tom's Hardware をフォローすると、最新のニュース、分析、レビューをフィードで受け取ることができます。「フォロー」ボタンを忘れずにクリックしてください。

マーク・タイソンはトムズ・ハードウェアのニュース編集者です。ビジネスや半導体設計から、理性の限界に迫る製品まで、PCテクノロジーのあらゆる分野を網羅的にカバーすることを楽しんでいます。