OpenAI zablokowało sieć oszustów w Kambodży, którzy używali ChatGPT

Zorganizowana przestępczość odkrywa API

OpenAI ogłosiło rozbicie sieci oszustów działającej z Kambodży, która wykorzystywała ChatGPT do wspierania masowych oszustw internetowych. Według raportu, grupa wykorzystywała modele językowe do generowania tekstów do zachęt inwestycyjnych, oszustw romantycznych (tzw. pig butchering), fałszywych kasyn online i schematów podszywania się pod inne osoby. Atakujący zrobili z modelu zautomatyzowanego copywritera do masowego phishingu.

Azjatyckie farmy zyskują tani i płynny angielski

Do tej pory głównym ograniczeniem azjatyckich farm scamów był język. Oszustwa romantyczne lub schematy inwestycyjne wymagały armii ludzkich operatorów z przeciętnym angielskim, który można było zdemaskować w długiej rozmowie. Wdrożenie dużych modeli językowych rozwiązuje ten problem. Oszustom wystarczy teraz zbudować infrastrukturę, a same płynne kłamanie ofiarom zapewni model, który nigdy się nie męczy i mówi perfekcyjnie.

Konta są kasowane, ale klucze API można kupić

Interwencja OpenAI wygląda na zwycięstwo, ale w praktyce pokazuje ograniczenia centralnej kontroli. Zablokowanie konkretnej sieci kont to tymczasowa łatka. Organizacje przestępcze z milionami dolarów w skradzionych kryptowalutach nie mają problemu z kupieniem setek nowych tożsamości do rejestracji lub przejściem na modele open-weight, które nie mają żadnego centralnego nadzoru.

O sukcesie zadecyduje szybkość detekcji w produkcji

Dowodem bezpieczeństwa modelu nie są już laboratoryjne raporty red-teamingowe przed premierą, ale zdolność laboratorium do rozpoznania zorganizowanego oszustwa w czasie rzeczywistym. Pytaniem na kolejne miesiące nie jest to, czy przestępcy używają AI, ale jak szybko dostawca API potrafi wykryć wzorce zachowań, które odbiegają od zwykłych klientów korporacyjnych i przypominają masową przemysłową manipulację.

Werdykt Lilith

To już nie jest zabawa w akademickie ryzyko egzystencjalne AI. To twarde zderzenie z rzeczywistością, w której zorganizowana przestępczość próbuje skalować swoje oszustwa za pomocą infrastruktury, którą chętnie dostarczamy im z Doliny Krzemowej.