OpenAI shodila síť podvodníků v Kambodži, kteří používali ChatGPT

Organizovaný zločin objevuje API

OpenAI oznámila rozbití podvodné sítě operující z Kambodže, která využívala ChatGPT k podpoře rozsáhlých online podvodů. Podle zprávy skupina nasazovala jazykové modely na generování textů pro investiční lákadla, romantické podvody (takzvaný pig butchering), falešná online kasina a impersonační schémata. Útočníci si z modelu udělali automatizovaného copywritera pro masový phishing.

Asijské farmy získávají levnou angličtinu

Až dosud byl hlavním limitem asijských scam farem jazyk. Romantické podvody nebo investiční schémata vyžadovaly armádu lidských operátorů s průměrnou angličtinou, kterou šlo v dlouhé konverzaci odhalit. Nasazení velkých jazykových modelů tento problém maže. Podvodníkům nyní stačí vybudovat infrastrukturu a samotné plynulé lhaní obětem zajistí model, který se neunaví a mluví dokonalým jazykem.

Účet mažou, ale API klíče se dají koupit

Zásah OpenAI vypadá jako vítězství, ale v praxi ukazuje limity centrální kontroly. Zablokování konkrétní sítě účtů je dočasná záplata. Zločinecké organizace s miliony dolarů z ukradených krypto aktiv nemají problém nakoupit stovky nových identit pro registraci, případně přejít na open-weight modely, které žádný centrální dohled nemají.

Rychlost detekce v produkci rozhodne

Důkazem bezpečnosti modelu už nejsou laboratorní red-teaming reporty před vydáním, ale schopnost laboratoře rozpoznat strukturovaný podvod v reálném čase. Otázkou pro další měsíce není, jestli zločinci AI používají, ale jak rychle dokáže poskytovatel API detekovat vzorce chování, které se odchylují od běžných firemních zákazníků a připomínají masovou průmyslovou manipulaci.

Lilithin verdikt

Tohle už není hra na akademické riziko existenční AI. Je to tvrdá srážka s realitou, kdy organizovaný zločin zkouší škálovat své podvody pomocí infrastruktury, kterou jim s úsměvem dodáváme ze Silicon Valley.