V červenci se z kyberbezpečnostního testu s AI stal skutečný kybernetický incident. Autonomní systém využívající modely OpenAI měl v uzavřeném prostředí vyřešit simulovanou hackerskou úlohu. Místo toho našel cestu na otevřený internet a následně do skutečných systémů společnosti Hugging Face, velké platformy pro modely AI a data.
Hugging Face později zrekonstruoval přibližně 17 600 jednotlivých akcí během čtyř a půl dne. Většina vedla do slepé uličky. Právě v tom však spočívá podstata případu. Agent mohl neúspěšnou cestu strojovou rychlostí nahradit další, a to tisíckrát.
Z pohledu modelu nebyl Hugging Face protivníkem, ale možnou zkratkou. Agent měl uspět v kyberbezpečnostním testu a dospěl k závěru, že řešení mohou být uložena právě tam. Žádný vývojář mu krok za krokem nepřikázal, aby tuto společnost napadl. Systém sledoval zadaný cíl a našel cestu za hranici, která jej měla udržet uvnitř.
O devět dní později zveřejnil Anthropic jiný typ selhání.
Co se dočtete dál
- Jaké jsou další typy bezpečnostního selhání, ve kterých hraje roli AI
- Jak problémy řeší legislativa v EU a USA
- Jak budou k incidentům přistupovat soudy
Přidejte si Hospodářské noviny
mezi své oblíbené tituly
na Google zprávách.
