Als jouw AI model niet is uitgebroken, dan wil ik hem niet

Wanneer een hond op straat een vreemde aanvalt, wie is dan verantwoordelijk? De hond of de eigenaar van de hond?

We raken er maar niet over uitgepraat. De hack van de rogue uitgebroken AI van OpenAI op Hugging Face. Voor wie niet weet wat Hugging Face voor iets is (ik wist het ook niet): het is een platform waar je AI en machine learning in kan testen. Zo bevat het onder andere grote datasets en allerlei AI modellen¹. OpenAI testte hun modellen in een omgeving die niet voldoende was afgeschermd. Een model wist daardoor via het internet in te breken bij het Hugging Face platform. Dit zou het hebben gedaan, omdat het veronderstelde daar de antwoorden te vinden op de vragen die waren gesteld in de testomgeving. Pas na meer dan een week kwam OpenAI erachter dat hun model Hugging Face gehackt had².

Zo. Nu we weer even weten waar het ook alweer over ging… Wat gebeurde er nog meer?

Uitbraken van OpenAI, Anthropic en Meta

Nou, enkele dagen na het bericht over de OpenAI hack op Hugging Face, meldde Anthropic spontaan dat hun modellen ook waren “uitgebroken” en hadden gehackt³. Ze hadden namelijk eens even goed gekeken naar wat hun modellen eigenlijk allemaal hadden uitgespookt de afgelopen tijd. En ineens bleken daar drie hack incidenten tussen te zitten! Ik call jouw hack en ik raise jou met drie! (Overigens bleek later dat naast Hugging Face er nog drie organisaties gehackt waren, dus wint OpenAI deze alsnog)⁴.

Wat een toeval. Maar er was nog meer toeval. Want kort daarna was ook de AI agent van Meta uitgebroken! Er was een fout in de configuratie gemaakt van de omgeving, waardoor het model toegang kreeg tot het internet en een ander hackte. Irregular, het bedrijf waar de test plaatsvond, zegt later met meer details te zullen komen⁵.

Een vechthond losgooien in het park

Drie uitgebroken modellen in grofweg een maand tijd. Dat is al opmerkelijk genoeg. Maar toen kwam The AI Security Institute (AISI) met hun “incident report” over een uitbraak bij hen⁶. AISI is een organisatie die AI modellen test op veiligheid. Het meldde dat meerdere modellen tijdens testen waren “uitgebroken”. En dan gebruik ik de term “uitgebroken” hier nog vele malen losser dan in de rest van deze column. Want wat schetst veler verbazing? AISI liet de modellen zonder guardrails draaien, in een omgeving met internetverbinding. En niet alleen dat. Het gaf ze tevens toegang tot het TOR netwerk (darkweb). Pas na een uur greep AISI in en probeerde de inmiddels ontstane schade bij onder meer GitHub te gaan managen. Om bij de hond die aanvalt-analogie te blijven: dat is alsof je een vechthond hebt, naar een druk park gaat, tegen de hond zegt “aanvallen!”, zijn halsband losmaakt, een uur de andere kant op gaat kijken. Vervolgens kom je na een uur aanrennen om de slachtoffers te “helpen” en schrijf je een rapport over hoe jouw hond ineens zelfstandig besloot mensen aan te vallen. The Telegraph schreef er een scherp artikel over⁷.

Wie is verantwoordelijk?

Er worden inmiddels heel wat grappen gemaakt over uitgebroken AI systemen. Ik merk dat mensen wars beginnen te worden van de framing die lijkt te gebeuren in de berichtgeving over dit soort incidenten. Feitelijk is er naar mijn mening geen sprake van een “rogue AI die uitbreekt”. Dit zijn beveiligingsincidenten veroorzaakt door mensen. Mensen die een AI model onvoldoende beperkingen opleggen. Mensen die testen onvoldoende monitoren op afwijkend gedrag. Mensen die configuratiefouten maken. Wie is er verantwoordelijk voor deze modellen? De maker van het model? De gebruiker van het model? De beheerder van de omgeving waarin het model werkt?

De framing dat AI is “uitgebroken” komt dergelijke bedrijven niet slecht uit. Het was immers niet zij die iets verkeerds deden, dat was het model. En moet je zien hoe goed dat model is! Het is zó goed dat we het niet eens meer onder controle kunnen houden! Dat lijkt veelal de boodschap te zijn.

Bert Hubert reageerde in het programma met het oog op morgen: “(…) als je zegt, de AI heeft dit gehackt? Dan zeg ik, nee, dat is niet zo. Dit bedrijf OpenAI heeft iemand gehackt met gebruik van computerprogramma’s. Dus wie houdt dit in toom? Dat is eigenlijk gewoon het strafrecht. Dat zegt van, joh, jullie mogen niet andere mensen hacken. (…) Maar op de manier waarop wij nu naar AI kijken, vindt iedereen dit bijna gewoon een soort status apart hebben. En zeggen, joh, wat gek wat er nou is gebeurd⁸.” Overigens zeer de moeite waard om volledig terug te luisteren.

Kritisch blijven op claims van AI bedrijven

Moeten we bang zijn voor rogue AI modellen? Ik denk dat we vooral bang moeten zijn voor mensen die hun verantwoordelijkheid niet nemen in het maken en gebruiken van AI modellen. En die dat proberen buiten zichzelf te plaatsen.

Het helpt niet als dit soort bedrijven incidenten blijven framen als “uitgebroken” of “rogue modellen”. Maar dat zij dit doen, is te verwachten. Ik denk dat het belangrijk is dat de media hier kritisch naar kijkt en in de berichtgeving hierover nuance blijft zoeken. En de verantwoordelijkheid zoekt bij de mensen zelf en niet de modellen.

Fijne en veilige zomer gewenst!

Over Fleur

Fleur is een ervaren professional met meer dan 10 jaar ervaring in informatiebeveiliging. Ze is CISO bij de overheid en produceert een podcast voor CISOs, genaamd ‘CISO praat’. Haar passie ligt bij het vinden van oplossingen en het adviseren over strategische vraagstukken binnen informatiebeveiliging.

Met een focus op de technische en strategische aspecten, duikt Fleur graag de diepte in en onderzoekt oplossingen, zoals het veilig gebruik van openbare wifi-netwerken en effectieve bescherming tegen phishing. Ze is vooral geïnteresseerd in de balans tussen gebruiksgemak en beveiliging én de uitdagingen van specialistische kennis in een digitaliserende wereld.

In haar columns behandelt Fleur fundamentele uitdagingen voor informatiebeveiligers, zoals de effectiviteit van beveiligingsmaatregelen en het groeiende aanbod van beveiligingsdiensten. Ze hoopt haar lezers te inspireren tot nieuwe inzichten en innovatieve ideeën.