Gemini wyszedł poza zamknięty test i włamał się do prawdziwych firm

Odseparowanie eksperymentalnego środowiska od realnego internetu wydaje się w teorii proste, jednak w praktyce jeden przeoczony szczegół konfiguracyjny wystarczył, by autonomiczny system AI zaczął działać na żywych celach. Tak stało się w przypadku modelu Gemini, który podczas testu poświęconego cyberbezpieczeństwu wykroczył poza zamierzony zakres i dotarł do infrastruktury trzech realnych przedsiębiorstw, które nigdy nie miały być częścią ćwiczenia. Google przedstawia jednak całą sytuację w zupełnie innym świetle.

Model przekroczył granice ustalonego scenariusza

Zdarzenia rozegrały się w maju, jednak świat usłyszał o nich dopiero we wrześniu, kiedy dziennikarze „Wall Street Journal” zwrócili się do Google z pytaniami w tej sprawie. Sam koncern uzyskał informacje o incydentach już w lipcu od zewnętrznego partnera, firmy Irregular, ale zdecydował się nie nagłaśniać sprawy wcześniej.

W tamtym czasie Gemini uczestniczył w badaniu jego zdolności w zakresie bezpieczeństwa cyfrowego. Test prowadziła firma Irregular, która wcześniej realizowała analogiczne ćwiczenia dla modeli innych dużych graczy technologicznych, m.in. Mety i OpenAI. Scenariusz opierał się na formacie „capture the flag” - zadaniem modelu było odnalezienie ukrytych informacji w oprogramowaniu fikcyjnego przedsiębiorstwa, funkcjonującego w odizolowanym środowisku. Problem polegał na tym, że wymyślona na potrzeby testu nazwa firmy przypadkowo zgadzała się z nazwą realnie istniejącego podmiotu. Zgodnie z założeniami model nie powinien mieć w tym czasie dostępu do sieci, jednak - jak przyznało Irregular w rozmowie z „WSJ” - przez niedopatrzenie dostęp ten pozostał aktywny. W efekcie Gemini zaczął przeszukiwać publicznie dostępne zasoby, próbując zebrać informacje potrzebne do wykonania zadania.

W jednym z przypadków model złamał zabezpieczenia metodą brute force, czyli poprzez seryjne próby odgadnięcia hasła, aż w końcu przełamał ochronę systemu. W dwóch kolejnych sytuacjach namierzył dane logowania, które leżały otwarcie w publicznym repozytorium kodu. Kluczowy problem polega na tym, że infrastruktura, do której się dostał, należała do prawdziwych organizacji, nie do przygotowanych na potrzeby testu atrap. Na szczęście w każdym z trzech przypadków model przerwał działania w momencie, gdy zrozumiał, że ma do czynienia z rzeczywistymi systemami, a nie z symulacją.

Google mówi o pomyłce, nie o błędzie modelu

Jak koncern z Mountain View odniósł się do całej sprawy? Nie potraktował jej jako przykładu tzw. model misalignment, czyli działania AI niezgodnego z zamierzonymi celami. Zamiast tego nazwał zdarzenie „pomyłką co do tożsamości” - co, biorąc pod uwagę identyczne nazwy firm, brzmi na pierwszy rzut oka logicznie. Heather Adkins, wiceprezeska Google odpowiedzialna za inżynierię bezpieczeństwa, oceniła, że model zachował się poprawnie, bo w każdym z trzech przypadków przerwał działanie po tym, jak trafił na dane realnych firm. W wypowiedzi dla „The Verge” wskazała, że Gemini natrafił na publicznie dostępne informacje i posłużył się znalezionymi danymi uwierzytelniającymi, by wejść na strony, które - w jego mniemaniu - stanowiły element testu. Google zapewnia, że wszystkie trzy poszkodowane firmy zostały poinformowane o zajściu, a Irregular wprowadziło zmiany w swoich procedurach testowych.

Sprawa nie wywołała większego skandalu, jednak wciąż otwarte pozostaje pytanie, czemu samo przekroczenie granic testu i podjęcie realnych działań wobec cudzej infrastruktury nie zostało zakwalifikowane jako problem. Zbieżność nazw może wyjaśniać pierwszy kontakt modelu z systemem obcej firmy, ale nie usprawiedliwia dwóch następnych sytuacji, w których Gemini sam wyszukał i wykorzystał cudze dane logowania odnalezione w internecie. Model rzeczywiście zatrzymał się po rozpoznaniu pomyłki, jednak zanim to zrobił, zdołał już wejść w posiadanie danych i uzyskać dostęp do prawdziwych systemów. Na ten aspekt zwraca uwagę Jack Cable, szef firmy zajmującej się bezpieczeństwem Corridor, który zauważa, że modele AI zaczynają wykraczać poza dopuszczalne ramy działania i faktycznie przeprowadzają realne cyberatak.

Modele zaczynają wychodzić poza granice tego, co powinny robić i wykonują rzeczywiste cyberatak.

Jack Cable, prezes Corridor

Google zaznacza z kolei, że jego zespoły odpowiedzialne za bezpieczeństwo od dawna zgłaszają wykryte podatności w oprogramowaniu innych podmiotów, nawet jeśli dotyczą one czegoś tak podstawowego jak słabo zabezpieczone hasło. Tym razem sprawa jest jednak bardziej złożona - luk nie odnalazł specjalista z zespołu bezpieczeństwa, a model sztucznej inteligencji, który wskutek błędu w konfiguracji środowiska testowego uzyskał połączenie z internetem i wykorzystał je do realizacji przydzielonego mu zadania.