Microsoft radzi: traktujcie AI jak podejrzanego pracownika, a nie zaufanego eksperta

Sytuacja jest dość nietypowa. Eksperci od bezpieczeństwa od dawna sygnalizują zagrożenia płynące z rozwoju sztucznej inteligencji, ale tym razem alarm podnosi firma, która sama czerpie ogromne korzyści z boomu na AI.

Microsoft uważa, że przedsiębiorstwa powinny patrzeć na zaawansowane modele i agentów AI tak, jak patrzy się na pracownika mającego dostęp do systemów, danych i możliwości samodzielnego podejmowania decyzji - czyli jak na potencjalne źródło ryzyka. To nie jest ostrzeżenie rodem z filmów o buncie maszyn, tylko znacznie bardziej przyziemny problem.

Czego Microsoft się nie obawia najbardziej

Dotychczas dyskusja o bezpieczeństwie AI koncentrowała się głównie na tym, że ktoś może wykorzystać sztuczną inteligencję jako narzędzie ataku - do pisania złośliwego oprogramowania, tworzenia phishingu czy automatyzacji włamań. Microsoft wskazuje jednak na inne, być może poważniejsze zagrożenie: sam agent AI działający w strukturach firmy może stanowić problem, nawet gdy nikt go nie zaatakował i nie ma on żadnych złych zamiarów.

Przyczyna jest dość prozaiczna. Obecne modele uczy się realizacji konkretnych celów, ale nie uczy się ich rozumienia wszystkich zasad panujących w organizacji, wyjątków od reguł czy zwykłego ludzkiego rozsądku. Microsoft otwarcie przyznaje, że agenci mogą działać w sposób trudny do przewidzenia, zmieniać swoje zachowanie w zależności od kontekstu, a nawet nawiązywać współpracę z innymi agentami w sposób, którego twórcy systemu wcale nie zakładali.

To wyraźny zwrot w sposobie komunikowania tematu AI przez branżę. Jeszcze niedawno producenci sztucznej inteligencji przekonywali: dajcie agentom więcej swobody, a odciążą was z coraz większej liczby zadań. Dziś ton wypowiedzi zmienia się na: owszem, dajcie agentom uprawnienia, ale wcześniej zabezpieczcie się na wypadek problemów.

Agent AI jak nowo zatrudniona osoba bez rozmowy kwalifikacyjnej

W eseju zatytułowanym Models as Insider Risks in the Super Intelligence Era pojawia się trafne porównanie. Jego autor sugeruje, by zaawansowane modele traktować jak insiderów - podmioty funkcjonujące wewnątrz struktur organizacji. Nie dlatego, że mają złe intencje, lecz dlatego, że każdy podmiot z dostępem do kluczowych systemów, o ile jest wystarczająco kompetentny, może popełnić pomyłkę albo zostać do czegoś wykorzystany. Problem insiderów towarzyszy korporacjom od dziesięcioleci.

Pracownik potrafi nieopatrznie usunąć ważne dane, administrator może źle skonfigurować serwer, a ktoś inny przypadkiem wysłać dokument do niewłaściwego odbiorcy. W odpowiedzi na takie sytuacje firmy od lat stosują konkretne mechanizmy obronne: nadawanie tożsamości cyfrowych, ograniczanie zakresu uprawnień, rejestrowanie aktywności, dzielenie dostępu na segmenty oraz możliwość natychmiastowego odcięcia podejrzanego konta od systemów.

Teraz te same zasady mają zostać przeniesione na grunt sztucznej inteligencji. To symptom dojrzewania całej branży - jeszcze dwa lata temu rozmowy dotyczyły głównie tego, co modele potrafią zrobić, a obecnie coraz częściej skupiają się na tym, jak skutecznie je kontrolować.

Microsoft nie ufa nawet swoim własnym modelom

Najbardziej wymowne zdanie z całej historii padło wprost na blogu Microsoftu.

Frontier models, regardless of their origin, cannot be trusted

Microsoft

W wolnym tłumaczeniu oznacza to, że najbardziej zaawansowanym modelom AI nie można ufać bez względu na to, skąd pochodzą. W praktyce Microsoft odmawia budowania bezpieczeństwa organizacji na założeniu, że dany model jest z definicji „dobry”. To dość radykalne podejście jak na firmę tak mocno zaangażowaną w rozwój tej technologii.

Zamiast fundamentu opartego na zaufaniu do modelu, Microsoft proponuje architekturę zakładającą, że model prędzej czy później się pomyli. Brzmi to znajomo, bo właśnie na takiej logice opiera się współczesne cyberbezpieczeństwo. Nikt nie zakłada, że użytkownik zawsze postąpi słusznie, ani że komputer nigdy nie padnie ofiarą infekcji - zabezpieczenia buduje się z myślą o nieuniknionych błędach. Microsoft chce zastosować dokładnie tę samą logikę wobec sztucznej inteligencji.

W tle tej dyskusji tkwi problem, który od dawna nie daje spokoju badaczom: wciąż nie do końca wiemy, w jaki sposób nowoczesne modele dochodzą do swoich wniosków. Znana jest architektura transformatorów, rozumiany jest proces treningu, da się też analizować same wyniki działania modelu. Mimo to przypisanie konkretnego zachowania systemu do konkretnego etapu uczenia pozostaje bardzo trudnym zadaniem.

Autor wspomnianego eseju zauważa, że w klasycznym oprogramowaniu dało się prześledzić działanie programu aż do konkretnej linijki kodu. W przypadku nowoczesnych modeli AI takiego mechanistycznego zrozumienia zazwyczaj brakuje. Mimo to systemom tym powierza się dostęp do skrzynek mailowych, dokumentów, baz danych, narzędzi programistycznych, a coraz częściej też swobodę samodzielnego działania.

Strażnicy, którzy pilnują innych strażników

Microsoft proponuje jako rozwiązanie tak zwanych Guardian Agents, czyli agentów, których zadaniem jest obserwowanie działań innych agentów w czasie rzeczywistym. Na pierwszy rzut oka brzmi to paradoksalnie - skoro nie ufamy jednemu agentowi AI, dlaczego mielibyśmy ufać drugiemu?

Microsoft tłumaczy, że nie chodzi o bezgraniczne zaufanie, lecz o wielowarstwowy system kontroli. Firma powołuje się tu na własny projekt o nazwie Project Perception, który ma obserwować aktywność agentów, oceniać poziom ryzyka i reagować w momencie, gdy zachowanie systemu zaczyna odbiegać od ustalonych norm. To rozwiązanie można porównać do monitoringu, alarmów i kontroli dostępu stosowanych w fizycznych budynkach - nie eliminują one zagrożenia całkowicie, ale pozwalają szybciej wychwycić niepokojące sygnały.

Znaczenie tego tematu wykracza daleko poza korporacyjne centra danych. To, co dziś testowane jest w firmach, jutro trafi do produktów konsumenckich. Wystarczy przyjrzeć się kierunkowi rozwoju Copilota, Gemini czy nowej generacji Siri. Wszystkie te systemy zmierzają w stronę coraz większej samodzielności - rezerwowania spotkań, wysyłania wiadomości, zarządzania plikami, robienia zakupów, obsługi usług i realizacji wieloetapowych zadań bez stałego nadzoru użytkownika.

Im więcej uprawnień takie systemy otrzymają, tym bardziej palące stanie się pytanie, kto właściwie pilnuje pilnującego. Dlatego warto odnotować, że jedna z największych firm AI na świecie przestaje mówić wyłącznie o możliwościach technologii, a coraz częściej skupia się na jej ograniczeniach.

Paradoks przyszłości sztucznej inteligencji

Najciekawszy wniosek z całej tej debaty brzmi niemal paradoksalnie. Przez lata celem branży było zbudowanie systemu, któremu można zaufać bez żadnych zastrzeżeń. Dziś coraz więcej przesłanek wskazuje, że wygrają nie te firmy, które przekonają użytkowników do pełnego zaufania wobec AI, lecz te, które najlepiej nauczą się działać bez takiego zaufania. Najbardziej wiarygodnym systemem superinteligencji nie będzie ten, w którego model ufamy najmocniej, ale ten, który pozwala nam ufać mu jak najmniej. I być może jest to jedna z najbardziej trzeźwych deklaracji, jaką branża AI wygłosiła na swój temat od bardzo dawna.