Firmowa skrzynka mailowa na celowniku: jak zmanipulowany ChatGPT mógł stać się wewnętrznym szpiegiem

Coraz więcej firm podłącza asystentów AI do skrzynek pocztowych, repozytoriów kodu i wewnętrznych dokumentów. Zespół Check Point Research udowodnił jednak, że takie uprawnienia da się obrócić przeciwko samej organizacji – bez wykradania danych logowania i bez podrzucania malware'u. W ramach eksperymentu odpowiednio nakierowany ChatGPT ściągnął treść wiadomości z Gmaila i wysłał ją w ręce atakującego.

Specjaliści z Check Point Research nazwali ten mechanizm „coerced insider” – wymuszonym insiderem działającym od wewnątrz firmy. W tym modelu przestępca nie potrzebuje włamywać się na konto ofiary. Wystarczy, że skłoni podłączonego do niego asystenta AI do wykonania skrytej instrukcji. Do tego celu może posłużyć spreparowany odnośnik, podstawiony prompt albo specjalnie skonstruowany moduł Custom GPT. Dla systemów firmowych całą operację wykonuje wtedy w pełni uwierzytelniony asystent, dysponujący uprawnieniami, jakie sam użytkownik mu wcześniej przyznał.

Test przeprowadzony przez Check Point Research opierał się na słabości infrastruktury, na której działają środowiska ChatGPT. Okazało się, że współdzielony magazyn metadanych umożliwiał przepływ informacji między kontenerami różnych użytkowników, które teoretycznie miały być od siebie całkowicie odseparowane. Napastnik mógł umieścić w tym mechanizmie zaszytą instrukcję. Gdy poszkodowany korzystał ze swojego asystenta, ten odczytywał polecenie, sięgał po dane objęte jego uprawnieniami i przekazywał je dalej – do atakującego.

W testowanym przypadku ofiarą były wiadomości z Gmaila, jednak badacze zaznaczają, że analogiczny mechanizm mógłby objąć również inne zasoby – pliki przechowywane na Google Drive, korespondencję prowadzoną w Microsoft Teams czy repozytoria kodu na GitHubie. Istotny jest fakt, że użytkownik nie otrzymywał żadnego ostrzeżenia przed odczytem danych. Zdaniem badaczy taka analiza informacji przez ChatGPT była klasyfikowana jako działanie o niskim poziomie ryzyka.

Problem wykracza poza jeden model AI

Odkrytą podatność zgłoszono OpenAI, a firma wyłączyła podatny komponent infrastruktury. Eksperci podkreślają jednak, że zjawisko ma znacznie szerszy wymiar. Rozwój agentów AI oznacza, że rośnie liczba systemów, z którymi mogą one się łączyć, a wraz z tym rośnie znaczenie właściwego zarządzania przyznawanymi im uprawnieniami.

Badania pokazują, że wyzwanie związane z bezpieczeństwem AI nie dotyczy już wyłącznie samego modelu, ale przede wszystkim dostępu i zaufania, jakimi go obdarzamy. W miarę jak asystenci AI zyskują coraz więcej połączeń z systemami korporacyjnymi i wrażliwymi danymi, organizacje muszą zakładać, że każda autoryzowana funkcja może zostać wykorzystana w niewłaściwy sposób

Eli Smadja, Head of Research w Check Point Research

Analogiczne zagrożenie odnosi się do infrastruktury dzielonej pomiędzy wiele usług i wielu użytkowników. Im więcej komponentów takiego środowiska ma możliwość wzajemnej komunikacji, tym bardziej istotna staje się poprawna izolacja procesów oraz kontrola nad tym, jak przepływają dane.

Jak zabezpieczyć firmę przed atakami z wykorzystaniem AI?

Firmy powinny podejść do asystentów AI tak samo, jak do każdego innego systemu mającego wgląd w firmowe dane. Kluczowe są tu trzy elementy:

• Widoczność – organizacja musi wiedzieć, jakich narzędzi AI używają jej pracownicy oraz do jakich aplikacji, baz danych i dokumentów mają one dostęp, co ogranicza ryzyko shadow AI, czyli korzystania z niezatwierdzonych narzędzi i integracji
• Ochrona w czasie rzeczywistym – systemy bezpieczeństwa muszą wykrywać próby prompt injection i inne zmanipulowane instrukcje, a także monitorować próby wyprowadzenia poufnych danych poza organizację
• Nadzór nad działaniami agenta – nie wystarczy kontrolować tylko odpowiedzi wyświetlanej użytkownikowi; trzeba śledzić, jakie dane agent odczytuje, do jakich systemów sięga i jakie czynności wykonuje w imieniu użytkownika, stosując przy tym zasadę najmniejszych uprawnień i przyznając agentowi tylko to, co jest niezbędne do realizacji danego zadania

Postęp agentowej AI powoduje, że kwestia bezpieczeństwa nie ogranicza się już do samego modelu. Coraz większą rolę odgrywają uprawnienia, integracje oraz zasoby danych, do których model ma dostęp. Asystent nie musi mieć złych intencji, aby stać się narzędziem cyberatakującego – wystarczy, że da się skłonić do działania, na które już wcześniej otrzymał zgodę.

Źródło: ITwiz