Anthropic alarmuje: Claude wykorzystywany w badaniach nad bronią biologiczną

Anthropic potwierdziło, że badacze sięgali po modele Claude podczas prac, które teoretycznie mogłyby przyczynić się do powstania broni biologicznej. Konta powiązane z takimi działaniami zostały zablokowane, choć sama firma zaznacza, że w niektórych sytuacjach nie miała pewności, czy chodziło o legalne badania, czy o coś znacznie bardziej niebezpiecznego.

Blokada kont naukowców pracujących nad śmiercionośnymi patogenami

W nowym, szczegółowym raporcie firma podsumowała osiem ostatnich miesięcy funkcjonowania swoich systemów i zebrała przykłady nadużyć – od dezinformacji i szpiegowania po pomoc w tworzeniu oprogramowania dla uzbrojenia konwencjonalnego. Najbardziej niepokoi ją jednak obszar związany z biologią.

Nie bez powodu. Nowoczesne modele AI są coraz skuteczniejsze w prowadzeniu skomplikowanych analiz naukowych. Te same umiejętności, które wspierają rozwój leków i szczepionek, mogą też służyć do modyfikacji organizmów stanowiących zagrożenie.

W dokumencie opisano pięć sytuacji, w których Claude miał kontakt z badaniami dotyczącymi potencjalnej broni biologicznej. Anthropic podkreśla jednak, że nie potrafi jednoznacznie ocenić, czy użytkownicy faktycznie planowali stworzenie takiej broni.

Nie widzimy kogoś w stylu komiksowego złoczyńcy, kto mówi: chcę zbudować broń biologiczną, żeby zabić wszystkich

Jacob Klein, szef zespołu ds. wywiadu zagrożeń w Anthropic, w rozmowie z The New York Times

Klein dodał, że cała sytuacja jest "niezwykle zniuansowana".

Jeden z opisanych przypadków dotyczył wykorzystania Claude'a do napisania wniosku grantowego związanego z badaniami nad wirusem chikungunya. System bezpieczeństwa biologicznego Anthropic namierzył to zapytanie w maju tego roku.

Projekt zakładał eksperymenty typu gain of function w warunkach laboratoryjnych – modyfikację wirusa w taki sposób, by zwiększyć jego zdolność do zakażania oraz omijania układu odpornościowego. Plan obejmował też testy na żywych zwierzętach. Dodatkowo niepokój wzbudzał fakt, że badania miały być realizowane przy udziale wojskowej jednostki badawczej.

Nie wiemy, czy badania miały zostać wykorzystane do stworzenia broni. Jednak wojskowa instytucja prowadząca badania gain of function budzi obawy

Jacob Klein

Firma wskazała też podobny przypadek związany z badaniami nad ptasią grypą. W innym opisanym epizodzie naukowiec korzystał z Claude'a do budowy atlasu peptydów toksyn jadowych oraz do generatywnego procesu mającego optymalizować właściwości tych toksyn. Anthropic zapewnia, że w każdej z tych sytuacji uruchomiła odpowiednie środki bezpieczeństwa, nawet bez pełnej wiedzy o intencjach użytkowników – a powiązane konta zostały zamknięte.

Próby obejścia zabezpieczeń Claude'a

Anthropic informuje, że niektórzy użytkownicy korzystali z modeli wbrew ograniczeniom geograficznym, a także starali się zamaskować przed systemami bezpieczeństwa rzeczywisty cel swoich badań.

Raport, przed publikacją, trafił do Susan Monarez – mikrobiolożki i specjalistki od zdrowia publicznego, która za czasów administracji Baracka Obamy nadzorowała przegląd amerykańskiej gotowości na zagrożenia biologiczne. Według niej opisane przypadki potwierdzają, że zaawansowana sztuczna inteligencja może być wykorzystywana do zwiększania zdolności w zakresie tworzenia patogenów. Monarez zaznaczyła zarazem, że technologia ma podwójne oblicze – może przyspieszać badania nad nowymi terapiami i szczepionkami, lecz te same możliwości mogą posłużyć do opracowania niebezpiecznych organizmów.

Problem wykracza poza biologię. W raporcie Anthropic znajdują się również przykłady wykorzystania Claude'a do śledzenia oponentów politycznych oraz środowisk emigracyjnych, tworzenia propagandy i budowania exploitów komputerowych. Firma wymienia rosyjskie media państwowe, które używały modelu do generowania treści propagandowych podawanych jako niezależne materiały informacyjne. Wśród takich publikacji znalazły się fałszywe informacje dotyczące wyborów w Mołdawii.

Anthropic wykryło ponadto próby użycia Claude'a do projektowania i pisania oprogramowania związanego z bronią konwencjonalną – w tym broni palnej, pocisków, uzbrojonych dronów oraz bomb. Raport wskazuje sześć takich przypadków: trzy dotyczące Chin, dwa Rosji i jeden Jemenu. Jak zauważył The New York Times, kontekst opisu jemeńskiego sugeruje związek z popieraną przez Iran milicją Huti.

Dokument nie ujawnia nazwisk naukowców ani nazw instytucji zamieszanych w przypadki związane z badaniami biologicznymi. Anthropic wyjaśnia, że są to aktywni badacze, a firma nie ma pewności, czy ich praca miała szkodliwe zamierzenia – podanie ich tożsamości mogłoby narazić ich samych i ich laboratoria na ryzyko.

Firma zaznacza również, że wcześniejsze wersje jej modeli były znacznie mniej użyteczne w kontekście niebezpiecznych badań biologicznych. Testy przeprowadzone rok temu pokazały, że nie dawały jeszcze realnego wsparcia w takich zadaniach. Obecne modele radzą sobie ze złożonymi problemami naukowymi znacznie lepiej, co skłoniło Anthropic do zaostrzenia mechanizmów bezpieczeństwa.

Andrew Weber, starszy analityk Council on Strategic Risks i były zastępca sekretarza obrony USA odpowiadający za programy ochrony przed bronią jądrową, chemiczną i biologiczną w administracji Obamy, ocenił raport jako dowód na to, że coraz bardziej zaawansowane modele AI są wykorzystywane przez podmioty zaangażowane w rozwój broni biologicznej. Weber opowiedział się za ograniczeniem dostępu do modeli zdolnych do prowadzenia badań biologicznych na tak wysokim poziomie – jego zdaniem powinny z nich korzystać wyłącznie zweryfikowane zespoły badawcze.

Źródło: Spider's Web