Gary Marcus: era ślepego skalowania modeli AI właśnie się skończyła
Znany krytyk dominującego paradygmatu rozwoju sztucznej inteligencji ogłasza koniec wiary w to, że samo powiększanie modeli i zbiorów danych doprowadzi do AGI. Jego zdaniem to założenie napędziło obecną „bańkę AI” i okazało się jednym z najbardziej kosztownych błędów w historii nauki.
Gary Marcus, od lat krytykujący sposób, w jaki rozwijana jest sztuczna inteligencja, twierdzi, że teza o skalowaniu wielkich modeli językowych jako drodze do ogólnej sztucznej inteligencji (AGI) definitywnie się nie sprawdziła. W jego ocenie to właśnie to przekonanie stworzyło grunt dla dzisiejszej „bańki AI” i zasługuje na miejsce wśród najdroższych pomyłek naukowych w historii.
"Scale is all you need"
Swoją krytykę tego podejścia Marcus prowadzi od dawna – zaczął w marcu 2022 roku esejem pod tytułem „Deep Learning is Hitting a Wall”, a dwa miesiące później opublikował kolejny tekst, „The New Science of Alt Intelligence”. W tamtym okresie idea, którą dziś podważa, cieszyła się ogromną popularnością i funkcjonowała pod hasłem „scale is all you need”. Zgodnie z nią, ogromne wolumeny danych – w dużej mierze zebrane z obserwacji ludzkich zachowań – mogły zastąpić rzeczywistą inteligencję. Jednym z najgorliwszych zwolenników tej filozofii był Sam Altman, który przyrównywał domniemane „prawa skalowania” do fundamentalnych praw fizyki i uczynił je podstawą strategii swojej firmy.
Już w tamtym czasie Marcus przekonywał, że taka strategia nie ma szans na powodzenie. Argumentował, że nawet lawinowy wzrost ilości danych treningowych nie usunie podstawowej słabości tych systemów – ich zawodności. Objawia się ona halucynacjami, trudnościami z ustalaniem podstawowych faktów, brakiem realnego rozumowania oraz kłopotami z sytuacjami wykraczającymi poza typowe wzorce, których nie da się uogólnić statystycznie. Sam Marcus wspomina, że wygłaszanie takich opinii niemal zniszczyło mu karierę.
Zwrot w nastrojach środowiska AI
Na to, że hipoteza skalowania traci grunt, wskazuje coraz częstsze odwracanie się od niej przez samo środowisko badaczy AI. Nurt, który Marcus nazywa „scaling-über-alles” i który od 2020 do 2025 roku dominował w badaniach, decyzjach inwestycyjnych oraz polityce rządowej, został poddany ostrej krytyce podczas konferencji Neural Information Processing Systems (NeurIPS) w San Diego.
To wydarzenie, na którym spotykają się najważniejsze postaci branży uczenia maszynowego, przyniosło w tej edycji wiele wypowiedzi wskazujących na zmianę podejścia do budowy AGI za pomocą samego skalowania. Marcus opiera się tutaj na relacji serwisu The Information. Wątpliwości wobec dotychczasowej strategii wyraził między innymi prof. Richard Sutton, jeden z pionierów uczenia przez wzmocnienie (reinforcement learning). Stwierdził on, że dosypywanie modelom kolejnych wyspecjalizowanych danych tworzonych przez ludzi nie przekłada się na lepsze działanie systemów, a właściwym kierunkiem powinno być uczenie się z doświadczenia. Podczas wystąpienia w San Diego Sutton zaprezentował koncepcję architektury dębu (oak architecture), mającą prowadzić do superinteligencji budowanej na bazie doświadczenia – wcześniej, w sierpniu 2025 roku, przedstawił ją także na konferencji Reinforcement Learning, gdzie nagranie wykładu jest dostępne w całości. W podobnym tonie na NeurIPS wypowiadał się cytowany przez Marcusa David Luan, szef działu AI Research w Amazon, który zapowiedział, że obecny model trenowania systemów AI z pewnością nie będzie kontynuowany.
Marcus zwraca uwagę, że dzisiejsze ograniczenia tej technologii potwierdzają także inne analizy, w tym raport MIT NANDO, opisywany wcześniej przez ITwiz. Wynika z niego, że większość firm inwestujących w generatywną sztuczną inteligencję nie osiąga zakładanego zwrotu z inwestycji – według badania MIT aż 95% przedsiębiorstw nie uzyskało ROI z GenAI. Wstępny entuzjazm coraz częściej ustępuje więc miejsca zawodowi.
Nowa droga dla AI
Wobec porażki strategii opartej wyłącznie na skalowaniu, Marcus apeluje o powrót do fundamentalnych założeń badań nad sztuczną inteligencją. Jego zdaniem czas skończyć z przekonaniem, że sama ilość danych i moc obliczeniowa same z siebie rozwiążą wszystkie problemy tej dziedziny.
Aby zbudować AGI, musimy czerpać wiedzę od ludzi o tym, jak rozumują, jak pojmują świat fizyczny oraz jak przyswajają język i złożone koncepcje. Choć AI nie powinna być niewolniczą repliką ludzkiej inteligencji, musi szukać wskazówek w ludzkiej (i zwierzęcej) sferze poznawczej.
Gary Marcus
Z tego względu Marcus postuluje, by do prac nad sztuczną inteligencją na nowo włączyć naukowców zajmujących się kognitywistyką. Przyszłość, jak przekonuje, należy do neurosymbolicznej sztucznej inteligencji, modeli świata (world models) oraz badania przyczynowości (causality). Te kierunki mają, w jego ocenie, otworzyć nowy, interdyscyplinarny etap rozwoju AI.
Źródło: ITwiz
Źródło: ITwiz