Mam nadzieję, że sztuczna inteligencja nie uczyni nas całkowicie bezużytecznymi: współzałożyciel NEAR o rozwoju sztucznej inteligencji

W 2017 r. zespół NEAR postanowił stworzyć sztuczną inteligencję ogólną (AGI), ale później – ze względu na ograniczenia techniczne i brak zasobów w tamtym czasie – skupił się na projektowaniu platformy blockchain.

Deweloperzy nigdy jednak całkowicie nie porzucili tego pomysłu. W 2024 r. zespół wykonał kolejny zwrot i uruchomił NEAR AI, laboratorium badawcze o podobnych celach.

Zespół redakcyjny Incrypted rozmawiał z twórcą tej inicjatywy, współzałożycielem NEAR Aleksandrem Skidanovem. Rozmawialiśmy o roli blockchaina w rozwoju zdecentralizowanej sztucznej inteligencji, trudnościach napotykanych przez programistów oraz ryzyku związanym z pojawieniem się silnej sztucznej inteligencji.

O ile rozumiem, jesteś osobą, która “tonie” w NEAR, jeśli chodzi o komponent AI.

Tak. Zacząłem o tym mówić w 2021 roku. Nikt tak naprawdę mnie wtedy nie słuchał. Od 2021 roku zrealizowałem już kilka projektów. W zeszłym roku uruchomiłem firmę, która była całkowicie skoncentrowana na badaniach nad sztuczną inteligencją. Teraz NEAR wreszcie znalazł zasoby do pracy nad sztuczną inteligencją. Ta firma dołączyła do NEAR i nazywa się teraz NEAR AI.

Z czym związany jest zwrot, którego dokonał NEAR? Rozwijaliście platformę blockchain, a teraz zdecydowaliście się pracować nad sztuczną inteligencją. Jak rozumiem, celem NEAR AI jest stworzenie ogólnej sztucznej inteligencji.

To było marzenie Ilyi Polosukhina i myślę, że wielu innych ludzi z tego pokolenia. Ponieważ wydaje się, że AGI nie jest daleko.

Kiedy zaczynaliśmy NEAR AI w 2017 roku, naszym celem było napisanie AGI. Ale potem zrobiliśmy zwrot w kierunku blockchaina.

Ponieważ kiedy pracowaliśmy nad AGI w 2017 roku, głównym problemem wciąż była adnotacja danych. Zauważyliśmy również, że nawet płacenie ludziom przez PayPal w różnych krajach było bardzo trudne. Zaczęliśmy więc budować blockchain.

W tamtych czasach z blockchainów istniały Ethereum, Bitcoin i IOTA i nie było sposobu na łatwe dokonywanie płatności za pośrednictwem takich sieci. Ilya i ja, obaj będąc dość technicznymi ludźmi, pomyśleliśmy, że jest to wyraźnie możliwy do rozwiązania problem, jeśli zajmie się nim wystarczająco dużo inteligentnych, systematycznych ludzi. Tak właśnie powstał NEAR.

Jednak, jak już wspomniałem, już od 2021 roku prowadzę i buduję kilka interesujących projektów AI wewnątrz NEAR. Mamy już ogromną platformę do adnotacji danych. Ogólna wizja NEAR jest taka, że chcemy, aby ludzie posiadali i kontrolowali własne pieniądze i własne dane.

Sztuczna inteligencja będzie teraz bardzo szybko ewoluować. Ale w rzeczywistości w tej chwili znów mamy tę samą trajektorię: gdzie niewielka liczba firm – OpenAI, Anthropic, może Google – będzie miała pełną kontrolę nad wszystkim. Tak jak miało to miejsce na przykład w przypadku wyszukiwarek.

Im więcej danych uzyskają te firmy, tym bardziej będą mogły ulepszać swoje produkty i tym trudniej będzie zewnętrznym graczom ich dogonić.

Po raz kolejny mamy do czynienia z “otoczonym murem ogrodem”.

Tak, a jednym z głównych obszarów pracy NEAR zawsze było to, co nazywamy Otwartą Siecią. Ale nie można go zbudować, jeśli segment AI jest teraz “przejęty” przez Google i Anthropic, ponieważ twierdzi się, że AI będzie wystarczająco dużą częścią Internetu. Wszystko do tego zmierza, ponieważ nawet zwykła interakcja z aplikacjami będzie nowym sposobem robienia rzeczy.

Pokazałem dziś demo – trudno będzie to opisać w tekście, ale chodzi o to, że powoli wkraczamy w świat, w którym frontend aplikacji może w danym momencie dostosowywać się bezpośrednio do potrzeb użytkownika. Innymi słowy, sztuczna inteligencja może bardzo zmienić sposób, w jaki wchodzimy w interakcję z Internetem, aplikacjami i infrastrukturą.

A jeśli sztuczna inteligencja będzie całkowicie kontrolowana przez firmy, Otwarta Sieć po prostu nie powstanie. Musimy więc już teraz pomyśleć o tym, co możemy zrobić.

Jak możemy upewnić się, że podstawowe modele będą nadal istnieć w formacie open source w przyszłości i nadal będą konkurować z modelami dużych firm. Jak możemy się upewnić, że zasadniczo mamy infrastrukturę do wdrażania aplikacji, w których dane nigdzie nie wyciekają.

Jesteśmy teraz w tym wyjątkowym momencie, w którym wszystkie najnowsze przełomy w sztucznej inteligencji są mniej lub bardziej znane. Mam na myśli to, że najnowszą rzeczą, jaką zrobiło OpenAI, jest ich Q-sharp lub Strawberry – nie wiemy, co to jest, tak. Ale oto jak dokładnie wyszkolono GPT-4, mniej więcej wiadomo. Informacje o większości know-how wyciekły lub zostały stworzone na otwartej przestrzeni.

Ale myślę, że jest bardzo prawdopodobne, że w ciągu najbliższego roku lub dwóch nastąpią pewne przełomy, które wydarzą się wewnątrz OpenAI lub wewnątrz Google. I nie będą one dostępne poza nimi.

W jaki sposób możemy upewnić się, że ludzie, którzy chcą prowadzić badania nad sztuczną inteligencją, ale nie chcą iść do OpenAI, mają dostęp do potrzebnych im zasobów? Co możemy wprowadzić, aby zrównoważyć wszystkie te badania, które odbywają się za zamkniętymi drzwiami? Te obszary są bardzo ważne dla przełomowych odkryć. Właśnie dlatego uruchomiliśmy laboratorium NEAR AI.

A jakie miejsce w tej wizji zajmuje blockchain NEAR? Czy będzie to warstwa dostępności danych, czy warstwa motywacji agentów AI – jakie funkcje powinien pełnić?

Są one różne dla różnych aspektów. Na przykład adnotacja danych – dzieje się to dzisiaj całkowicie w kontekście blockchaina NEAR. Oznacza to, że wszystkie płatności dla uczestników zaangażowanych w adnotację odbywają się na blockchainie, podobnie jak weryfikacja.

Dla tych, którzy nie wiedzą – czym jest adnotacja danych?

Powiedzmy, że chcesz zastosować sztuczną inteligencję w jakimś kontekście. Obecnie poszczególne modele są bardzo dobre w robieniu rzeczy, które często można znaleźć w sieci. Na przykład, dlaczego modele są tak dobre w pisaniu kodu? Ponieważ istnieje GitHub i jest tam ogromna ilość tego kodu. Ale jeśli masz jakieś zadanie, które rzadko można znaleźć w Internecie, model może mieć halucynacje, radzić sobie gorzej.

Ponieważ sam zbiór danych jest mniejszy.

Tak, ponieważ w tym ogromnym zbiorze danych, na którym trenowała, ten konkretny podzbiór, który jest dla ciebie istotny, jest znacznie mniejszy. Więc idziesz do ludzi, którzy mają wiedzę na ten temat i mówisz: “Chłopaki, stwórzcie zbiór danych, który jest zbliżony do aplikacji, którą chcemy stworzyć”.

Zwykle robią to wyspecjalizowane firmy. Wyjaśniasz, czego chcesz, a oni znajdują ludzi, którzy mogą stworzyć dla ciebie dane. I wszystko działa całkiem dobrze dokładnie do momentu, w którym chcesz stworzyć dużą ilość danych – podejście przestaje działać.

Dlaczego? Ponieważ pod koniec dnia ludzie nadal chcą przede wszystkim zarabiać pieniądze, a dopiero potem chcą stworzyć dla ciebie dobry zestaw danych. I zawsze znajdą sposób na wykonanie minimalnej ilości pracy, aby zdobyć pieniądze.

Przy niewielkiej ilości danych można utrzymać pewną liczbę pracowników, którzy będą sprawdzać tę pracę. Ale wraz ze wzrostem skali staje się to coraz trudniejsze.

Dlatego trzy lata temu opracowałem platformę, na której ludzie wzajemnie weryfikowali swoją pracę, aby jakość danych nie spadła.

Blockchain jest tu absolutnie naturalnym rozwiązaniem. I w zasadzie uważam to zadanie za całkowicie rozwiązane. Nie otworzyliśmy jeszcze platformy dla użytkowników zewnętrznych, ale sami oznaczyliśmy już ogromną ilość danych, które sponsorowaliśmy na potrzeby naszych badań. Prawdopodobnie otworzymy ją jeszcze w tym roku lub na początku przyszłego. Jest ona w całości zbudowana w oparciu o NEAR.

Co sądzisz o tym, co dzieje się w dziedzinie zdecentralizowanej sztucznej inteligencji?

Myślę, że blockchain w ogóle znajdzie największe zastosowanie, poza oczywiście DeFi i transakcjami finansowymi, to przede wszystkim [cyfrowa] tożsamość. Obecnie wszystko odbywa się w sposób scentralizowany. Moja przeglądarka ma twardy kod – komu powinienem zaufać. Ten system nie działa w dłuższej perspektywie.

Blockchain całkowicie rozwiązuje problem zaufania. Jeśli znasz nazwę mojego konta, ta wiedza gwarantuje, że możesz zweryfikować moje podpisy. Ponieważ blockchain zawsze będzie przechowywał najnowszy klucz.

Po drugie, kontrolowanie niektórych rzeczy, które dzieją się offline. Na przykład Sia jest świetnym przykładem tego, jak wszystko dzieje się całkowicie offchain, ale niektóre tagi są zapisywane w blockchainie. To samo wydarzy się w sieciach monetyzacji danych – wszystko dzieje się offchain, ale podstawowa sieć sprawdza, czy dane zostały poprawnie przesłane i tak dalej.

Ostatecznie prawie wszystkie projekty, które istnieją obecnie na przecięciu Web3 i sztucznej inteligencji, wykorzystują blockchain w ten sposób. Coś dzieje się offline, a zdecentralizowany rejestr rejestruje informacje, aby ludzie wiedzieli, że dane są wykorzystywane w taki a taki sposób, aby uwierzytelnienie dotarło do użytkowników, do których musi dotrzeć.

Powiedziałeś, że nie wierzysz w firmy tworzące produkty kategorii AI-first. Co AI-first oznacza przez to drugie? Powiedzmy, że OpenAI jest jedną z takich firm?

Tak. Oczywiście OpenAI i Anthropic pozostawiły już daleko w tyle ścieżkę, którą musi przejść projekt, aby ludzie wokół niego mieli pewność, że odniesie sukces. Ale oto inny przykład: jeśli spojrzysz na ostatnią grupę uczestników Y Combinator i usuniesz filtr AI, pozostanie dosłownie kilka firm. Ponieważ każdy startup mówi teraz: “Jesteśmy AI dla czegoś”.

Problem polega na tym, że sztuczna inteligencja jest tylko narzędziem. Firmy próbują umieścić ją na czele swojego produktu – prowadzi to do masy projektów, które niczym się od siebie nie różnią. Wykorzystują te same modele, nie ma między nimi żadnej różnicy. Dlatego większość z nich nie ma szans na przetrwanie. Zwycięzcą nie jest ten, kto buduje najlepiej, ale ten, kto ma unikalny przypadek użycia produktu.

Większość firm korzysta z istniejących modeli, zamiast opracowywać własne. Prawda?

Tworzenie własnych modeli jest bardzo niebezpieczne, ponieważ jest bardzo kosztowne. I, oczywiście, nie mają wiedzy specjalistycznej, która jest dostępna w OpenAI lub Anthpolis. Innymi słowy, myślę, że dla większości firm opracowanie własnego modelu od podstaw jest dziś absolutnie fatalne. Po prostu dlatego, że nie mają odpowiednich zasobów.

Czy blockchain mógłby to zmienić? Może zdecentralizowane szkolenie w zakresie modeli?

To bardzo interesujące pytanie. Nie sądzę, by blockchain sam w sobie mógł pomóc. Ale jeśli nie znajdziemy sposobu na połączenie zasobów do szkolenia modeli, jeśli nie znajdziemy sposobu na prowadzenie badań nad sztuczną inteligencją przy użyciu jakiegoś rozproszonego systemu grantów, nie będziemy mieli przyszłości, w której OpenAI i Anthropic nie będą kontrolować najlepszych modeli.

Budowanie i trenowanie modeli na poziomie GPT-4 wymaga ogromnej mocy obliczeniowej – klastrów z tysiącami procesorów, takich jak H100. A jeśli jedna firma kontroluje taki klaster, jego zniknięcie oznacza, że tracimy dostęp do zasobów. Jesteśmy zmuszeni do zbudowania nowego klastra – a to kosztuje ogromne pieniądze.

Istnieje szansa, że Meta będzie nadal publikować modele. Gdyby tego nie robiła, bylibyśmy w znacznie gorszej sytuacji. Ale nie możemy budować przyszłości zorientowanej na open source wokół dość zamkniętej firmy.

W krótkiej perspektywie – jaki jest najbardziej prawdopodobny scenariusz, jak może ewoluować próba społeczności blockchain zbudowania modelu na poziomie GPT-5 lub nawet GPT-4? To jakiś podmiot buduje duży klaster, za który społeczność wspólnie płaci. Wynikowy model jest kontrolowany przez tę społeczność, a społeczność dzieli się przychodami z jego użytkowania.

Ale na dłuższą metę uważam, że takie podejście jest również niebezpieczne. Jeśli wspomniany podmiot zniknie, zniknie również klaster. Aby kontynuować szkolenie modelu, potrzebujemy czasu na zbudowanie nowego klastra. A ten ostatni musi być coraz większy.

Oznacza to, że dziś 30 000 procesorów jest już trudnych do zgrupowania. Ale jeśli chcemy iść naprzód, potrzebujemy więcej zasobów. Potrzebujemy ludzi, którzy znajdą sposób na trenowanie modelu w systemach o dużych opóźnieniach.

A potem to już tylko kwestia wpuszczenia zasobów od ludzi. Kto ma tanią energię elektryczną, kto ma bezczynne procesory graficzne. Jeśli znajdziemy sposób na trenowanie modeli w ten sposób, całkowicie rozwiąże to problem.

Pojawiło się już kilka interesujących artykułów z DeepMind i innych laboratoriów, które opisują, jak trenować modele o wysokim opóźnieniu.

Co oznacza wysokie opóźnienie w kontekście szkolenia sztucznej inteligencji?

Obecnie potrzebujemy szybkiej komunikacji między procesorami. Na przykład wszystkie klastry OpenAI korzystają z InfiniBand, a Amazon używa EFA [elastic fabric adapter].

Mówimy więc o szybkiej wymianie danych między procesorami graficznymi?

Tak, bo jak w ogóle trenuje się dziś modele? Bierzesz model i dzielisz go między urządzenia. Istnieją trzy kierunki shardingu – równoległość [równoległość modelu], potokowanie i replikacja.

Równoległość i potokowanie sprowadzają się do tego, że model jest trenowany wspólnie przez wiele układów GPU. Oznacza to, że pojedynczy model jest rozproszony na wiele urządzeń. Zazwyczaj w ramach jednej maszyny – powiedzmy, że jest 8 układów GPU – używana jest równoległość, a między maszynami – potokowanie. W ostatecznym rozrachunku, obie te metody pozwalają na “krojenie” modelu – podobnie jak sharding w bazach danych.

Zwykle jednak im więcej plasterków, tym gorzej to działa. Powszechne jest tworzenie do ośmiu shardów w ramach GPU dla modelu i powiedzmy, że może być maksymalnie 40 takich maszyn. Daje to 320 układów GPU. A potrzeba ich 30 000.

Pozostałym czynnikiem, pozostałym mnożnikiem, będzie replikacja. Kiedy replikujesz ten sam model wiele, wiele razy. Tworzymy 100 kopii tego modelu.

Ale replikacja ma negatywny wpływ na uczenie się. Dlatego nie używa się dużych mnożników.

W przypadku paralelizacji potrzebne jest bardzo szybkie połączenie. Dlatego jest ono nawiązywane tylko między procesorami graficznymi na tej samej maszynie. Pipelining – pożądane jest bardzo szybkie połączenie.

Replikacja jest mniej wymagająca, ponieważ każda replika jest niezależna. Ale jeśli chcemy połączyć wszystkie gradienty – nadal musi to działać stosunkowo szybko. Ponieważ przejścia do przodu lub do tyłu zajmują sekundy, ale gradienty – cały model to gigabajty danych.

Nawet jeśli masz 200 miliardów parametrów – to gigabajt, który musisz przesłać. Jeśli opóźnienie jest wysokie, a masz nawet połączenie gigabitowe, to jest to osiem sekund.

Wykonujemy więc przejścia do przodu lub do tyłu w dwie sekundy, a następnie poświęcamy osiem sekund na połączenie gradientów. To nie działa.

Wszystkie pomysły obracają się wokół tego samego – użyjmy starszego gradientu. Więc faktycznie poświęcimy osiem sekund na połączenie, ale w międzyczasie będziemy robić przejścia.

Czy takie podejście zadziała? Stopniowo, tak. Mamy nadzieję, że za rok będzie to całkowicie rozwiązany problem. A może nie.

Ale w świecie, w którym ten problem zostanie rozwiązany, musimy być gotowi na połączenie zasobów, zbudowanie systemu, w którym ludzie mogą dzielić się procesorami graficznymi, rozpoczęcie treningu dużego modelu. Musimy zrozumieć, w jaki sposób będzie odbywać się rejestracja, jak można zarabiać na tym modelu.

Sercem takiej zdecentralizowanej sztucznej inteligencji nie będzie pojedynczy projekt, ale grupa protokołów? To znaczy, warunkowy Akash zapewni zdolność do szkolenia, a inny projekt zapewni poziom motywacji i tak dalej.

Mogę sobie wyobrazić sytuację, w której jakiś projekt może zbudować coś wielkiego.

Trudno powiedzieć, ale zdecydowanie będziemy próbować. Ostatecznie uważam, że dla nas jako społeczności ważne jest, aby istniała ścieżka do zdecentralizowanego szkolenia konkurencyjnych modeli, które zawsze będą w czołówce.

Krążą plotki, że wkrótce ukaże się GPT-5. A nasz najnowocześniejszy model [open source], 405B, absolutnie nie jest w stanie konkurować z GPT-4. Kiedy więc pojawi się GPT-5, będziemy już dwie generacje do tyłu.

Czy można powiedzieć, że scentralizowane modele mają efekt sieciowy? Im więcej użytkowników, tym więcej danych, tym szybciej ewoluują i tym trudniej jest je dogonić.

Tak, jednoznacznie.

Jeśli mówimy ogólnie o sztucznej inteligencji, co sądzisz o obawach ludzi związanych z samym faktem pojawienia się silnej lub nawet ogólnej sztucznej inteligencji?

Ogólnie jestem bardzo pesymistyczny. Myślę, że jest mniej scenariuszy, w których wszystko kończy się dobrze, niż odwrotnie.

Ale scenariusze, w których wszystko kończy się dobrze – są bardzo przyjemne. Oczywiście, kiedy rozejrzymy się wokół, jasne jest, że globalnie przeciętny człowiek – jest raczej nieszczęśliwy. Nie może osiągnąć swojego potencjału, ponieważ musi codziennie jeździć Uberem, aby związać koniec z końcem. Nie może aspirować do swoich marzeń.

Twierdzi się, że sztuczna inteligencja potencjalnie umożliwi świat, w którym znacznie więcej osób będzie mogło spełnić swoje marzenia. Nie mogę powiedzieć z całą pewnością, czy to prawda, czy nie, ale twierdzi się, że zmniejszy się ilość rutyny i zmniejszy się ilość zasobów na świecie. W konsekwencji przeciętny człowiek będzie miał znacznie więcej możliwości.

Czy nie uważasz, że w każdym przypadku, w każdym scenariuszu, wszystko to prowadzi do świata, w którym ludzie nie decydują już o niczym, a sztuczna inteligencja decyduje o wszystkim?

Duże prawdopodobieństwo.

Moją osobistą nadzieją – tak naprawdę nie wierzę, że tak się stanie, ale szansa nie jest zerowa – jest to, że w najbliższym czasie, w ciągu najbliższych kilku dekad, sztuczna inteligencja ponownie osiągnie pewien pułap, którego nie będziemy w stanie przebić.

Myślę, że ostatecznie, w bardzo długiej perspektywie, o ile ludzkość z jakiegoś powodu nie wymrze i nie będzie nadal rozwijać AI, prędzej czy później sztuczna inteligencja stanie się dla nas nieosiągalna. Staniemy się nieistotni.

Mam jednak nadzieję, że istnieje szansa na osiągnięcie pewnego pułapu, przy którym sztuczna inteligencja wyeliminuje znaczną część rutyny, znacznie poprawiając nasze życie. Ale robiąc to, albo jeszcze się nie zrealizuje, albo nawet jeśli to zrobi, nie uczyni nas całkowicie bezużytecznymi.

To byłby po prostu wspaniały rozwój. Ale żeby tak się stało, musimy znaleźć się w tak wąskiej strefie, że wydaje się to mało prawdopodobne. Osobliwość może być bardziej prawdopodobna.

Mogę powiedzieć, że z punktu widzenia przeciętnego użytkownika, który stosuje ChatGPT do niektórych zwykłych zadań, to, co dzieje się teraz, wygląda nawet trochę przerażająco. To, jak dobrze SI radzi sobie z poszczególnymi zadaniami, jest zarówno ekscytujące, jak i przerażające.

Tak, ale na obronę tego, że być może jeszcze nie skończyliśmy, chcę podać następujący przykład. W 2017 roku, kiedy zaczęliśmy pracować nad NEAR, byliśmy mniej więcej w tym samym punkcie – między 2015 a 2017 rokiem niesamowite przełomy zdarzały się cały czas, każdego miesiąca. Wydawało się, że jest to nie do zatrzymania.

Ale od 2017 roku – aż do wydania ChatGPT – nastąpiło bardzo poważne spowolnienie. Nawet jeśli mówimy o GPT-3, model pojawił się w 2019 roku, ale był bardzo niewygodny, próg wejścia był bardzo wysoki. Większość ludzi nawet nie wiedziała o jego istnieniu. A potem pojawił się przyjazny dla użytkownika interfejs i ludzie zdali sobie sprawę, że mają dostęp do technologii od 2019 roku.

Istniejące modele zabrały terabajty danych, które jako ludzkość stworzyliśmy w ciągu naszego istnienia. Wszystkie te przełomy, które miały miejsce w ciągu ostatnich kilku lat, miały miejsce, ponieważ stawaliśmy się coraz lepsi w “wyciskaniu” użytecznych informacji z tych danych. Z pewnością mogą one doprowadzić nas do pewnego punktu. Poza tym będziemy potrzebować nowych zbiorów danych. A wygenerowanie nowego terabajta danych nie jest łatwe.

Istnieje więc duże prawdopodobieństwo, że osiągniemy pułap tego, co model może uzyskać z istniejącego Internetu. I wtedy pojawia się pytanie, kto może zbudować modele, które wydobywają dane bardziej efektywnie? Kto może generować dane do treningu? Być może jesteśmy w stanie generować czyste dane – i potrzebujemy ich znacznie mniej – w ilościach, których potrzebujemy?

Istnieje szansa, że osiągamy pułap danych. I jest szansa, że w rzeczywistości Internet zawiera już wszystko, czego potrzebujemy – po prostu nie wiemy, jak wydobyć te informacje wystarczająco skutecznie. Stopniowo dojdziemy do punktu, w którym jakiś model będzie przetwarzał wszystkie te informacje i uczył się o sobie.