Polak pracuje nad kolejnym przełomem OpenAI. "Jak się uda, wyjdzie z tego coś dużego"

OpenAI to amerykański startup, którego wycena sięgnęła w 2025 roku 500 mld dol. Dzięki temu firma będąca właścicielem ChataGPT wyprzedziła SpaceX Elona Muska i stała się największym startupem na świecie. Wśród jedenastu współzałożycieli OpenAI był jeden Polak, Wojciech Zaremba. W początkowym okresie istnienia firmy Polacy stanowili znaczącą część zespołu inżynierów. Wśród nich byli Jakub Pachocki, Aleksander Mądry, Szymon Sidor oraz Łukasz Kondraciuk, który udzielił pierwszego wywiadu redakcji money.pl.

Łukasz Kijek, szef redakcji money.pl: Ilu jest teraz Polaków w OpenAI?

Łukasz Kondraciuk, OpenAI: W tym momencie około trzydziestu. Aczkolwiek poza tzw. "starymi wyjadaczami". Są rozproszeni po całej firmie i przypuszczam, że większość nie ma ze sobą kontaktu.

Mamy wspólny kanał na Slacku zatytułowany oczywiście #polska, na który wrzucamy od czasu do czasu polskie newsy związane głównie z AI. Nasz Slack ma kilkanaście tysięcy kanałów i ktoś kiedyś wpadł na pomysł, żeby założyć kanał #polska i po prostu dodać tam wszystkich Polaków.

Dziś w OpenAI jest 4,5 tys. osób, jednak w tym pierwszym zespole Polacy stanowili trzon. Zostało nawet ukute określenie "Polish Mafia" w OpenAI.

(śmiech) Tak, ale nie jestem pewien, czy warto je rozpowszechniać, bo jak inni w firmie to słyszą, to od razu myślą o nepotyzmie i się denerwują. Aktualne stężenie 0,06 proc. nie robi już wrażenia.

Doceniam skromność. Jednak to pokazuje, jak silne kompetencje mają Polacy, polscy matematycy, informatycy, programiści, którzy potrafią współtworzyć tak nowoczesne firmy.

Pod tym względem zgadzam się. To jest coś, z czego możemy być dumni, ale czy jesteśmy wyjątkowi? Słyszałem o węgierskim fenomenie w matematyce i postaciach takich jak Paul Erdős. Szkoła rosyjska w matematyce, fizyce czy inżynierii to potęga. Według mnie to jest bardziej efekt wschodnioeuropejskiego nacisku na naukę przedmiotów ścisłych niż to, że jest coś magicznego w wodzie, którą piją Polacy.

Czyli nie ma jakiegoś magicznego eliksiru?

Niestety, nie sądzę. Wiem jednak, że pracuję z magicznymi ludźmi. Bez żadnych wątpliwości, gdyby nie Jakub Pachocki – nasz szef researchu, to OpenAI nie doszedłby do aktualnej skali. Postacią podobnego kalibru jest współzałożyciel Wojciech Zaremba.

Czysto statystycznie - liczba Polaków w tych największych przedsięwzięciach robi wrażenie. Jest słynne zdjęcie, na którym też jesteś, gdzie doklejono flagi do postaci pierwszych twórców O1, modelu do rozumowania w czasie rzeczywistym. Polska flaga jest tam w przeważającej większości.

Zgadzam się, choć z drugiej strony myślę, że to raczej przypadek albo wspólna kultura ułatwia nam współpracę. Polakowi z Polakiem zawsze będzie łatwiej się zaprzyjaźnić i dogadać. Projekt, którego kulminacją był O1, został zapoczątkowany przez dwóch Polaków, potem dołączyli kolejni i tak ta historia się potoczyła. Takie wyjaśnienie ma dla mnie więcej sensu niż to, że jesteśmy jacyś mądrzejsi niż cała reszta firmy.

Jakie były Twoje początki w OpenAI?

Nie ukrywam, że najzwyczajniej w świecie miałem farta. W 2022 roku o OpenAI mało kto słyszał, ja natomiast kojarzyłem projekt Dota2. W tym projekcie byli: Kuba Pachocki, którego kojarzyłem z mojej przygody z programowaniem sportowym, oraz Przemysław Dębiak. To byli starzy mistrzowie, idole, 5-6 lat starsi ode mnie i po prostu chciałem być jak oni.

Dziś Jakub Pachocki jest jedną z kluczowych postaci OpenAI, ale czy wówczas się znaliście?

Nie znałem nikogo, nie wiedziałem w ogóle, o co tak naprawdę chodzi w uczeniu maszynowym. Miałem niesamowicie płytkie zrozumienie procesu, wiedziałem tyle, że trenuje się jakieś sieci neuronowe, deklaruje funkcje błędu, liczy gradienty i dalej dzieje się magia. Byłem też na początkowym etapie swojej kariery, miałem pracę w Polsce i bardzo miłego szefa - pozdrawiam Macieja - ale szukałem czegoś ambitniejszego. Chciałem wyjechać na Zachód, zarobić więcej pieniędzy i rozwijać się.

I co się wtedy wydarzyło, że mówisz o farcie?

Te ambitne plany miałem już od początków studiów, ale COVID mi pokrzyżował pierwszą próbę ich realizacji. W styczniu 2020 roku dostałem się na praktyki do biura Google w Zurychu, ale zostałem zmuszony odbyć je zdalnie z mojej kawalerki w Warszawie, co nie było aż tak atrakcyjnym doświadczeniem. Ze stażu w centrali NVIDII w Santa Clara, zaplanowanego na lato 2021, też musiałem zrezygnować.

Na początku 2022 roku, gdy pandemia przycichła, zacząłem od nowa rozmowy kwalifikacyjne za granicą i dość szybko dostałem się do jednej z firm finansowych. W tym samym czasie przeczytałem mail od Wojciecha Zaremby, który wysłał do absolwentów Wydziału Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego, czyli mojego wydziału. Odpowiedziałem na ten mail, zaaplikowałem, zadania rekrutacyjne mi podeszły i voila, z Polski wywiało mnie na drugi koniec świata. Wybrałem tę opcję, bo wydawała mi się dużo ciekawsza niż budowanie systemów do obracania instrumentami finansowymi. To oraz legenda Doliny Krzemowej zadziałały na moją wyobraźnię.

Jaki odcisk zostawiłeś na OpenAI?

Pracowałem w pierwszym zespole nad trenowaniem modeli językowych, takich jak ChatGPT lub GPT-4. W drugim projekcie tworzyłem system do trenowania modeli rozumujących, rozwiązujący zadania z matematyki, fizyki oraz programowania. Od początku zeszłego roku próbuję odkryć nowe metody treningowe. Do tej pory mi się nie udało, ale nie planuję się poddawać.

Możesz opisać, na czym właściwie polega Twoja praca? Tak, żeby każdy mógł to zrozumieć?

Wszystkie modele językowe działają podobnie, niezależnie czy to ChatGPT, Gemini, czy Claude. To w skrócie niezwykle złożona funkcja matematyczna, która analizuje tekst i oblicza prawdopodobieństwa, jakie słowo najlepiej pasuje jako kolejne. Następnie dodaje je do tekstu i ponownie wykonuje to samo, stopniowo budując całą wypowiedź. Proces ten trwa, aż wylosujemy specjalne słowo "endoftext", czyli koniec tekstu. Budowana przez Chat odpowiedź jest więc dosłownie generowana słowo po słowie.

Kolejna rzecz: trenowanie takiego ChataGPT składa się z kilku faz. Pierwsza to tzw. pretraining. Bierzemy czysty model i ładujemy w niego ogromne ilości tekstu: miliardy, może nawet biliony słów. Ta procedura jest niesłychanie kosztowna obliczeniowo. Zajmuje parę miesięcy na kilkudziesięciu tysiącach kart graficznych. Mój pierwszy zespół zajmował się budową systemu do tego procesu oraz obsługą procedur treningowych.

Przepraszam za być może naiwne pytanie, ale to jest tak, że klika się enter i potem przez parę miesięcy się to liczy?

Trochę tak, choć trening składa się z wielu małych kroków. Każdy kroczek wygląda matematycznie tak samo, ale jest na innych danych. Tych pojedynczych kroków model robi kilkadziesiąt tysięcy podczas całego procesu treningu.

Wyobrażam sobie, że jak zobaczyłeś to pierwszy raz, to musiałeś mieć poczucie, że to jest coś totalnie nowego, wyjątkowego, ekstremalnie ciekawego.

Sama skala liczb była dla mnie wyjątkowa. Wcześniej zajmowałem się programowaniem kart graficznych na studiach, działałem też w małym zespole do hackathonów i tam mieliśmy dostęp do 16, 20, 28 kart graficznych naraz. A tutaj nawet kilkaset kart graficznych mogłem sobie od ręki zarezerwować. A największe treningi były na kilkudziesięciu tysiącach takich kart. To było dla mnie wielkie "łał".

I jak szybko przyszły pierwsze efekty prac?

Pierwsza edycja ChataGPT mnie ominęła. Dołączyłem w sierpniu, od razu zacząłem "klepać" pierwsze projekty, a czat został wypuszczony w grudniu. Więc moje zmiany, moje dodatki nie miały żadnego przełomowego wpływu na to wydanie. Ale to, co dodałem, poprawiało trening modeli, które były wypuszczane w kolejnych miesiącach. W szczególności przyspieszyły one trening oraz pozwoliły na większą elastyczność w ustawieniach. Miało to spory wpływ na to, jak ChatGPT wygląda dzisiaj. Zwłaszcza w takich modelach jak gigantyczny ChatGPT 4.5 czy najnowszy ChatGPT 5. To niesamowicie budujące, kiedy widzę, że prawie wszystkie komponenty, które stworzyłem w pracy tutaj, są nadal używane.

Czyli można powiedzieć, że zostawiłeś swoje odciski w ChatGPT?

O tak, nie ma co do tego żadnych wątpliwości.

A po czym to rozpoznajesz?

Kod, który napisałem, jest ciągle w użyciu. Moje kawałki systemu, który ludzie nadal regularnie puszczają w ruch, pracując nad kolejnymi wersjami ChataGPT.

Jak sztuczna inteligencja może jeszcze zmienić nasze życie? Czy ta rewolucja jest dopiero przed nami? Czy jesteśmy u progu czegoś wielkiego?

Ciężko powiedzieć, bo wszystko to zmienia się dosyć szybko. Może za rok będę miał inną odpowiedź. Już dziś jest wiele startupów w Dolinie Krzemowej, które komercjalizują sztuczną inteligencję. Są startupy, które robią narzędzia dla prawników, lekarzy, księgowych. Moje młodsze siostry, nie programistki, mówią, że używają "czatka" cały czas, w pracy i na studiach. Już teraz ChataGPT można użyć do tego, żeby mocno ułatwić sobie życie.

Kiedyś wszystkiego, czego nie wiedziałem, szukałem w Google. Teraz po prostu pytam ChataGPT. I zwykle daje dużo lepszą odpowiedź niż nawet najlepszy artykuł, który bym znalazł na Wikipedii. Po pierwsze: jest dokładnie na temat. Nie muszę filtrować i szukać dokładnie tego, czego chcę się dowiedzieć. Po drugie: mogę zadać pytania dodatkowe, poprosić o rozjaśnienie. Jeśli chodzi o wykonywanie konkretnych zadań, to w programowaniu radzi sobie nieźle. Natomiast dalej popełnia błędy. Pełna automatyzacja to jest pieśń przyszłości.

A jeśli chodzi o przyszłość: które dziedziny życia AI na pewno nam pozmienia? Trafia do mnie porównanie, że z AI jesteśmy na takim etapie, jak z telefonami komórkowymi w latach 90. Ludzie zaczęli do siebie dzwonić, pisać SMS-y i tak dalej, a dopiero później pojawiły się smartfony i to one dokonały największej rewolucji. Pytanie, czy ze sztuczną inteligencją będzie podobnie?

Może tak być, aczkolwiek jak patrzę na smartfony, to od 10 lat niewiele się zmieniło. Wszystko, do czego dzisiaj używam smartfona, mógłbym robić modelem z 2015 roku, który rodzice mi kupili, jak byłem w liceum. Na pewno istnieje wersja przyszłości, w której sztuczna inteligencja pozostanie tylko asystentem.

W dłuższym horyzoncie czasowym mam nadzieję, że w momencie, kiedy pojawi się robotyka i automatyzacja produkcji, zobaczymy realny wpływ sztucznej inteligencji na to, jak wygląda nasze codzienne życie. Możliwość szukania informacji jest przydatna, ale ja chciałbym czegoś więcej.

Na przykład?

Czegoś, co mi posprząta i zrobi pranie. Dziś po San Francisco jeżdżą już autonomiczne taksówki, również dzięki AI. Być może jesteśmy ostatnim pokoleniem w historii, które musi się uczyć jazdy samochodem.

A wielkie badania naukowe i nowe odkrycia?

Projekt O1, nad którym pracowałem, pokazał, że możemy używać modeli nie tylko do znajdowania informacji, ale też do matematyki. Jako świetnego narzędzia do rozwiązywania skomplikowanych zadań z dziedziny nauk ścisłych. Nie jesteśmy jeszcze na etapie, kiedy potrafimy na przykład wyjaśnić przy pomocy modeli grawitację kwantową, teorię strun czy udowodnić hipotezę Riemanna, ale mam nadzieję, że jest to w zasięgu kolejnych 5-10 lat. Już teraz AI pomaga biologom w odkrywaniu nowych białek, przyspieszając tym samym opracowywanie nowych leków.

Matematyczne zadania, które ktoś dzisiaj rozwiązuje np. przy pomocy ChataGPT, zawdzięczamy Tobie. Mogę zażartować, że to dzięki Tobie dzieciaki w szkole mają łatwą ściągawkę?

(śmiech) Podejrzewam, że niekoniecznie wychodzi im to na dobre. Nieużywany organ zanika, a mózg dużo lepiej się uczy, kiedy jest postawiony przed samodzielnym rozwiązaniem problemu. ChatGPT może być pomocą dydaktyczną z dostępem do wiedzy dużo szerszym niż jakikolwiek nauczyciel. Gdy zdarzy się, że utkniesz na jakimś etapie rozwiązywania zadania, na wyciągniecie ręki masz "prywatnego korepetytora", który może pomóc i podpowiedzieć, jaki powinien być kolejny krok. Uważam, że jest to dużo lepsze podejście.

Czy narzędzie, które tworzysz, da ludziom więcej miejsc pracy, czy może im zagrozić? Trwa szeroka dyskusja na ten temat.

Gdy mowa o przyszłości sztucznej inteligencji, jest to niesamowicie istotny temat. Moje ulubione porównanie to to, że John Rockefeller 100 lat temu żył na niższym poziomie niż przeciętny człowiek może żyć obecnie. A wszystko dzięki stopniowemu postępowi technologicznemu, którego AI jest tylko kolejnym krokiem. Wkrótce możemy dojść do momentu, kiedy ludzkość będzie tak produktywna, że każdy będzie mógł wieść życie o wysokim standardzie bez potrzeby pracy zawodowej.

Przy wsparciu dochodu podstawowego, nad którym teraz m.in. Sam Altman prowadzi badania, nawet jeżeli będzie mniej miejsc pracy, to i tak każdego będzie stać na to, żeby cieszyć się życiem. A jak nie praca, to co ludzie będą robić ze sobą? Pospekuluję, że hobby, sport, twórczość artystyczna, no i spędzanie czasu z bliskimi. Pewnie też w jakimś stopniu to, co teraz nazywamy pracą, ale z woli, a nie konieczności.

W czasach historycznych przeciętny obywatel był chłopem, a dziś, mimo wprowadzenia maszyn rolniczych, kto chce, może nadal uprawiać ogródek albo działkę. Nie jestem zmartwiony rozwojem AI, o ile zapewnimy wszystkim godne warunki życia.

Wróćmy do pytania o to, nad czym pracujesz. Powiedziałeś, że nad jakimś nowatorskim rozwiązaniem, którego nie udało Ci się jeszcze doprowadzić do działania. Brzmi ciekawie.

Mogę powiedzieć, że zajmuję się czymś zupełnie nowym. Potencjalnie, jeżeli mi się uda, to może za rok, może dwa będzie to kolejna część pipeline’u. Pipeline’u - czyli procesu, podczas którego "zaszczepiamy" kolejny rodzaj inteligencji w modelach. Mam nadzieję, że to wypali. Problem jest taki, że nie mam żadnego punktu odniesienia, który działa. Większość prób albo psuje model, albo nie jest lepsza, nie ma żadnej mierzalnej poprawy w porównaniu do znanych procedur.

To trochę tak, jakbyś był Krzysztofem Kolumbem, który płynął w stronę nieznanego lądu i liczył, że ten ląd odnajdzie.

Zgadza się. Natomiast jest taka możliwość, że tego lądu tam nie ma, albo żegluję w kompletnie złym kierunku. I będzie niezwykle słabo, jak będę musiał z pustymi rękami wracać do królowej hiszpańskiej. Żadna egzekucja mnie nie czeka, ale i tak będzie mi przykro (śmiech).

To wymaga dużej samodyscypliny.

Czasem ciężko jest się motywować. To żmudny i niewdzięczny proces, ale z drugiej strony to zadanie z rodzaju "high risk, high reward" ("duże ryzyko, duża nagroda" - przyp. red.). Jak się uda, wyjdzie z tego coś dużego. No i też mam poczucie, że brałem już udział w historycznych projektach, takich jak O1. Nawet więc, jeśli z mojego "kolumbowania" nic nie wyjdzie, to moja kariera nie będzie kompletną klapą.

A jak się zmienił się OpenAI w ciągu ostatnich lat?

Kilka tygodni temu widziałem na firmowej stołówce ogromne ciasto z napisem "10. rocznica". Siedem pierwszych lat mnie ominęło, więc nie wiem, jakie były początki, bo znam je tylko z opowiadań. A różne historie, których miałem okazję słuchać, niekoniecznie są ze sobą zbieżne.

W ciągu moich trzech lat na pewno zmienił się rozmiar firmy. Przed hiperwzrostem spowodowanym ChatemGPT panowała kameralna atmosfera, czyli każdy znał każdego, każdy wiedział, kto i nad czym pracuje. Można się było łatwo do każdego dostać. Gdy dołączyłem, po dosłownie miesiącu znałem wszystkie twarze i kojarzyłem, kto jest kim. A teraz idę na lunch, rozglądam się dookoła, może wypatrzę kilku znajomych, a reszta to osoby, z którymi nigdy nie miałem kontaktu.

Na koniec jeszcze jedno pytanie o Polskę. Wielu ludzi się zastanawia, czy doświadczenie, które tam zdobędziecie, możecie potem wykorzystać podczas powrotu do Polski. Czy o tym myślicie?

Uwielbiam Polskę, natomiast zawodowo mieszkanie w Dolinie Krzemowej to jest coś, czego nie da się z niczym innym porównać.

Na czym ta różnica polega? Ludzie się zastanawiają, jak to jest, że polskie talenty odnajdują się w Dolinie Krzemowej, a nie w Polsce.

Chodzi o możliwości. Wszystkie liczące się firmy prowadzą najciekawsze projekty w swoich siedzibach tutaj: Google, Facebook, Tesla, Apple, NVIDIA - również OpenAI wymieniłbym w tym gronie.

Jak się zakłada startup, to dużo łatwiej zebrać kapitał, znaleźć inwestorów i zatrudnić pierwszych pracowników. Jest cała masa ludzi chętnych do podjęcia ryzyka pracy w startupie. W razie bankructwa nie tylko traci się pracę - udziały, które stanowią większość wynagrodzenia, stają się nic niewarte.

Na początku każdego startupu główną trudnością jest to, żeby mieć dobry pomysł, a to jest niezależne od lokacji. Potem trzeba zebrać pieniądze od inwestorów. Tutaj, w Dolinie Krzemowej, funduszy venture capital jest multum. Nawet mogę się pochwalić, że i do mnie co chwilę piszą różne VC z pytaniem, czy nie chciałbym odejść z pracy i założyć swoją własną firmę, że oni by zainwestowali.

Niesamowite. W Polsce firmy często muszą wykazywać już przychody, by wzbudzać zaufanie VC.

Kapitału jest dużo, szczególnie teraz, gdy panuje boom na AI. Startupy, które nie mają żadnego produktu, są w stanie zebrać dziesiątki, setki milionów dolarów, jeżeli tylko zakładają je ludzie znani w środowisku. I choćby przez to polskiej scenie ciężko jest konkurować.

Ale będziesz chciał wrócić kiedyś do Polski? Na stałe?

Rozważam to. Jestem w takiej pozycji, że mógłbym to zrobić i pracować zdalnie. Udowodniłem, że jestem w stanie przynieść firmie wiele wartości nawet poprzez pracę indywidualną. Natomiast wydaje mi się, że wciąż wiele się uczę, rozmawiając z ludźmi tutaj na żywo. Dziedzina sztucznej inteligencji jest niesamowicie obszerna i dynamiczna. Trzy lata nie wystarczyły, żeby wyczerpać całą moją ciekawość. Gdybym chciał "przejść na emeryturę" i pracować, powiedzmy, kilka godzin dziennie, od poniedziałku do piątku, to bym wrócił. Ale póki co wierzę, że jeszcze nie osiągnąłem szczytu swojej kariery. Dlatego wolę dalej mieszkać tutaj, w samym sercu technologicznego świata.

Rozmawiał Łukasz Kijek, szef redakcji money.pl