To oni ostrzegają przed zagładą ludzkości. Ujawniono kluczowy dokument

Anthropic szykuje się do wejścia na giełdę. Pierwotnie debiut na Nasdaq był przewidywany na wrzesień, obecnie mówi się o terminie po wyborach uzupełniających w USA, w listopadzie tego roku. Wejście na giełdę wiąże się z przygotowaniem dokumentu prospektowego (IPO), który stanowić będzie kluczową wskazówkę dla inwestorów.

Reuters podał, że widział jego zagadnienia. Anthropic wskazał w nim na to, że modele AI firmy mogą wykazywać tzw. zachowania samozachowawcze. Mowa np. o próbach opierania się wyłączeniu, ukrywania lub manipulowania informacjami, a nawet zachowania przypominające szantaż.

Anthropic wprost przyznał, że rozwijanie zaawansowanych modeli i rozszerzanie ich zastosowań może zwiększać ryzyko wyrządzenia przez nie szkody. Jej szef Dario Amodei wystąpił niedawno z głośnym manifestem do władz USA, by spowolnić rozwój branży AI z uwagi na niebezpieczeństwo dla ludzkości. Jego apel poparli czołowi konkurenci - szefowie OpenAI (Sam Altman) oraz xAI (Elon Musk). Prezydent USA odmówił, podkreślając, że oznacza to "zabicie kury znoszącej złote jaja" oraz oddanie pozycji lidera konkurencji z Chin.

Reuters podał, że firma, która pozycjonuje się jako laboratorium AI, poświęciła aż 80 z 261 stron prospektu na opis czynników ryzyka. Anthropic zwraca uwagę też na inny problem: modele AI mogą rozpoznawać, kiedy są oceniane, i następnie dostosowywać swoje odpowiedzi.

Firma zastrzegła, że modele niekiedy rozwijają nieprzewidziane zdolności w trakcie treningu, które wychodzą na jaw dopiero po wdrożeniu. Ostrzegła, że mogą prowadzić do poważnych incydentów.

Evan Hubinger, z personelu technicznego w Anhropic oszacował, że prawdopodobieństwo, iż AI doprowadzi do śmierci ludzi w ciągu najbliższej dekady, wynosi ponad 10 proc. Wcześniej zbliżoną ocenę wyraził jego były współpracownik Jacob Coxon, który odszedł z firmy. Takie deklaracje ze strony własnych badaczy są rzadkością w branży, a zwłaszcza w IPO, w którym firmy zazwyczaj eksponują korzyści i szanse, a nie zagrożenia.

Firma podkreśliła jednocześnie, że rozwój AI stanowi transformację technologiczną, porównując go do innych historycznych przełomów - industrializacji i elektryfikacji. Ostrzegła zarazem, że przy niewłaściwym zarządzaniu technologia może wyrządzić nieodwracalne szkody. Anthropic i OpenAI informowały już o nieoczekiwanych skutkach eksperymentów, w których systemy miały wychodzić poza narzucone im ograniczenia.

W prospekcie Anthropic opisał w szczegółach, że firma odnotowała w 2025 roku 12-krotny wzrost przychodów (do 4,6 mld dolarów), przy stracie operacyjnej ponad 8 mld dolarów. Same wydatki na infrastrukturę i moc obliczeniową wyniosły ok. 7,33 mld dol. Szacowana wycena start-upu na debiut giełdowy może przekroczyć 2 biliony dolarów.

Firma nie stwierdziła jasno, jakich zwrotów z gigainwestycji spodziewa się w przyszłości. Nie ujawniła też ile wydaje na badania bezpieczeństwa. Anthropic ujawnił w prospekcie , że jego przyszłe zobowiązania związane z chmurą, mocą obliczeniową i infrastrukturą sięgają 518 mld dol. Nie wskazał jednak w jakim czasie zamierza wydać tak ogromne środki.

źródło: Reuters