Musk ujawnił, że zespół xAI z sukcesem uruchomił klaster treningowy Colossus składający się z 100 tys. jednostek H100, co zajęło 122 dni. Ale na tym nie koniec. Musk dodał: „W ciągu najbliższych kilku miesięcy liczba jednostek się podwoi, osiągając 200 tys. (w tym 50 tys. H200).”
Skala Colossusa jest bezprecedensowa, wyprzedza wszystkie inne klastry. Dla porównania, Google korzysta z 90 tys. jednostek GPU, a OpenAI z 80 tys. – oba zostały już przewyższone przez xAI, jeszcze przed planowanym podwojeniem wielkości Colossusa.
System, stworzony we współpracy z Nvidią, wykorzystuje zaawansowaną technologię GPU. Na starcie opiera się na chipach H100, a w miarę rozbudowy będzie korzystać z nowszego modelu H200. Tak potężna infrastruktura czyni Colossusa najsilniejszym systemem treningowym AI na rynku.
Chociaż w marcu 2024 Nvidia zaprezentowała jeszcze nowszy chip Blackwell, H200 wciąż jest bardzo poszukiwany w branży AI. Dysponuje on 141 GB pamięci HBM3E i przepustowością 4,8 TB/s. Jednak Blackwell jeszcze bardziej podnosi poprzeczkę, oferując o 36,2% większą pojemność i 66,7% wyższą przepustowość.
Nvidia zareagowała na premierę Colossusa z entuzjazmem, gratulując zespołowi xAI i podkreślając, że system nie tylko będzie najpotężniejszy, ale również osiągnie „wyjątkowe zyski” w efektywności energetycznej.
Potężna moc obliczeniowa Colossusa może przyspieszyć przełomy w różnych dziedzinach AI, od przetwarzania języka naturalnego po zaawansowane algorytmy rozwiązywania problemów. Jednak prezentacja Colossusa ponownie budzi obawy dotyczące koncentracji mocy AI w rękach kilku gigantów technologicznych i bogato finansowanych startupów.
W miarę jak firmy takie jak xAI przesuwają granice możliwości w treningu AI, na horyzoncie mogą pojawić się pytania o dostępność takich technologii dla mniejszych organizacji i naukowców.
Wyścig zbrojeń w świecie AI nabiera tempa, a wszyscy z niecierpliwością będą obserwować xAI i jego konkurentów, aby zobaczyć, jak wykorzystają te coraz potężniejsze systemy. Dzięki Colossusowi Musk i jego zespół rzucają wyzwanie rywalom, by dorównali lub przewyższyli ich osiągnięcia.