Meta właśnie wypuściła na rynek swoje najnowsze modele Llama 3.1 w wersjach 8B, 70B i 405B, a Mark Zuckerberg nie ustaje w przekonywaniu świata o zaletach otwartego oprogramowania.
Nowe modele z rodziny Llama charakteryzują się zwiększoną długością kontekstu do 128k i obsługą aż ośmiu języków. Według firmy, flagowy model 405B wykazuje „niezrównaną elastyczność, kontrolę i możliwości na poziomie najlepszych modeli zamkniętych źródeł” i jest „największym i najbardziej zaawansowanym dostępnym modelem bazowym na świecie”.
Przy ogromnych kosztach obliczeniowych, jakie pochłania trening coraz większych modeli, spekulowano, że model 405B może być pierwszym płatnym modelem Mety. Model Llama 3.1 405B został wytrenowany na ponad 15 bilionach tokenów przy użyciu 16 000 jednostek NVIDIA H100, co najprawdopodobniej kosztowało setki milionów dolarów.
W swoim wpisie na blogu, CEO Meta, Mark Zuckerberg, ponownie potwierdził przekonanie firmy, że otwarte oprogramowanie to przyszłość AI i że wydanie Llama 3.1 to krok w kierunku ustanowienia otwartego źródła jako standardu branżowego. Modele Llama 3.1 są dostępne do pobrania, modyfikacji lub dostosowania za pomocą pakietu usług od Amazon, Databricks i NVIDIA, a także na platformach usług w chmurze takich jak AWS, Azure, Google i Oracle.
Meta przetestowała swoje modele na ponad 150 zestawach danych benchmarkowych i opublikowała wyniki dla najbardziej popularnych zestawów, aby pokazać, jak nowe modele wypadają w porównaniu z innymi wiodącymi modelami. Wyniki te pokazują, że Llama 3.1 405B nie różni się znacząco od takich modeli jak GPT-4o czy Claude 3.5 Sonnet.
Od teraz Llama 3.1 napędza narzędzie Meta AI, które stało się podstawą obsługi popularnych aplikacji Mety jak Facebook, Instagram, Messenger czy WhatsApp – rozszerzając możliwości kreacji i edycji postów na tych socialach.
Meta przeprowadziła również „obszerne oceny ludzkie, porównując Llama 3.1 z konkurencyjnymi modelami w realnych scenariuszach”. Wyniki te polegają na użytkownikach, którzy decydują, czy wolą odpowiedź jednego modelu od drugiego. Oceny te odzwierciedlają podobieństwa, które ujawniają wyniki benchmarków.
Zuckerberg argumentuje, że podejście oparte na otwartym źródle jest najlepszym sposobem na uniknięcie niezamierzonych szkód. Jeśli model AI jest otwarty na kontrolę, jest mniej prawdopodobne, że rozwinie niebezpieczne zachowania, których moglibyśmy nie zauważyć w zamkniętych modelach. Co więcej, Zuckerberg twierdzi, że „dopóki każdy ma dostęp do podobnych generacji modeli – co promuje otwarte źródło – rządy i instytucje dysponujące większymi zasobami obliczeniowymi będą w stanie przeciwdziałać złym aktorom dysponującym mniejszymi zasobami”.
Podsumowując, ekscytacja związana z modelem otwartego źródła, jakim jest Llama 3.1 405B, jest uzasadniona. Jednakże, z uwagi na szepty o nadchodzących GPT-5 i Claude 3.5 Opus, te wyniki benchmarków mogą szybko się zestarzeć. Czy otwarte źródło rzeczywiście stanie się nowym standardem? Czas pokaże, ale na pewno będzie to fascynująca podróż w świecie AI.