Ostatnie doniesienia z branży technologicznej rzucają nowe światło na plany Microsoftu, które mogą znacząco wpłynąć na rynek sztucznej inteligencji.
Microsoft, znany gigant z Redmond, nie przestaje nas zaskakiwać. Tym razem według raportu opublikowanego przez The Information, pracuje nad nowym, gigantycznym modelem językowym o nazwie MAI-1, który ma aż 500 miliardów parametrów. Tak, dobrze czytacie – to pół biliona parametrów! Dla porównania, jego wcześniejsze modele z rodziny Phi-3 Mini oscylowały „jedynie” w granicach od 3,8 do 14 miliardów parametrów.
Co ciekawe, MAI-1 ma stanowić bezpośrednią konkurencję dla modeli takich gigantów jak GPT-4 od OpenAI czy Gemini od Google. Choć GPT-4 może się pochwalić 1,76 biliona parametrów, to w praktyce, ze względu na zastosowanie technologii Mixture of Experts (MoE), aktywnych jest tylko około 280 miliardów parametrów. Jeśli MAI-1 okaże się modelem gęstym, a nie MoE, jego moc obliczeniowa może być naprawdę imponująca.
Za rozwój MAI-1 odpowiedzialny jest Mustafa Suleyman, współzałożyciel i były szef działu zastosowań AI w DeepMind, który opuścił firmę, aby współtworzyć startup AI Inflection. W marcu tego roku Microsoft przejął większość zespołu Inflection oraz prawa do ich własności intelektualnej za bagatela 650 milionów dolarów. Wygląda na to, że MAI-1 to zupełnie nowy projekt, a nie kontynuacja prac Inflection.
Choć Microsoft jest największym inwestorem OpenAI, decyzja o rozwijaniu własnych modeli LLM może wydawać się niektórym zaskakująca. Czyżby Microsoft stawiał na różnorodność strategii rozwoju, czy też szykuje się do wewnętrznej rywalizacji? Kevin Scott, CTO Microsoftu, stara się bagatelizować te spekulacje. W swoim poście na LinkedIn napisał: „Nie jestem pewien, dlaczego to jest teraz wiadomość, ale żeby podsumować oczywiste: budujemy wielkie superkomputery do trenowania modeli AI; nasz partner Open AI używa tych superkomputerów do trenowania przełomowych modeli; a następnie obie firmy udostępniają te modele w produktach i usługach, aby wiele osób mogło z nich korzystać. Nam ten układ odpowiada.”
Czy MAI-1 zostanie wypuszczony akurat wtedy, gdy OpenAI zdecyduje się na premierę GPT-5? Cóż, OpenAI planowało wydarzenie na czwartek, na którym miały zostać przedstawione aktualizacje i demonstracje produktów, ale zostało ono odwołane. Z tajemniczymi chatbotami GPT-2, które pojawiają się, znikają i pojawiają na nowo, Microsoft budujący ogromne modele i OpenAI trzymające nas w napięciu, dramat AI nie ma końca. Wygląda na to, że przyszłość technologii pisze kolejny emocjonujący rozdział.