Reflection 70B „przewyższa” GPT-4o – Przełom czy oszustwo?
Business Etyka Wybór redakcji

Reflection 70B „przewyższa” GPT-4o – Przełom czy oszustwo?

Ostatnie doniesienia z branży AI przynoszą zarówno ekscytujące, jak i kontrowersyjne wieści.

W świecie technologii, gdzie każde nowe ogłoszenie może zaważyć na przyszłości całej branży, Matt Shumer, założyciel i CEO HyperWrite, wprowadza na rynek model Reflection 70B. Według Shumera, jego najnowsze dzieło wykorzystuje prosty, ale skuteczny trik, który ma na celu rozwiązanie problemu tzw. „hallucynacji” dużych modeli językowych (LLM) i zapewnia imponujące wyniki w testach porównawczych, bijąc na głowę większe, a nawet zamknięte modele, takie jak GPT-4o.

Współpracując z dostawcą syntetycznych danych, Glaive, Shumer stworzył nowy model oparty na modelu Instruct Llama 3.1-70B od Meta. Podczas ogłoszenia na platformie Hugging Face, Shumer stwierdził: „Reflection Llama-3.1 70B to (obecnie) najlepszy na świecie otwarty LLM, szkolony nową techniką zwana Reflection-Tuning, która uczy LLM wykrywać błędy w swoim rozumowaniu i korygować kurs.”

Nazwa modelu, Reflection, nawiązuje do jego zdolności do samokorekty podczas wnioskowania. Shumer nie zdradza zbyt wielu szczegółów, ale wyjaśnia, że model zastanawia się nad swoją początkową odpowiedzią na podaną wskazówkę i wydaje ją dopiero po upewnieniu się, że jest poprawna.

Co więcej, Shumer zapowiada, że wersja 405B modelu Reflection jest w trakcie przygotowań i „zdmuchnie” inne modele, w tym GPT-4o, kiedy zostanie zaprezentowana w przyszłym tygodniu. Ale czy to wszystko nie brzmi zbyt pięknie, by mogło być prawdziwe? Reflection 70B jest dostępny do pobrania na Hugging Face, ale wczesni testerzy nie byli w stanie powtórzyć imponujących wyników, które pokazał Shumer.

Playground Reflection pozwala wypróbować model, ale z powodu dużego zainteresowania demo jest tymczasowo niedostępne. Sugerowane podpowiedzi, takie jak „Policz 'r’ w słowie truskawka” czy „9.11 vs 9.9”, wskazują, że model radzi sobie z tymi trudnymi zadaniami. Jednak niektórzy użytkownicy twierdzą, że Reflection został specjalnie dostrojony do odpowiedzi na te konkretne podpowiedzi.

W odpowiedzi na negatywne opinie, Shumer zamieścił wyjaśnienie na platformie X, mówiąc: „Szybka aktualizacja — ponownie załadowaliśmy wagi, ale nadal jest problem. Właśnie zaczęliśmy ponowne szkolenie, aby wyeliminować wszelkie możliwe problemy. Powinno być gotowe wkrótce.” Czy sceptycy są zbyt pochopni, nazywając Shumera oszustem? Może wydanie było po prostu źle obsłużone i Reflection 70B naprawdę jest przełomowym modelem open-source. A może to kolejny przykład szumu AI, mającego na celu pozyskanie kapitału od inwestorów szukających kolejnej wielkiej rzeczy w AI.

Cóż, będziemy musieli poczekać jeszcze jeden lub dwa dni, aby zobaczyć, jak sytuacja się rozwinie.

Źródło