OpenAI Dev Day – nowości w API

Podczas wydarzenia Dev Day OpenAI nie zaprezentowało nowych modeli, ale wprowadziło funkcje API, które z pewnością ucieszą deweloperów pragnących tworzyć potężne aplikacje.

Ostatnie tygodnie nie były dla OpenAI łatwe – CTO firmy, Mira Murati, oraz kilku innych kluczowych pracowników dołączyło do rosnącej listy byłych pracowników. Firma staje w obliczu coraz większej presji ze strony konkurencyjnych modeli, w tym tych typu open-source, które oferują deweloperom tańsze i często równie skuteczne rozwiązania.

Nowe funkcje OpenAI obejmują Realtime API (w wersji beta), fine-tuning modeli wizualnych oraz narzędzia poprawiające wydajność, takie jak cache promptów oraz model distillation.

Realtime API
To najciekawsza nowość, choć wciąż w wersji beta. Umożliwia deweloperom tworzenie aplikacji przetwarzających mowę w czasie rzeczywistym, bez potrzeby korzystania z osobnych modeli do rozpoznawania mowy i zamiany tekstu na mowę.

Dzięki temu API można stworzyć aplikacje, które umożliwiają prowadzenie rozmów z AI w czasie rzeczywistym, np. asystenci głosowi czy narzędzia do nauki języków, wszystko za pomocą jednego wywołania API. Może nie dorównuje jeszcze zaawansowanemu trybowi głosowemu GPT-4o, ale jest blisko.

Jest jednak dość drogie – około 0,06 USD za minutę wejścia audio i 0,24 USD za minutę wyjścia.

Fine-tuning wizji
Ta funkcja pozwala deweloperom poprawić zdolność modeli do pracy z obrazami. Po dopracowaniu GPT-4o za pomocą obrazów, można tworzyć aplikacje, które świetnie radzą sobie z zadaniami, takimi jak wyszukiwanie wizualne czy rozpoznawanie obiektów.

Firmy, takie jak Grab, już wykorzystują tę funkcję, aby zwiększyć precyzję swoich usług mapowych, dopasowując model do rozpoznawania znaków drogowych na zdjęciach ulicznych.

Cache promptów  
W celu zwiększenia wydajności kosztowej, OpenAI wprowadziło cache promptów, które obniżają koszt i opóźnienie w przypadku często wykorzystywanych zapytań API. Reużywanie wcześniej przetworzonych danych pozwala zaoszczędzić nawet 50% kosztów i skrócić czas odpowiedzi.

Model distillation
Distillation pozwala na dopasowanie mniejszych i tańszych modeli na podstawie wyników większych, bardziej zaawansowanych modeli. Dzięki temu proces tworzenia datasetów, fine-tuningu i ewaluacji jest bardziej zorganizowany i efektywny.

OpenAI stara się przyciągnąć deweloperów wydajnością, niższymi kosztami i łatwiejszym procesem budowy aplikacji na bazie GPT-4o. Warto obserwować, jakie nowe zastosowania umożliwią te wielomodalne funkcje.