Powstał mały, ale bardzo wydajny model językowy

Chodzi o Phi-2 – mały model językowy umożliwiający bardziej uproszczone rozumowanie i zrozumienie języka, które jest w stanie przetwarzać 2,6 mld parametrów, czyli dwa razy tyle co wcześniejsza wersja tego rozwiązania, nosząca nazwę Phi-2 Phi-1.5. Pomimo swojej kompaktowości, Phi-2 sprawuje się naprawdę dobrze w porównaniu modelami SLM przetwarzającymi kilkakrotnie razy więcej parametrów, zostawiając zdecydowanie w tyle takie modele, jak Llama-2 i Mistral, czy nawet Gemini Nano 2 (Google).

Podczas szkolenia Phi-2, Microsoft dobierał bardzo selektywnie dane, reprezentujące jak to określono podręcznikową wiedzę. Dopiero w kolejnym kroku Microsoft rozszerzył bazę danych, dodając do niej starannie wyselekcjonowane dane internetowe, które przefiltrowano pod kątem wartości edukacyjnej i jakości prezentowanych przez nie treści.

Zobacz również:

Podsumowując można powiedzieć, że SLM jest bardzo opłacalną alternatywą dla modelu LLM. Udowadnia, że mniejsze modele są również przydatne, gdy są używane do zadań, które nie są na tyle wymagające, aby wymagały mocy oferowanej przez modele LLM. Co więcej, moc obliczeniowa wymagana do obsługi modeli SLM jest znacznie mniejsza niż w przypadku modeli LLM. Zmniejszone wymagania oznaczają, że użytkownicy nie muszą koniecznie inwestować w drogie procesory graficzne, aby zaspokoić swoje potrzeby w zakresie przetwarzania danych. Dlatego wydaje się, że model Phi-2 jest strzałem w dziesiątkę, który umocni pozycję Microsoftu na rynku generatywnych modeli AI.

Zgłoś naruszenie/Błąd