Фото до статті
Андрій Савчук
Автор новин
Китайська компанія ByteDance, творець соціальної мережі TikTok, активно втілює розробку моделей штучного інтелекту, покладаючись на власні ресурси, а не вдаючись до запозичення чужих рішень, як це часто роблять конкуренти.
Згідно з інформацією Reuters, фахівці ByteDance нині працюють над LLM-моделлю, що містить 10 трлн параметрів. У разі успішного завершення, це дозволить досягти показників передових моделей сімейства Claude.
Джерело зазначає, що хоча американський стартап Anthropic офіційно не оприлюднює подібні відомості, його найсучаснішій моделі Claude Mythos 5 приписують близько 8 трлн параметрів, а моделі Fable 5 — приблизно 5 трлн. Однак, кількість параметрів визначає обсяг даних, які модель здатна вмістити в «пам’яті», але сама по собі не є показником якості чи продуктивності моделі — вирішальну роль відіграють якість навчальних даних та методи навчання.
Для порівняння: китайська модель Kimi 3 від Moonshot оперує трохи менш ніж 3 трлн параметрів, хоча донедавна саме її вважали однією з найбільших у КНР.
Скільки часу піде на розробку
Інсайдери повідомляють, що ByteDance наразі перебуває на етапі попереднього навчання (претренінгу) моделі — цей процес зазвичай займає від трьох до шести місяців, і лише після фінального коригування модель буде готова до випуску.
Розробкою LLM-моделей у компанії займається значна команда — близько 2000 фахівців, розташованих як у Китаї, так і за його межами. Над створенням якісної моделі працюють програмісти, дослідники, спеціалісти з анотації даних та перекладачі.
Засновник компанії Чжан Імін регулярно наголошує серед співробітників, що тимчасове відставання не має суттєвого значення в контексті довгострокових планів створення власної потужної моделі штучного інтелекту. ByteDance висловлює сподівання, що завдяки їй компанія зможе не лише конкурувати з найкращими західними розробками, але й перевершити їх.
Нагадаємо, кілька тижнів тому ByteDance презентувала Seedance 2.5: відеомодель, здатну генерувати 30-секундні ролики у форматі 4K.
Головна > Новини > ByteDance розробляє гігантську LLM на 10 трлн параметрів, щоб наздогнати Claude