Бенчмаркинг: как сравнивают L… | Лучшие подкасты на русском языке

Бенчмаркинг: как сравнивают LLM

08.10.2024 5048

Доктор технических наук Владимир Крылов рассказал о бенчмарках для LLM. 

Вы узнаете:

🔸 какие бенчмарки для определения лучших моделей сейчас наиболее типичны;

🔸 как применяется шахматный рейтинг ELO для бенчмаркинга;

🔸 что такое Leaderboard Arena;

🔸 какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM. 

Подписывайтесь на наш подкаст!

Ничего не играет
00:00 / 00:00