Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО, рассказывает о важной ступени конвейера обработки данных в генеративных предобученных трансформерных моделях – преобразования последовательности входных данных в последовательность токенов.
Вы узнаете:
- что такое токены;
- как работает токенизатор;
- почему входной поток данных трансформера перед эмбеддингом представляют токенами, а не символами или словами;
- как конструируются токены в больших мультимодальных моделях, работающих с изображениями и аудиопотоками.
Подписывайтесь на наш подкаст!

