Токенизация данных: зачем и к… | Лучшие подкасты на русском языке

Токенизация данных: зачем и как?

03.09.2024 3838

Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО, рассказывает о важной ступени конвейера обработки данных в генеративных предобученных трансформерных моделях – преобразования последовательности входных данных в последовательность токенов.

Вы узнаете:

- что такое токены;

- как работает токенизатор;

- почему входной поток данных трансформера перед эмбеддингом представляют токенами, а не символами или словами;

- как конструируются токены в больших мультимодальных моделях, работающих с изображениями и аудиопотоками.

Подписывайтесь на наш подкаст!

Ничего не играет
00:00 / 00:00