Marcin Piotrowski
software engineer
☰ Menu

Tokenizery w modelach językowych - praktyczne porównanie

NLP tokenization transformers LLM BERT GPT

Praktyczny przewodnik po tokenizerach w dużych modelach językowych. Porównanie BERT, GPT-4, GPT-2, T5, StarCoder i XLM-RoBERTa na przykładach wielojęzycznych oraz budowa własnego tokenizera od podstaw.

Czytaj więcej →