EPISODE · Dec 1, 2022 · 15 MIN
#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.
from Vida com IA · host Filipe Lauar
Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras. Instagram: https://www.instagram.com/podcast.lifewithai/ Linkedin: https://www.linkedin.com/company/life-with-ai Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary
NOW PLAYING
#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.
No transcript for this episode yet
Similar Episodes
No similar episodes found.