Token (IA)

Um token é a unidade mais pequena em que um modelo de linguagem divide o texto, normalmente uma parte de palavra, uma palavra inteira curta ou um sinal de pontuação. Os modelos de IA processam a linguagem token a token. O número de tokens influencia quanto custa um pedido de IA e quanto texto um modelo consegue processar de uma só vez.

O que é um token?

Antes de um Large Language Model processar texto, divide-o em tokens. Um token é um bloco de linguagem, muitas vezes uma parte de palavra. Como regra prática, um token corresponde, em inglês, a cerca de quatro caracteres ou aproximadamente três quartos de uma palavra; em português, as palavras mais longas e com flexões tendem a ser divididas em mais tokens. A palavra «atendimento» pode, assim, consistir em vários tokens, consoante o modelo.

A IA lê os tokens da entrada e gera a resposta igualmente token a token. Os tokens são, por isso, a verdadeira moeda em que os modelos de linguagem calculam.

Porque é que os tokens são importantes

Os tokens têm três consequências práticas:

• Custos. A maioria dos fornecedores de IA cobra por token processado. Entradas longas e respostas longas custam mais.
• Velocidade. Mais tokens significam mais trabalho de cálculo e, por isso, tempos de resposta ligeiramente mais longos.
• Limite. Cada modelo tem uma janela de contexto, ou seja, um número máximo de tokens que consegue considerar em simultâneo.

Exemplo

Se um cliente envia uma pergunta curta de 20 palavras, isso são, grosso modo, 30 a 40 tokens. Se o sistema acrescentar ainda um longo histórico de conversa e vários documentos da base de conhecimento, podem rapidamente tornar-se vários milhares de tokens. Por isso, os bons sistemas selecionam de forma direcionada apenas as passagens relevantes, em vez de enviar tudo.

Tokens e a SendSeven

A SendSeven é uma plataforma de mensagens unificada com um assistente de IA integrado. Para que as respostas se mantenham rápidas e certeiras, o método RAG não envia ao modelo toda a sua base de conhecimento, mas apenas as passagens adequadas à pergunta. Isso mantém o consumo de tokens baixo e as respostas relevantes. Como configurar o assistente de IA mostra o guia do bot de apoio com IA. Em conformidade com o RGPD, Made in Germany. Experimente 14 dias gratuitamente.