¿Qué es Token?
Unidad mínima de texto que procesa un LLM — aproximadamente 4 caracteres o tres cuartos de palabra en español.
Los LLMs no leen letra por letra ni palabra por palabra: dividen el texto en tokens (fragmentos de subpalabras) y procesan esas unidades. El costo de usar la mayoría de APIs de IA se calcula por tokens de entrada y salida.
Saber cuántos tokens usas ayuda a estimar costos y a no exceder la ventana de contexto del modelo.
Los modelos no leen letras ni palabras completas, sino tokens: fragmentos de texto que pueden ser una palabra, parte de una palabra o un signo. Una palabra larga o poco común puede ocupar varios tokens.
Importa por dos motivos prácticos: los proveedores cobran por tokens de entrada y de salida, y la ventana de contexto se mide en tokens. En español suelen hacer falta algo más de tokens que en inglés para el mismo contenido.
Preguntas frecuentes
¿Cómo cuento los tokens de un texto?
Los proveedores ofrecen herramientas para contarlos (tokenizadores) y la propia API devuelve cuántos usaste en cada llamada.
¿Por qué importan los tokens?
Porque determinan el coste de cada llamada y cuánto texto cabe en la ventana de contexto.
Términos relacionados
Siguiente paso: curso de prompting y modelos de IA.