En el mundo de los Modelos de Lenguaje Extensos (LLM), el texto no se procesa como palabras o caracteres, sino como 'tokens'. Un token puede ser un solo carácter, una parte de una palabra o una palabra entera. Por ejemplo, la palabra 'manzana' podría ser un token, mientras que una palabra más compleja como 'tokenización' podría dividirse en varios. Entender los tokens es crucial para cualquier persona que trabaje con IA, ya que impacta directamente tanto en el costo de usar estos modelos como en la cantidad de información que pueden 'recordar' a la vez, conocida como la ventana de contexto.

La mayoría de los proveedores de IA, incluidos OpenAI, Anthropic y Google, cobran según la cantidad de tokens procesados. Además, cada modelo tiene un 'límite de contexto' estricto. Si su prompt más la respuesta del modelo excede este límite, el modelo 'olvidará' el comienzo de la conversación. Al contar los tokens antes de enviar un prompt, puede optimizar sus costos y asegurarse de que el modelo tenga suficiente espacio para proporcionar una respuesta coherente y de alta calidad. Esto es especialmente importante para la generación de contenido de formato largo, el análisis de código y el procesamiento de datos complejos.

Si bien cada familia de modelos utiliza un 'tokenizador' ligeramente diferente, existen reglas generales. En inglés, 1,000 tokens equivalen aproximadamente a 750 palabras. Sin embargo, esta relación cambia significativamente para otros idiomas. Para los idiomas eslavos como el ucraniano, la relación carácter-token es mucho menor, lo que significa que el mismo texto consumirá más tokens. Nuestro Contador Universal de Tokens utiliza una fórmula de estimación de alta precisión: aproximadamente 4 caracteres por token para el inglés y 2.5 para los idiomas eslavos, proporcionándole una base confiable para todos los principales modelos de IA.

Para proporcionar estimaciones precisas en diferentes familias de modelos, analizamos el recuento de caracteres y la estructura lingüística del texto de entrada. Para los modelos de OpenAI (GPT-4, GPT-4o), aplicamos una relación que refleja las codificaciones cl100k y o200k. Para Claude y Gemini, utilizamos una aproximación estandarizada basada en caracteres. Este procesamiento en el lado del cliente garantiza que sus datos nunca salgan de su navegador, manteniendo una privacidad del 100% mientras ofrece resultados instantáneos. También visualizamos su uso frente a ventanas de contexto comunes, como 128k o 1M de tokens, para ayudarle a planificar sus interacciones de IA de manera efectiva.