¿Cuántas palabras es un token?

Como orden de magnitud: un token equivale a unas tres cuartas partes de una palabra en inglés, o unos cuatro caracteres. Un texto de 1000 palabras en inglés pesa, por lo tanto, alrededor de 1300 tokens. La mayoría de los demás idiomas cuestan más, porque sus palabras acentuadas y sus flexiones están peor cubiertas por vocabularios que históricamente se optimizaron para el inglés.

¿Todos los modelos de IA dividen el texto de la misma manera?

No: cada familia de modelos tiene su propio tokenizador — los modelos recientes de OpenAI usan un vocabulario de unas 200 000 entradas (nombre en clave “o200k”), el de Llama divide distinto. El mismo texto no tiene, por lo tanto, el mismo número de tokens de un modelo a otro. De ahí el valor de comprobarlo con la herramienta del proveedor que realmente uses.

¿Qué pasa cuando cometo un error de ortografía?

La palabra mal escrita no existe en el vocabulario, así que el algoritmo la divide en fragmentos más pequeños — a veces letra por letra. El modelo ve entonces una secuencia inusual, pero como se cruzó con millones de errores de tipeo durante su entrenamiento, suele “reparar” el sentido sin esfuerzo. Simplemente consume algunos tokens más.

¿Los emojis cuentan como tokens?

Sí, y a veces como varios: un emoji se registra, del lado de la máquina, como una pequeña secuencia de bloques elementales, y los menos comunes se dividen en dos o tres tokens. Lo mismo ocurre con los caracteres chinos o japoneses y con los alfabetos raros. Es una consecuencia directa de la división por frecuencias: lo que es raro en el corpus de entrenamiento se paga en fragmentos.

¿Cómo puedo reducir mi factura de tokens?

Cuatro palancas concretas: prompts más concisos (cada palabra repetida se factura), un historial de conversación podado en lugar de enviado completo, respuestas acotadas (las API ofrecen un parámetro, max_tokens, que corta la salida en la longitud que elijas) y el prompt caching cuando reenvías el mismo contexto — formidable contra los preámbulos repetitivos. Y si atiendes a usuarios multilingües, presupuesta que el texto que no está en inglés cuesta más.

¿Puedo ver los tokens de mi propio texto?

Sí, en un clic: OpenAI ofrece un tokenizador en línea (platform.openai.com/tokenizer) que colorea cada token de tu texto y los cuenta. Es la mejor manera de construir una intuición — pega una frase, una palabra mal escrita y un emoji, y las tres primeras secciones de este artículo se ilustrarán solas ante tus ojos.

Tokens de IA: cómo un modelo divide tu texto

Desde el comienzo mismo de “La inmersión” vengo repitiendo que una IA no lee ni tus letras ni tus palabras, sino “tokens” — y ahora te debo la explicación completa. Bienvenido al Nivel 3, el nivel del diccionario secreto. Hoy vas a descubrir cómo se divide realmente tu texto, por qué esa división fue aprendida en vez de decidida, por qué te cuesta dinero si usas estos modelos en tus proyectos, y por qué la inocente “strawberry” se convirtió en la novatada favorita de las IA. En el frente matemático subimos un escaloncito por encima de las probabilidades del Nivel 2: lo único que necesitarás es saber contar frecuencias. Vamos, descendemos.

Lo esencial

El vocabulario de un modelo reciente contiene unos 200 000 tokens; cada token tiene un número, y ese número es lo que la máquina manipula.
1 token ≈ ¾ de una palabra en inglés ≈ 4 caracteres — es la regla práctica de la propia OpenAI; el inglés es el idioma más barato de tokenizar — el francés, el alemán o el japonés cuestan más para el mismo significado.
La división no la decidió un humano: fue aprendida contando frecuencias (el algoritmo Byte Pair Encoding, BPE).
Las API de IA (el acceso para desarrolladores a los modelos) facturan por millón de tokens, y la “memoria” de una conversación (la ventana de contexto) se cuenta en tokens.
Puedes visualizar la división de cualquier texto con el tokenizador de OpenAI — el compañero ideal de este artículo.

¿Por qué las IA no leen simplemente palabras?

Porque las dos opciones obvias son malas las dos. Leer letra por letra vuelve los textos interminables de procesar: cada frase se convierte en una secuencia larguísima. Leer palabra por palabra exige un diccionario infinito: nombres propios, errores de tipeo, palabras nuevas, idiomas extranjeros… El token es el compromiso aprendido entre ambos extremos.

Hagamos concreto el dilema. Si el modelo leyera letras, “Why is the sky blue?” serían 20 caracteres — letras, espacios y puntuación — que procesar uno por uno — y nuestro bucle del Nivel 1, que lo recalcula todo en cada unidad, se volvería desesperadamente lento. Si el modelo leyera palabras completas, ¿qué haría con “Wooordpress” y sus tres oes, con un nombre de usuario como “xXDragon_87Xx”, o con el nombre de una molécula? Un diccionario de palabras es o infinito o lleno de agujeros — y un modelo que cae en un agujero es un modelo mudo.

El token resuelve ambos problemas: las palabras frecuentes (“the”, “house”, “cat”) se ganan su propia entrada completa, y todo lo demás se divide en fragmentos reutilizables.

Nada es jamás ilegible: en el peor de los casos, el algoritmo recurre a las letras una por una.

¿Cómo construye el diccionario el algoritmo BPE?

Contando, con paciencia. Pero antes de contar hace falta algo en qué contar: el corpus de entrenamiento es la inmensa biblioteca de textos muy reales — páginas web, libros, artículos de prensa, código — que los creadores de un modelo reúnen para construirlo. Ahí es donde el Byte Pair Encoding hace su recuento (propuesto para la traducción automática por Sennrich y sus colegas, impulsa la mayoría de los grandes modelos desde entonces). Su receta cabe en una línea: parte de caracteres sueltos, encuentra el par de vecinos más frecuente, suéldalo en un fragmento nuevo, vuelve a empezar — decenas de miles de veces.

Es el único mecanismo nuevo de este nivel, así que desplegémoslo de verdad. Un corpus real pesa terabytes — el equivalente a millones de libros; reduzcamos el nuestro a una sola frase, para poder contar a mano: “the cat naps by the catnip” (“el gato dormita junto a la hierba gatera”).

Al principio, todo son caracteres aislados. El algoritmo cuenta entonces cada par de vecinos: “t+h” aparece 2 veces (los dos “the”), “h+e” 2 veces, “c+a” 2 veces (“cat”, “catnip”), “a+t” 2 veces — todos los demás, solo una. Cuatro pares empatan; suelda uno, digamos “c+a”, que se convierte en el fragmento “ca” en todas partes. Vuelve a contar: “ca+t” sale adelante, nueva fusión, y “cat” entra en el diccionario. Ese es todo el secreto — contar, soldar, recontar. (Los empates, inevitables con seis palabras, son rarísimos sobre una biblioteca entera.)

BPE sobre un corpus de juguete: sin reglas gramaticales, sin lingüistas — nada más que frecuencias. El fragmento “cat”, compartido por “cat” y “catnip”, emerge por sí solo.

Lo más llamativo de este algoritmo es su ignorancia: no sabe qué es una palabra, una sílaba o un idioma — cuenta, y la estructura del lenguaje emerge del conteo. Aplicado a terabytes de texto real, BPE redescubre nuestros prefijos (“anti-”, “re-”), nuestros sufijos (“-tion”, “-ing”), nuestras palabras comunes enteras, y los trozos más útiles de decenas de idiomas. Es un anticipo del gran tema de la serie: nadie programa el conocimiento de estas máquinas — programamos métodos para que emerja.

¿Cómo se ve tu texto, tal como lo ve la IA?

Como una secuencia de fragmentos numerados, con algunas sorpresas: los espacios pertenecen a los tokens (“cat” y “·cat” — el punto medio · representa el espacio — son dos entradas distintas), las mayúsculas y los acentos cambian la división, y dos frases de la misma longitud pueden costar el doble una que la otra.

Toma la frase “I love the strawberries from my garden” (“me encantan las fresas de mi jardín”). Vista por el tokenizador, se ve así:

Lo que el modelo ve de verdad: ocho números. “strawberries” no existe como un bloque — es “·straw” + “berries”. Pruébalo en el tokenizador de OpenAI; la división real varía de un modelo a otro.

Tres detalles de este diagrama merecen el desvío. El espacio no es un separador, es parte del token: “·garden”, con su espacio inicial. Las mayúsculas lo cambian todo: “Hello”, “hello” y “HELLO” son tres divisiones distintas — una de las razones por las que un texto TODO EN MAYÚSCULAS puede manejarse un poco peor. Y “strawberries” está en dos trozos, lo que nos lleva a la novatada prometida.

¿Por qué ChatGPT no logra contar las letras de “strawberry”?

Porque no ve ninguna letra. “strawberry” — “fresa” en inglés — le llega como uno o dos bloques numerados — fichas opacas. Contar las “r” ahí dentro es como preguntarte cuántas pinceladas hay en un cuadro que solo has visto en foto: la información existe río arriba, pero no en lo que llega a tus ojos.

Esta es LA respuesta que te debo desde el Nivel 1. Cuando la pregunta “how many r’s in strawberry?” (“¿cuántas erres hay en strawberry?”) dio la vuelta al mundo — hay tres, y los mejores modelos se empeñaban en encontrar dos —, todo el mundo se rio de la “estupidez” de las IA — cuando en realidad revela su arquitectura. El modelo nunca tuvo acceso a las letras: pedirle que cuente letras es interrogarlo sobre una realidad que literalmente jamás ha visto. Si aun así suele responder bien, es porque ha leído textos que hablan de cómo se escriben las palabras — conocimiento de segunda mano, como el tuyo sobre las pinceladas de la Mona Lisa.

La misma explicación ilumina toda una familia de tropiezos: escribir palabras al revés, contar sílabas, hacer anagramas, ceñirse exactamente a un número de caracteres impuesto. Cada vez que veas a una IA tropezar con un juego de letras, ya podrás susurrar: los tokens.

¿Por qué los tokens te cuestan dinero?

Porque el token es la unidad de cuenta del mundo de la IA: los proveedores no facturan ni por palabra ni por página, sino por token procesado — tanto los que envías al modelo (el “input”) como los que genera (el “output”), tarifados por millón. Y como el modelo relee el intercambio entero antes de cada palabra — es el bucle del Nivel 1 —, la “memoria” de una conversación, llamada ventana de contexto, también se mide en tokens; volvemos a ella al final de esta sección.

Aquí es donde el tema deja atrás la curiosidad y llega a la billetera, y hablo por experiencia: mis propias herramientas conversan con estos modelos a través de su API — el acceso directo que los proveedores venden a los desarrolladores, saltándose aplicaciones como ChatGPT — y la factura de fin de mes es literalmente un contador de tokens. Me enseñó cuatro reflejos que te transmito:

Recorta los prompts repetitivos. Un preámbulo verboso enviado mil veces al día es un presupuesto derritiéndose para nada.
Acota las respuestas. El output cuesta más que el input — las tarifas vienen justo abajo: “responde en tres frases” también es una instrucción de costo.
Abre una conversación nueva cuando cambies de tema. Una conversación interminable cuesta más con cada mensaje — enseguida verás por qué.
Vigila el idioma. Si me lees en español, no estás jugando en el modo más fácil: este sitio vive en varios idiomas y, a instrucciones idénticas, mis prompts en francés consumen sistemáticamente bastantes más tokens que sus equivalentes en inglés — el vocabulario, tallado sobre corpus mayoritariamente anglófonos, favorece al inglés. El inglés es el idioma más barato de tokenizar; el francés, el alemán o el japonés pagan un recargo por el mismísimo significado — conviene saberlo antes de presupuestar un producto multilingüe.

Ese recargo se puede medir. Traigamos de vuelta al gato del Nivel 2 en una frase inglesa de veinte palabras — “The cat fell asleep on the old radiator because the living room was cold and the couch was already taken” (“el gato se durmió sobre el viejo radiador porque la sala estaba fría y el sofá ya estaba ocupado”) — y pasemos sus variantes por el tokenizador:

La misma frase de veinte palabras, en tokens (órdenes de magnitud)	Tokens
La versión original en inglés	~26
Su traducción al francés	~35
Su traducción al japonés	~40
La versión en inglés plagada de errores de tipeo	~45

¿Cuánto cuestan esos tokens? Toma una tarifa pública real, la de Claude Sonnet, el modelo de gama media de Anthropic — uno de los grandes proveedores; los órdenes de magnitud son comparables entre competidores. A mediados de 2026: 3 dólares por millón de tokens de input, 15 dólares por millón de tokens de output — generar cuesta cinco veces más que leer, de ahí el reflejo de “acota las respuestas”. A esa tarifa, hacer que el modelo lea este artículo entero sale a un centavo; un ladrillo como El conde de Montecristo, a dos dólares en su traducción inglesa — y a unos dos y medio en el original francés: el recargo del francés en acción.

Una trampa, eso sí: esos dólares no se pagan de una vez por todas. Cada respuesta nueva vuelve a pasar el intercambio completo por el input — novela incluida. Haz diez preguntas sobre Montecristo en la misma conversación, y el libro se refactura diez veces. Los proveedores lo suavizan con el “prompt caching” — los tokens ya vistos se refacturan a una fracción del precio, alrededor de un décimo en Anthropic —, pero el reflejo de la conversación nueva conserva todo su sentido.

Queda la ventana de contexto, prometida al inicio de esta sección. Es el techo de esa memoria: todo tu intercambio — preguntas, respuestas, documentos pegados — debe caber dentro de un presupuesto de tokens fijado por el modelo. Los modelos de ventana grande de hoy aceptan hasta un millón de tokens — suficiente para contener todo Montecristo; los más compactos, mucho menos.

¿Y qué pasa si la conversación desborda de todos modos? El comienzo del intercambio se cae de la ventana en silencio. Si una conversación larga parece “olvidar” tus primeras instrucciones, no es distracción: es un presupuesto de tokens agotándose.

¿En qué punto está la inmersión?

Tres niveles explorados: el viaje de tu mensaje, la lotería de las probabilidades y ahora la división en tokens. Comprobemos el medidor antes de continuar el descenso.

Tres niveles, y ya suficiente para explicar la mitad de las rarezas de las IA a tus amigos y familiares. El resto del descenso se adentra en la maquinaria interna.

¿Listo para descender al Nivel 4?

Recapitulemos: tu texto se convierte en una secuencia de fragmentos numerados, divididos por un algoritmo que aprendió su diccionario contando frecuencias. Ni letras, ni palabras: tokens — y por eso las IA hacen malabares con ensayos enteros pero tropiezan con “strawberry”.

Pero admite que queda un misterio, y es enorme: el token “·garden” lleva el número 20 890. Un número. ¿Cómo demonios puede un número “saber” que un jardín está más cerca de una huerta que de un embotellamiento? Ese es el tema del Nivel 4, los embeddings — el nivel donde los números empiezan a llevar significado, con el descubrimiento más famoso del campo: rey − hombre + mujer ≈ reina. El artículo llega la próxima semana.

Mientras tanto, juega con el tokenizador de OpenAI, y si te unes a la serie sobre la marcha, empieza por el Nivel 1. Los comentarios están abiertos, con espíritu de apertura y amabilidad — tus preguntas alimentan los próximos niveles.

– blaminhor