¿Cuántas dimensiones tiene un embedding?

De unos cientos a varios miles, según el modelo: 300 para los embeddings históricos de word2vec, 12 288 para GPT-3, 4 096 para Mistral 7B, 16 384 para Llama 3.1 405B de Meta. Más dimensiones significa más matices posibles — pero también más cálculo por cada palabra generada.

¿Los embeddings son iguales de una IA a otra?

No. Cada modelo aprende los suyos durante el entrenamiento, y dos modelos colocan las palabras de forma distinta en sus espacios respectivos — las coordenadas de “gato” en OpenAI no tienen nada que ver con las de Claude. Lo que sí se parece de un modelo a otro es la estructura de conjunto: los vecindarios y las grandes direcciones del significado.

¿Se puede recuperar el texto original a partir de un embedding?

No directamente: es una compresión con pérdida, sin marcha atrás incluida. Pero la investigación en “inversión de embeddings” (Vec2Text, Morris et al. 2023 — arxiv.org/abs/2310.06816) reconstruye buena parte del texto — hasta el 92% de las frases cortas recuperadas palabra por palabra. Así que trata tus embeddings como datos sensibles, no como números anónimos.

¿Se puede visualizar un espacio de 12 000 dimensiones?

No, y nadie puede: más allá de tres dimensiones, nuestra intuición visual se rinde. Los mapas 2D que usamos (incluidos los de este artículo) son proyecciones — sombras aplanadas que preservan los vecindarios lo mejor que pueden, a costa de distorsiones. Útiles para la intuición, pero ten presente que el original es inmensamente más rico.

¿Una palabra conserva siempre el mismo embedding?

Al inicio, sí: el token “banco” tiene una sola entrada en la tabla. Pero en los modelos modernos, ese embedding inicial se refina después con el contexto de la frase, capa tras capa — así que “banco” termina con coordenadas distintas en “me senté en un banco de la plaza” y en “el banco rechazó mi tarjeta”. Ese refinamiento es el mecanismo de atención, nuestro Nivel 6.

Embeddings de IA: cuando los números cobran sentido

En el Nivel 3, dejamos la inmersión sobre un misterio que te debo: el token “·jardín” lleva el número 20 890 — un simple número de entrada en un diccionario. ¿Cómo puede un número “saber” que un jardín se parece a un huerto, que ahí crecen fresas (enteras, esta vez) y que no tiene nada que ver con un embotellamiento? Te doy la bienvenida al Nivel 4: el nivel de los embeddings, donde el significado se vuelve literalmente geometría. Es también el nivel del contrato que hice contigo desde el primer artículo: al final de este, tendrás un modelo mental preciso de lo que es una IA — más preciso que la gran mayoría de lo que se escribe sobre el tema. En el frente matemático, subimos un escalón, con suavidad: coordenadas, como en un mapa.

Lo esencial

Un embedding = una lista de números = las coordenadas de un punto; cada token del vocabulario tiene el suyo.
Estos espacios tienen de cientos a miles de dimensiones (12 288 para GPT-3, 16 384 para Llama 3.1 405B).
La posición no se programa: se aprende durante el entrenamiento, observando qué palabras se usan en los mismos contextos.
El descubrimiento fundacional (word2vec, 2013): las direcciones del espacio codifican relaciones — género, capitales, tiempo verbal.
Los embeddings sirven mucho más allá de los chatbots: búsqueda semántica, recomendaciones, detección de duplicados, RAG.

¿Cómo puede un número de token transportar significado?

No puede — ese es todo el problema. El número 20 890 es arbitrario: el token 20 891 no tiene ninguna razón para ser su primo. La solución de los investigadores: reemplazar cada número por una ficha de características numéricas, una lista de números que describe al token — y esa lista es el embedding.

El ejemplo, dibujado: la posición sobre el suelo da “vivo” y “comestible”, la altura del tallo da “grande”. El parentesco se mide entre los marcadores — 0.92 entre “gato” y “fresa”, 1.14 entre “gato” y “camión”.

Los embeddings reales hacen exactamente eso, con dos diferencias de escala. Primero, no son tres ejes sino miles — 12 288 dimensiones para GPT-3 (OpenAI, 2020), 4 096 para Mistral 7B (Mistral AI, 2023), 7 168 para DeepSeek-V3 (DeepSeek, 2024), 16 384 para Llama 3.1 405B (Meta, 2024). Los modelos cerrados recientes — GPT-4, Claude, Gemini — ya no publican esa cifra, pero el orden de magnitud es el mismo: suficiente para codificar matices que nuestras tres preguntas ingenuas aplanan. Segundo — y este es el punto clave: nadie elige los ejes. Ningún humano decretó jamás un eje “comestible”. Las dimensiones emergen del entrenamiento, y la mayoría no corresponde a ningún concepto nombrable — volveremos a eso más abajo.

¿Cómo es el mapa del significado?

Como las constelaciones: las palabras de una misma familia semántica forman grupos — los animales juntos, los vehículos juntos, los lugares donde crecen las cosas juntos. Aquí tienes una proyección en dos dimensiones, la sombra muy aplanada de un espacio que tiene miles:

Cada palabra es un punto; el parentesco de significado es una distancia. Este mapa 2D es una sombra simplificada de un espacio con varios miles de dimensiones — las posiciones son ilustrativas.

Tómate un segundo para apreciar lo que logra este diagrama: “cerca” y “lejos” — nociones puramente geométricas — han empezado a significar “sinónimo” y “sin relación”. Cuando una IA “entiende” que tu pregunta sobre plantas de fresa pertenece a la jardinería, no ocurre nada místico: hay puntos que son vecinos en un espacio. El token n.º 20 890 sigue sin saber nada; pero su posición lo dice todo.

Rey − hombre + mujer ≈ reina: ¿qué dice realmente esta ecuación?

Que las relaciones entre palabras son direcciones del espacio. El desplazamiento que lleva de “hombre” a “rey” — llámalo “tomar la corona” — es casi el mismo que el que lleva de “mujer” a “reina”. En 2013, el equipo de word2vec demostró que se podía hacer esta aritmética con palabras, y el campo entero cambió.

La relación “convertirse en monarca” es una dirección del espacio, reutilizable de un par de palabras al siguiente. Ese es el descubrimiento de word2vec (Mikolov et al., 2013).

Y no se detiene en la realeza. Las mismas flechas existen para las capitales — parte de “París”, resta “Francia”, suma “Italia”: aterrizas cerca de “Roma”. Para el tiempo verbal: “caminó” es a “caminar” lo que “cantó” es a “cantar”. Para los tamaños, los femeninos, las nacionalidades… El espacio no solo ordenó las palabras por familia: alineó las relaciones mismas, sin que nadie se lo pidiera.

Esta aritmética no es infalible — de ahí el “≈” que me obligo a escribir. Falla en las relaciones raras, y los embeddings también heredan las asociaciones dudosas de sus corpus (sesgos bien documentados — volveremos a ellos en el Nivel 8). Pero como intuición de lo que significa “entender” para una máquina, nada la ha igualado jamás.

¿Quién decide dónde se ubica cada palabra?

Nadie — y eso es lo más vertiginoso. Las coordenadas son parámetros del modelo, ajustados millones de veces durante el entrenamiento para mejorar la predicción de la siguiente palabra. Las palabras intercambiables en las frases terminan mecánicamente siendo vecinas: el mapa se organiza solo.

El mecanismo descansa sobre una observación que los lingüistas hicieron mucho antes que las máquinas: conocerás una palabra por las compañías que frecuenta. “Café”, “té” y “jugo” aparecen en las mismas frases — “tomo un ___ por la mañana”, “una taza de ___”, “este ___ está demasiado caliente”. A un modelo entrenado para predecir la palabra que falta le conviene entonces darles coordenadas cercanas: lo que aprenda sobre una le servirá para las otras.

Queda una sola cosa por ver: uno de esos famosos ajustes en acción. El primer día del entrenamiento, las coordenadas se sortean al azar: el mapa es una nube sin forma, donde “té” podría estar entre “camión” y “celos”. El modelo lee “tomo un ___ por la mañana”, adivina a ciegas — digamos “farol”, nada se lo impide todavía — y luego descubre la respuesta correcta. La corrección es inmediata y minúscula: las coordenadas que contribuyeron al intento fallido se desplazan un pelo, en la dirección que habría hecho a “té” un poco más creíble. Eso es todo — un punto que se desliza imperceptiblemente por el mapa. Pero multiplica ese gesto por billones de frases, y las bebidas se agrupan, las profesiones se agrupan, las emociones se agrupan — el mapa del significado emerge del simple hecho de ser útil para la predicción. En cuanto a cómo la máquina calcula la dirección y el tamaño de cada empujoncito — hacia dónde deslizar, y cuánto —, esa es la gran historia del Nivel 7.

¿Recuerdas el Nivel 3, donde BPE descubría nuestros prefijos con solo contar? La misma filosofía, un piso más arriba: no programamos el conocimiento, programamos las condiciones para que emerja.

¿Cómo se ven los embeddings en la vida real?

Como el bloque de construcción más reutilizado de toda la IA moderna. Cada vez que te cruzas con un buscador que entiende lo que quisiste decir, una sugerencia pertinente o una lista de “artículos similares” que da en el blanco, lo más probable es que haya embeddings trabajando tras bambalinas.

Un ejemplo concreto en el que me apoyo a diario, como constructor de sitios web: en SEO, una trampa silenciosa y subestimada se llama canibalización — dos artículos que, sin saberlo, apuntan a la misma intención de búsqueda. Crees que estás ganando dos lugares en Google; en realidad lo obligas a dudar entre tus dos páginas, diluyes sus señales, y ninguna posiciona tan alto como lo haría una sola página sólida. Comparar los embeddings de mis temas me da un detector: si dos títulos de mi lista de artículos tienen puntos demasiado cercanos en el espacio, están contando la misma historia — y me conviene fusionar en lugar de publicar dos veces. Buscar por significado en lugar de por palabras clave: exactamente la promesa de este nivel, cumplida.

Similitud entre dos textos (ilustrativa, de 0 a 1)	Puntaje
“zapatillas para correr” ↔ “tenis para hacer jogging”	0.91
“receta de tarta de fresas” ↔ “postre con frutas del jardín”	0.74
“receta de tarta de fresas” ↔ “cancelar un plan de celular”	0.08
“el gato duerme” ↔ “el felino dormita”	0.88
“el gato duerme” ↔ “the cat is sleeping”	0.85

La última fila de la tabla merece una pausa: los modelos multilingües colocan “el gato duerme” y su traducción al inglés en el mismísimo lugar del espacio. El punto no codifica palabras: codifica una idea — el idioma se convierte en apenas un disfraz.

¿En qué punto va la inmersión?

¡Mitad del camino! El contrato del Nivel 1 está cumplido: ya tienes un modelo mental preciso. La segunda mitad desciende a la sala de máquinas.

¿Todo listo para bajar al Nivel 5?

Hagamos balance del modelo mental, porque la parte de la “materia prima” ya está completa: tu texto se convierte en tokens (Nivel 3), cada token se convierte en un punto de un espacio donde la geometría transporta el significado (este nivel), y un bucle predice la siguiente palabra produciendo probabilidades (Niveles 1 y 2). Ya sabes qué entra, qué circula y qué sale. Solo falta el motor.

Porque entre el embedding que entra y la probabilidad que sale, algo sucede — el “gran cálculo” que vengo dibujando como una caja azul desde el Nivel 1. En el Nivel 5, por fin la abrimos: conocerás la neurona artificial, sus pesos, sus capas — y la primera ecuación de verdad de la serie, tan simple que te preguntarás por qué todo el mundo arma tanto alboroto con ella. El artículo llega la próxima semana.

Si te unes a la serie sobre la marcha, todo empieza en el Nivel 1, el viaje de tu mensaje. Y los comentarios siguen abiertos, con espíritu de apertura y amabilidad — varias preguntas de lectores ya han remodelado los niveles por venir.

– blaminhor