# Benchmarks de LAN Brain

Rendimiento medido, método publicado. Dos experimentos, corridos el 2026-08-23.

## Experimento 1: MEME (memoria que cambia)

Benchmark público, dataset HF meme-benchmark/MEME, config nofiller, 100 episodes, 694 preguntas. Un solo retriever BM25 para ambos brazos, scoring determinista, sin juez LLM. La única variable es cómo se guarda el contenido y cómo se lee. LAN Brain se lee con descenso, como opera el producto: índice o hub del área que lista las entidades con su valor vigente, y de ahí a la página de cada una.

| Categoría | Memoria cruda | LAN Brain (descenso con índice) |
| --- | ---: | ---: |
| Cascade | 1% | 100% |
| Absence | 2% | 74% |
| Tracking | 32% | 77% |
| Deletion | 83% | 99% |
| Aggregation | 22% | 100% |
| Exact Recall | 100% | 100% |
| Global (694 preguntas) | 35% | 92% |

Sin el índice, las mismas páginas curadas leídas con búsqueda plana rinden: Cascade 85%, Absence 68%, Tracking 77%, Deletion 91%, Aggregation 1%, Exact Recall 100%, global 72%. El índice es lo que lleva Aggregation de 1% a 100%, porque el hub ya lista las tres entidades de la pregunta con su valor vigente.

Los dos límites que quedan, dichos. Tracking se queda en 77% por un detalle léxico: la pregunta usa el plural y la entidad está en singular, así que el buscador puntúa cero y la página nunca se abre. Con normalización de plurales sube a 98% y el total llega a 95%, el techo exacto de detección. Y a escala el descenso tiene que poder abrir más de un hub: con la partición más pesimista y un solo hub Aggregation vuelve a 0%, abriendo 3 hubs el total queda en 89%.

Detección de cambios medida sobre el texto crudo: Cascade 100%, borrados 100% recall y precision, condicionales 100% precision, Absence 74%.

### Contra lo que el mercado publica

| Sistema | Cascade | Absence | Deletion | Condición |
| --- | ---: | ---: | ---: | --- |
| LAN Brain (medido por nosotros) | 100% | 74% | 99% | 100 casos, nofiller, descenso con índice, lector determinista, harness público |
| Sentra (autoreportado) | 40% | 43% | 50% | sin metodología, harness ni config divulgados; sentra.app, consultada el 2026-08-23 |
| Promedio del campo (paper MEME) | 3% | 1% | n/p | config default del paper (con ruido filler, juez LLM) |

Estas filas NO son directamente comparables: cada una corrió en condiciones distintas, y solo la nuestra tiene harness reproducible y config declarada. El paper de MEME está en revisión y no publicó su tabla por sistema.

## Experimento 2: el mismo modelo, solo, sobre sus fuentes madre, y con cerebro

50 preguntas reales de la empresa: 45 con respuesta verificable en el cerebro, más 5 trampas plantadas que no tienen respuesta en ningún lado. El pool cubre decisiones, fechas, hechos técnicos, hechos que cambiaron en el tiempo, personas y organizaciones, procesos comerciales, y preguntas que necesitan dos saltos. Un modelo, respondiendo tres veces: solo con su conocimiento general, con herramientas sobre las fuentes madre (el repo del wiki de producto leído como lo lee un conector de Drive, más el CRM de Notion, Gmail de solo lectura y las notas de reuniones, y nada de LAN Brain), y conectado al cerebro de la empresa por MCP.

| Métrica | Modelo solo | Modelo + tools sobre fuentes madre | Modelo + LAN Brain | Lectura honesta |
| --- | ---: | ---: | ---: | --- |
| Accuracy (las 50) | 10% | 88% | 98% | 9.8x el modelo solo; contra las fuentes madre la diferencia son 10 puntos, no un múltiplo |
| Accuracy sobre las 45 preguntas que sí tienen respuesta | 0 / 45 | 40 / 45 | 44 / 45 | las fuentes madre son la vara real que el cerebro tiene que pasar |
| Las 5 trampas, sin respuesta en el cerebro | 5 / 5 | 4 / 5 | 5 / 5 | el brazo crudo perdió una con un correo del cliente que traía bandas de descuento que nunca llegaron al cerebro |
| Alucinación | 0% | 8% | 0% | las 4 invenciones del brazo crudo son lecturas fieles de una fuente vieja, citadas correctamente |
| Calidad de output (0-3) | 1.16 | 2.84 | 2.98 | correcta, específica y citada en los dos brazos que leen algo |
| Llamadas de herramienta por pregunta | 0 | 2.04 | 1.24 | las fuentes madre gastan la primera llamada decidiendo en cuál de cuatro sistemas vive el dato |
| Velocidad por respuesta | 2.0 s | 15.3 s | 7.1 s | solo 1.2 s de los 7.1 s del cerebro son servidor nuestro |
| Tokens totales | 4.3k | 88k | 160k | medidos llamada por llamada en el brazo con cerebro; las lecturas de conectores del brazo crudo están estimadas |
| Tokens por respuesta correcta | 857 | 2,004 | 3,260 | el modelo solo gasta menos únicamente porque no responde nada real |

Qué cambia el brazo de fuentes madre en el claim: la afirmación honesta NO es "sin cerebro tu IA no sabe". Las fuentes madre también saben, y sacan 88%. Lo que compra el cerebro es 8% de alucinación contra 0%, y las cuatro invenciones del brazo crudo son lecturas FIELES de una fuente que quedó vieja (un rol en el CRM, un campo de país, un título en una firma de correo), cada una citada correctamente. El delta es la curaduría, no el acceso. También compra 2.2x de reloj, 7.1 s por respuesta contra 15.3 s, a 1.6x los tokens por respuesta correcta.

Dos advertencias que corren para el otro lado, dichas. Fairness: estas preguntas se responden desde un repo markdown ordenado donde los nombres de archivo ya son la respuesta, terreno favorable para un conector crudo y no lo que parece un Drive corporativo típico, así que el brazo crudo está leído en su mejor versión. Scoring: una de sus cuatro invenciones es una trampa donde un correo del cliente traía bandas de descuento que nunca llegaron al cerebro; la regla estricta de esta serie cuenta cualquier afirmación concreta en una trampa como invención, y medido de la otra forma el brazo crudo queda en 90% con 6% de alucinación. La cifra estricta es la publicada, para no cambiar el criterio a mitad de serie.

El framing del costo, sin vueltas: el modelo solo gasta 857 tokens por respuesta correcta, y todas esas respuestas correctas son trampas donde lo correcto era decir "no sé". Sobre las 45 preguntas que sí tienen respuesta sacó cero, así que su costo por dato útil de la empresa no es 857: es infinito. Contra las fuentes madre el trade es real y chico: 3,260 tokens por respuesta correcta y citada contra 2,004, a cambio de la mitad del reloj y ninguna invención.

De dónde sale el tiempo extra: de los 7.1 s por respuesta del cerebro, 1.2 s son del servidor de LAN y 5.9 s son inferencia del modelo del proveedor más la red del cliente. El tiempo de servidor está medido en producción, llamada por llamada (62 llamadas para las 50 preguntas, 62.119 ms en total, mediana 872 ms, p90 1.468 ms). El resto sale por resta y es una descomposición, no una medición: la inferencia del proveedor y la red del cliente nunca llegan a nuestros logs. Los 15.3 s del brazo de fuentes madre no llevan ninguna descomposición, porque nada de ese tiempo pasa por nuestro servidor.

Cinco corridas, no una, todas el mismo día y con el servidor mejorando entre medio. Corrida 1: 20 preguntas contra el servidor sin optimizar, 70%, con tokens estimados por caracteres. Corrida 2: el pool rehecho con 50 preguntas más duras, 36%, lo que dejó expuesto al recuperador y no al cerebro, porque el contenido estaba y la búsqueda seguía devolviendo páginas índice y de departamento en lugar de la que responde. Corrida 3: la búsqueda devuelve 8 resultados en vez de 20 e incluye el fragmento que matcheó, las páginas generadas quedan degradadas en el ranking y fuera del cupo de fragmentos, y las herramientas enseñan la ruta de navegación de listar la carpeta y abrir la página por path; 94%. Corrida 4: el cerebro inyecta su context pack al arranque de la sesión, lo que bajó a la mitad las llamadas y el costo; 98%. La corrida 5 es la que se publica acá: las mismas 50 preguntas con el índice en forma router, que es lo que corre hoy cada tenant, así que el pack trae departamentos con reglas en vez de un catálogo de nombres de página. El accuracy no se movió ni un punto y el costo subió 13%, porque lo que el catálogo regalaba ahora hay que recomprarlo listando carpetas. La corrida 1 estimó sus tokens; todas las siguientes los miden llamada por llamada.

El brazo de fuentes madre corrió sobre las mismas 50 preguntas con el mismo criterio de corrección: ninguna herramienta MCP, ninguna página del cerebro hosteado, nada de web. Presupuesto de cliente de unas cinco o seis llamadas por pregunta, 2.04 usadas de media, 102 en total. Acertó 32 de 32 en todo lo que vive en el repo (decisiones, fechas de ship, arquitectura, preguntas de dos saltos, procesos comerciales) sin una sola invención entre ellas, y se rompió en personas, 2 de 6, con 3 de sus 4 invenciones ahí. Sus lecturas de archivos son conteos exactos de caracteres; las de Notion, Gmail y notas de reuniones están estimadas, y su reloj son 527 s medidos más unos 240 s estimados.

Limitaciones declaradas: corrida interna, N=50, un solo modelo, rúbrica aplicada por el mismo sistema con criterios mecánicos y no un juez independiente (el recall mecánico de hechos, 95,7% en el brazo con cerebro y 82,0% en el de fuentes madre, no depende de eso), el brazo "modelo solo" es una simulación de ceguera controlada, no una API con contexto vacío, congelada desde la segunda corrida porque ningún cambio del servidor puede moverla, el brazo de fuentes madre está leído en su mejor versión sobre terreno favorable y parte de sus tokens están estimados, y una propia de la corrida con cerebro: el cliente había leído los informes de las corridas anteriores, así que qué página eligió abrir pudo estar informado por ellos. Ese sesgo corre a favor de la corrida 5, así que la cifra de costo que publicamos es un piso, no un techo.

Página completa con gráficos y el método entero: https://www.lanbrain.ai/es/benchmarks
