Cómo se evalúa un asistente local: 636 respuestas del Veci, con las notas malas incluidas
In English, 5 lines: El Veci is a text-based local assistant for Cabo Rojo, Puerto Rico (787-417-7711). Since 8 Sep 2026 an automated judge has graded 636 of its real answers against 8 written rules. 51% pass. Real failures on human messages over 90 days: 41 of 1,785 (2.3%). This is how we measure it, what fails, and what we fix every morning.
Hay una pregunta que nadie le hace a un asistente de inteligencia artificial: ¿quién lo corrige cuando se equivoca?
Al Veci lo corrige un juez que no duerme. Todos los días a las 9:40 de la mañana, una rutina toma hasta 80 respuestas que el Veci dio en las últimas 24 horas y las califica contra 8 reglas escritas. No contra «sonó bien». Contra reglas.
Desde el 8 de septiembre lleva 636 respuestas evaluadas. Pasaron 326. Eso es el 51%.
Sí, la mitad. Lo publico porque un número que solo sale cuando es bonito no es un número, es un anuncio.
Qué mide el juez
Cada respuesta se puntúa de 0 a 12 y se marca aprobada o no. La media es 9.98. Una respuesta puede tener buena nota y no aprobar, porque hay fallos que descalifican solos.
Las 8 reglas, en orden de cuántas veces fallaron:
| Regla | Qué exige | Veces que falló |
|---|---|---|
| Aquí está, sigue | Da el dato y deja ir a la persona; no la retiene | 309 |
| Correcta | Contesta lo que preguntaron, no lo que parecía | 264 |
| Alivio | Le quita trabajo al vecino, no le añade tareas | 176 |
| Sin raya larga | Puntuación normal, nada de la raya que delata máquina | 99 |
| No eres el negocio | Habla como vecino, nunca como el dueño del lugar | 49 |
| Los 5 nunca | No presume, no finge emoción, no juzga, no tira a humanos, no «revoluciona» | 25 |
| Juez no disponible | El evaluador no pudo correr; cuenta como fallo del sistema | 7 |
| El absurdo es del sistema | El chiste va contra el trámite, jamás contra la persona | 6 |
Un ejemplo real de esta semana. Alguien escribió «¡Saludos, vecino!». El Veci contestó «Recibido, gracias por contestar. Lo anoto». Nota 10, reprobado: no devolvió el saludo. El juez tiene razón. Nadie saluda y quiere que le digan «recibido».
Lo que cuenta de verdad: los fallos con gente real
El juez evalúa estilo. Hay otra tabla, más dura, que mira solo los mensajes de personas reales (sin pruebas internas, sin mis mensajes, sin los de Noelia) y marca cuáles terminaron sin salida.
En los últimos 90 días: 1,785 mensajes humanos, 41 fallos. Es 2.3%. La regla de la casa es que no pase de 5%.
Cada uno de esos 41 se revisa a mano. El 90% de las veces la causa es la misma: una palabra que la gente usa y el sistema no conocía. «Gomería» en vez de «taller de gomas». Se añade, se prueba con la pregunta que falló y con 1 que ya funcionaba, y si alguna empeora se revierte.
El Registro se evalúa igual
El Veci contesta con datos del Registro Médico de Puerto Rico: 30,616 fichas de proveedores con NPI publicadas, 243 de ellas en Cabo Rojo. Esas fichas también tienen juez:
- Frescura: solo el 25.1% de las fichas de PR se verificó contra la fuente federal en los últimos 90 días (26.8% en salud). Es poco, y por eso corre 2 veces al día una re-verificación de 250 fichas.
- Llamadas: cuando un vecino llama al número de la ficha, anota qué pasó. En 60 días: 381 veces nadie contestó, 37 números estaban malos, 37 terminaron en cita.
- Fichas con fallo pendiente: 294 esperan corrección. Cada mañana se corrigen con 2 fuentes o se dejan marcadas.
Esto no es un asistente que «sabe». Es un asistente al que se le mide cuánto no sabe, todos los días, con número.
Por qué lo cuento
Porque cuando alguien me pregunta si la inteligencia artificial sirve para un pueblo, la respuesta honesta no es sí ni no. Es: sirve si alguien la está midiendo con reglas escritas y publica las notas malas.
Si quieres probarlo, textea al 787-417-7711 y pregúntale cualquier cosa de Cabo Rojo. Si falla, mañana a las 9:40 alguien lo va a saber.
Y en Cabo Rojo: de las 294 fichas del Registro con fallo pendiente hoy, 0 son de Cabo Rojo según el cruce por ficha; las 243 fichas del pueblo tienen 1 sola verificación federal en 90 días, así que el número que hay que subir aquí es la frescura, no los fallos.
- Angel | Menos revolú. Mejores decisiones. Más vida.
