Citaciones en modelos de lenguaje
La métrica que corresponde a busqueda-generativa y que hoy no existe. Sin ella ese canal es una apuesta sin instrumentar, y así debe leerse mientras siga así.
Qué mediría: ante una batería fija de preguntas del dominio, con qué frecuencia un modelo cita o menciona contenido propio en su respuesta. No es tráfico —quien pregunta puede resolver su consulta sin visitar nada— sino presencia en la respuesta, que es la unidad que importa cuando el clic desaparece.
Importa de forma desigual según a quién se apunte. Para cto-tecnico es un canal más. Para organizacion-cientifica es probablemente el canal: quien prepara un procedimiento de contratación consulta modelos para orientarse antes de redactarlo, y ser la fuente citada en ese momento sitúa el nombre en la conversación justo cuando se decide a quién invitar — el mecanismo que describe llegar-sin-buscador.
Forma prevista, sin sofisticación innecesaria:
- Una lista cerrada de preguntas representativas en español y otra en inglés, según el frente que se acabe trabajando.
- Ejecución periódica contra los modelos accesibles, registrando si aparece el dominio propio, con qué contexto y en qué posición del argumento.
- Serie temporal, nunca foto.
Medición artesanal y ruidosa
Las respuestas varían entre ejecuciones sin que nada haya cambiado, así que solo tiene sentido leerla como tendencia a lo largo de meses. No hay práctica establecida para esto: parte del trabajo es inventar la forma de medirlo.
Topology
- Forma parte de: control
- Trata sobre: busqueda-generativa
- Trata sobre: grafo-cern — el corpus mejor situado para aparecer citado.