Pila de evaluación: demostrar que los agentes tienen razón en lugar de hacer afirmaciones
La mayoría de las herramientas de investigación de IA apuntan a un modelo de lenguaje en la web y confían en el resultado. Sarth Shah construyó SixtyFour basándose en el instinto opuesto: calificar todo, solo lo que mejora la puntuación.
Sarth Shah mantuvo el marcador. Los agentes de investigación de Sixtyfour califican cada construcción basándose en preguntas que un equipo de expertos elabora a mano y las prueban con casos del mundo real, vertical por vertical, y la calificación es lo único que determina el barco. La disciplina detrás de ese marcador es la razón por la que una empresa de pagos dejaría que su software, en lugar de un analista humano, decidiera si un extraño es genuino.
La mayoría de las herramientas de investigación de IA parten del mismo atajo: apuntar un modelo de lenguaje a la web abierta, decirle que vea algo y dejarlo escribir. El resultado se lee bien. ¿Cómo sabrá alguien si lo que Shah decidió en primer lugar era correcto?
Desde hace algún tiempo, la industria culpa a las alucinaciones, a la costumbre de las modelos de inventar información y pistas. Este problema es real y poco a poco está mejorando. Los modelos fronterizos alucinan hace menos de un año, y combinarlos con búsquedas web en vivo ha reducido aún más la brecha. Pero los límites que le importan a Shah no son imaginaciones modelo. Es el alcance del modelo.
Un modelo de lenguaje con un cuadro de búsqueda ve lo que ve una persona con un navegador, y nada más. La información que impulsa las decisiones de investigación generalmente reside debajo de la superficie, en registros con licencia y de propiedad, en archivos no indexados y en redes enredadas de entidades construidas para ocultar el fraude. La investigación de superficie no puede llegar hasta ellos.
"Los modelos siguen mejorando y todavía solo ven lo que puede ver una persona con un navegador."Dijo el Sha".Lo que importa en este trabajo es que las respuestas son varios niveles más profundos que eso, y hay que ir a buscarlas."
Aproximadamente el 96 por ciento de las empresas ahora utilizan agentes de IA, y la brecha entre un sistema que responde a una pregunta y su respuesta correcta se ha convertido en un problema central en la producción de IA. Incluso los modelos más capaces todavía luchan por realizar un trabajo profesional realista y a largo plazo, donde un solo paso en falso puede descarrilar el resultado. Shah aprendió la lección años antes de que los puntos de referencia la confirmaran: la capacidad y la confiabilidad son atributos diferentes, y este último debe diseñarse con un propósito.
Lo que creó fue un sistema de forma diferente. Los agentes de Sixtyfour se encuentran entre dos opciones fallidas: bases de datos estáticas que se vuelven obsoletas y modelos simples que mejoran. Cada investigación fusiona investigaciones web en vivo, registros públicos, presentaciones legales y estatales, inteligencia de fuente abierta y datos con licencia, y luego los compila en un informe donde cada reclamo apunta a su fuente. No se afirma nada que no pueda encontrarse en un documento, el tipo de evidencia que requeriría un tribunal.
En la práctica, se plantea una sola pregunta entre muchas. Pídale a SixtyFour que verifique a un vendedor y sus agentes escanean archivos corporativos, direcciones de referencia cruzada y registros de funcionarios, sanciones y demandas, buscando en la web en vivo la verdadera huella de la empresa. Cuando un hilo lleva a alguna parte, el agente lo sigue, recopilando contexto hasta que pueda resolver la pregunta en lugar de detenerse en la primera respuesta lógica. El resultado es un expediente donde cada línea enlaza con el documento subyacente, de modo que un revisor puede monitorear la lógica de la máquina en lugar de confiar en ella.
La parte de la que Shah está más orgulloso es la que la mayoría de las empresas omiten. Para cada dominio en el que trabajan sus agentes, crea sistemas de evaluación que miden su producción frente a respuestas conocidas, de modo que la empresa pueda demostrar con qué frecuencia es correcta en lugar de reclamarla en la llamada de ventas. Tampoco envían ninguna mejora del producto a menos que el proceso de evaluación muestre una mejora clara. Y cada día, hacen que sus puntos de referencia sean cada vez más difíciles, utilizando muestras del mundo real que han visto, para superar los límites.
"Cada respuesta debe mostrar su función,"Dijo el Sha".Si no podemos señalar una presentación o registro, no enviamos una respuesta. La cotización es producto, no decoración."
Crear estas evaluaciones fue una gran parte del trabajo necesario para ser el mejor del mundo, y la parte más difícil fue la verdad misma. Los proveedores de datos existentes no pueden servir como fuente de verdad; Su información suele estar desactualizada o ser escasa. Entonces, para calificar a un agente en un caso realmente difícil, SixtyFour a veces ralentiza la respuesta, la analiza con investigadores humanos y luego la convierte en una prueba que los agentes deben pasar. El objetivo es unir a los mejores investigadores y luego vencerlos, hasta que el conjunto de evaluación mida un estándar que ningún investigador puede alcanzar por sí solo.
La disciplina es implacable. Cada nueva herramienta que agrega el equipo se compara con el conjunto de evaluación antes de enviarse, y cuando una adición prometedora reduce la puntuación, se recupera. Un competidor puede copiar un diagrama de arquitectura en una tarde. No puede copiar años de ejecuciones calificadas de sistemas de producción y los matices que empujan a los agentes de IA a hacerlo mejor.
Es por eso que el SixtyFour Recon se ubica en la cima de la comparación, muchas veces por delante de los sistemas del laboratorio.
La competencia optimiza para otras cosas. Parallels, una empresa de investigación web, busca respuestas más largas y profundas. Exa crea una búsqueda semántica basada en incrustaciones para el descubrimiento en lugar de la validación. Sesenta y cuatro miden algo limitado y difícil: si una determinada afirmación sobre una determinada entidad es verificablemente cierta.
Luego están las piezas compuestas. Cada sonda en la ejecución de SixtyFour resuelve las entidades tocadas en un gráfico que las sondas posteriores pueden utilizar. Cuanto más se utiliza el sistema, más sabe.
"Cuando investigas una red de miles de proveedores, el gráfico hace la mitad del trabajo incluso antes de que un agente comience, y nos permite rastrear patrones como redes de fraude y redes de malos actores."Dijo el Sha".Esa es la parte que no puedes comprar. Se lo gana una consulta a la vez."
El acercamiento está atrayendo la atención del exterior. En junio, Y Combinator invitó a Shah a hablar en su evento de pasantías, hablando en persona con cientos de pasantes de toda su cartera junto con Jared Friedman de la empresa. "Trabajar en problemas difíciles,"Él les dijo".A medida que las herramientas y los agentes de IA mejoran, Alpha pasa a problemas más difíciles que requieren experiencia en el dominio y una precisión casi perfecta. Una llamada incorrecta a nuestro dominio y alguien será llamado, baneado o incluso arrestado.Para un fundador cuyo argumento es que la confiabilidad debe construirse en lugar de exigirse, la invitación a enseñarla conlleva su propio tipo de evidencia.
Shah escribió él mismo gran parte del sistema central antes de que la empresa creciera hasta tener una docena de personas, y habla de precisión de la misma manera que otros fundadores hablan de crecimiento. La apuesta va contra la corriente de un campo que premia la flexibilidad: los compradores pagarán más por un sistema que no sabe cuándo que uno que siempre tiene una respuesta lista. Cómo quiere demostrarlo en su marcador en pantalla, una carrera calificada a la vez.
