Benchmark

HonestQuant-Bench

Piloto · publicación próxima (nombre provisional)

¿Puede un agente de IA hacer investigación cuantitativa honesta? Encontrar las trampas, reportar el número correcto y negarse a lanzar lo que no pasa.

La mayoría de los benchmarks financieros que encontramos miden preguntas y respuestas, rendimiento operando o si un backtest corre. Este siembra los errores que convierten un backtest perdedor en uno ganador y comprueba si el agente los detecta.

Cinco familias de tareas

  • A

    Auditar

    Encontrar y corregir lo que está mal en un backtest que se ve demasiado bien, y reportar el número honesto.

  • B

    Construir

    Construir una estrategia a partir de una especificación donde el camino natural cae en una trampa, como la supervivencia o el funding omitido.

  • C

    Decidir

    Lanzar o no, con un registro de pruebas y un holdout: pruebas múltiples, un holdout reutilizado, beta disfrazada de alfa.

  • D

    Simulación vs. vivo

    Estimar lo que una estrategia de verdad puede ejecutar: precio de la señal, latencia, posición en la cola, un solo lado del libro.

  • E

    Fuga en ML

    Estimar con honestidad la capacidad fuera de muestra: splits aleatorios en series temporales, etiquetas solapadas, selección con toda la muestra.

Cómo se califica

  • Números: la métrica corregida debe coincidir con la solución de referencia dentro de una tolerancia.
  • Códigos de error: el informe usa una lista cerrada de códigos, calificados por precisión y recall, así que listar todo no paga.
  • Re-ejecución oculta: el calificador vuelve a correr el código del agente sobre una serie nueva con otra semilla. Un número ajustado a mano no sobrevive.
  • Invariancia: cortar el futuro no puede cambiar las señales pasadas.
  • Tareas de ML: el modelo del agente se mide en filas futuras ocultas, y su propia estimación debe coincidir con lo que logra de verdad.
  • Recompensa binaria: una tarea pasa solo si pasan todos los checks. Sin juez LLM.

Estado del piloto

10
tareas, 2 por familia, todas con calificación automática
10/10
superadas por la solución de referencia
0/10
superadas por un agente nulo, y 0/10 por una línea base ingenua que ignora las trampas
30/30
la referencia pasa con 3 semillas alternativas por tarea; la línea base ingenua falla las 30

Pendiente: calibración con modelos (varios modelos, 4 corridas cada uno) y la publicación. Publicaremos los resultados, incluidas las tareas que resulten demasiado fáciles.

Tabla de resultados

Tasa de éxito en el split público
ModeloTasa de éxitoCorridas
Resultados próximamente. Todavía no se calificó ningún modelo; esta tabla se llena después de la calibración.

Los repositorios todavía no están publicados. Estos enlaces llevan a las páginas de nuestra organización.

Licencias previstas: código bajo Apache-2.0 y datos bajo CC-BY-4.0. Cada archivo de texto lleva una cadena canary.

¿Quieres evaluar tu agente antes de la publicación?

Preguntar por una evaluación de agente →