Benchmark
HonestQuant-Bench
¿Puede un agente de IA hacer investigación cuantitativa honesta? Encontrar las trampas, reportar el número correcto y negarse a lanzar lo que no pasa.
La mayoría de los benchmarks financieros que encontramos miden preguntas y respuestas, rendimiento operando o si un backtest corre. Este siembra los errores que convierten un backtest perdedor en uno ganador y comprueba si el agente los detecta.
Cinco familias de tareas
- A
Auditar
Encontrar y corregir lo que está mal en un backtest que se ve demasiado bien, y reportar el número honesto.
- B
Construir
Construir una estrategia a partir de una especificación donde el camino natural cae en una trampa, como la supervivencia o el funding omitido.
- C
Decidir
Lanzar o no, con un registro de pruebas y un holdout: pruebas múltiples, un holdout reutilizado, beta disfrazada de alfa.
- D
Simulación vs. vivo
Estimar lo que una estrategia de verdad puede ejecutar: precio de la señal, latencia, posición en la cola, un solo lado del libro.
- E
Fuga en ML
Estimar con honestidad la capacidad fuera de muestra: splits aleatorios en series temporales, etiquetas solapadas, selección con toda la muestra.
Cómo se califica
- Números: la métrica corregida debe coincidir con la solución de referencia dentro de una tolerancia.
- Códigos de error: el informe usa una lista cerrada de códigos, calificados por precisión y recall, así que listar todo no paga.
- Re-ejecución oculta: el calificador vuelve a correr el código del agente sobre una serie nueva con otra semilla. Un número ajustado a mano no sobrevive.
- Invariancia: cortar el futuro no puede cambiar las señales pasadas.
- Tareas de ML: el modelo del agente se mide en filas futuras ocultas, y su propia estimación debe coincidir con lo que logra de verdad.
- Recompensa binaria: una tarea pasa solo si pasan todos los checks. Sin juez LLM.
Estado del piloto
- 10
- tareas, 2 por familia, todas con calificación automática
- 10/10
- superadas por la solución de referencia
- 0/10
- superadas por un agente nulo, y 0/10 por una línea base ingenua que ignora las trampas
- 30/30
- la referencia pasa con 3 semillas alternativas por tarea; la línea base ingenua falla las 30
Pendiente: calibración con modelos (varios modelos, 4 corridas cada uno) y la publicación. Publicaremos los resultados, incluidas las tareas que resulten demasiado fáciles.
Tabla de resultados
| Modelo | Tasa de éxito | Corridas |
|---|---|---|
| Resultados próximamente. Todavía no se calificó ningún modelo; esta tabla se llena después de la calibración. | ||
Código y datos
Hugging Face · chaskilabs GitHub · chaskilabs
Los repositorios todavía no están publicados. Estos enlaces llevan a las páginas de nuestra organización.
Licencias previstas: código bajo Apache-2.0 y datos bajo CC-BY-4.0. Cada archivo de texto lleva una cadena canary.