Data lab

Entornos RL, evals y benchmarks para finanzas cuantitativas y cripto

Construimos tareas que comprueban si un agente de IA hace investigación cuantitativa honesta. Cada una trae datos sintéticos que generamos y nos pertenecen, una solución de referencia y un calificador automático, y cada una apunta a un error que cometimos y documentamos en nuestra propia investigación.

Pedir un piloto → Preguntar por una evaluación de agente

Qué puedes comprar

Precios en USD. Cada proyecto recibe una cotización cerrada por escrito tras una llamada de alcance.

  • Pack piloto

    desde $7,500normalmente $7,500–12,500 · por pack

    25 tareas privadas y calibradas de finanzas cuantitativas o cripto, en formato Harbor/TestGen, con informe de calibración. Licencia no exclusiva.

    Incluye

    • 25 tareas con oráculo y verificador
    • Informe de calibración
    • Registro de calidad por tarea
    • Una ronda de correcciones
  • Generador a medida

    desde $15,000normalmente $15,000–40,000 · por proyecto

    Un generador con semilla y más de 100 tareas en un dominio que tú eliges, como perpetuos y funding, ejecución en libro de órdenes o ML de series temporales.

    Incluye

    • Generador de tareas con semilla
    • Más de 100 tareas
    • Informe de calibración
    • Licencia o cesión de IP por contrato
  • Evaluación de agente

    desde $2,000normalmente $2,000–5,000 · por corrida

    Corremos tareas reservadas de nuestro benchmark contra tu agente y te enviamos un informe de fallos: en qué trampas cae y dónde.

    Incluye

    • Tareas reservadas, no públicas
    • Informe de fallos por check
    • Trazas borradas al terminar
  • Horas de experto

    desde $90normalmente $90–150 · por hora

    Revisión quant, redacción de rúbricas o autoría de tareas por hora, en tu formato.

    Incluye

    • Estructura de mercado quant y cripto
    • Revisión de fugas en backtests y ML
    • En inglés o español

Licencia exclusiva: el mismo pack retirado de nuestro catálogo, a unas 4× el precio no exclusivo.

Cómo construimos una tarea

  1. 01

    Partir de un fallo real

    Cada tarea empieza con un error documentado en nuestra propia investigación, como una tasa de ejecución de 2.6% en vivo frente al 30–38% simulado, o una deriva que parecía edge.

  2. 02

    Generar los datos

    Datos sintéticos con semilla, construidos para que la respuesta con fuga se vea bien y la honesta no. Misma semilla, mismos bytes.

  3. 03

    Escribir la solución de referencia

    Un oráculo resuelve la tarea de punta a punta y tiene que pasar. Un agente nulo y uno ingenuo que ignora las trampas tienen que fallar.

  4. 04

    Calificar con código

    El número dentro de una tolerancia, códigos de error calificados por precisión y recall, el código del agente re-ejecutado sobre una serie oculta y pruebas de invariancia. Sin juez LLM.

  5. 05

    Buscar fugas

    Un escaneo de valores esperados, archivos del calificador y soluciones en todo lo que el agente puede ver, y semillas alternativas para mostrar que la brecha es estructural.

  6. 06

    Calibrar

    Varios modelos, varias corridas cada uno. Las tareas demasiado fáciles se endurecen o se descartan, y recibes el informe.

Qué recibes

  • Paquetes de tareas en formato Harbor/TestGen: instruction.md, task.toml, un Dockerfile fijado y sin red, datos, el oráculo (solution/solve.sh) y el verificador (tests/).
  • Un informe de calibración: tasa de éxito por modelo en varias corridas y qué checks falla cada modelo.
  • Un registro de calidad por tarea: el oráculo pasa, las líneas base nula e ingenua fallan, los builds son deterministas, las semillas alternativas se sostienen y el escaneo de fugas sale limpio.
  • Una cadena canary en cada archivo de texto, para poder detectar contaminación.

Licencias y procedencia de los datos

Datos
100% sintéticos, generados por nuestro propio código a partir de parámetros escritos a mano.
Nunca incluidos
Datos de mercado de exchanges o plataformas, crudos o derivados; redes sociales scrapeadas; billeteras identificadas; datos personales; nada hecho para otro cliente.
Autoría
Diseñadas y revisadas por un investigador quant, con asistencia de IA. Cada tarea pasa el control de calidad automático de arriba antes de entregarse.
Licencia
No exclusiva por defecto. Licencia exclusiva o cesión total de IP por contrato. Las tareas privadas llevan obligación de no publicarlas.
Benchmark público
Cuando se publique: código bajo Apache-2.0 y datos bajo CC-BY-4.0.

Dónde estamos

Nuestro benchmark es un piloto de 10 tareas. La solución de referencia pasa las 10 y la línea base ingenua falla las 10, pero todavía no se calibró contra modelos de frontera ni se publicó. Lo seguiremos diciendo hasta que eso cambie.

Ver el benchmark →

Pedir un piloto → Preguntar por una evaluación de agente