Data lab
Entornos RL, evals y benchmarks para finanzas cuantitativas y cripto
Construimos tareas que comprueban si un agente de IA hace investigación cuantitativa honesta. Cada una trae datos sintéticos que generamos y nos pertenecen, una solución de referencia y un calificador automático, y cada una apunta a un error que cometimos y documentamos en nuestra propia investigación.
Pedir un piloto → Preguntar por una evaluación de agente
Qué puedes comprar
Precios en USD. Cada proyecto recibe una cotización cerrada por escrito tras una llamada de alcance.
Pack piloto
desde $7,500normalmente $7,500–12,500 · por pack
25 tareas privadas y calibradas de finanzas cuantitativas o cripto, en formato Harbor/TestGen, con informe de calibración. Licencia no exclusiva.
Incluye
- 25 tareas con oráculo y verificador
- Informe de calibración
- Registro de calidad por tarea
- Una ronda de correcciones
Generador a medida
desde $15,000normalmente $15,000–40,000 · por proyecto
Un generador con semilla y más de 100 tareas en un dominio que tú eliges, como perpetuos y funding, ejecución en libro de órdenes o ML de series temporales.
Incluye
- Generador de tareas con semilla
- Más de 100 tareas
- Informe de calibración
- Licencia o cesión de IP por contrato
Evaluación de agente
desde $2,000normalmente $2,000–5,000 · por corrida
Corremos tareas reservadas de nuestro benchmark contra tu agente y te enviamos un informe de fallos: en qué trampas cae y dónde.
Incluye
- Tareas reservadas, no públicas
- Informe de fallos por check
- Trazas borradas al terminar
Horas de experto
desde $90normalmente $90–150 · por hora
Revisión quant, redacción de rúbricas o autoría de tareas por hora, en tu formato.
Incluye
- Estructura de mercado quant y cripto
- Revisión de fugas en backtests y ML
- En inglés o español
Licencia exclusiva: el mismo pack retirado de nuestro catálogo, a unas 4× el precio no exclusivo.
Cómo construimos una tarea
- 01
Partir de un fallo real
Cada tarea empieza con un error documentado en nuestra propia investigación, como una tasa de ejecución de 2.6% en vivo frente al 30–38% simulado, o una deriva que parecía edge.
- 02
Generar los datos
Datos sintéticos con semilla, construidos para que la respuesta con fuga se vea bien y la honesta no. Misma semilla, mismos bytes.
- 03
Escribir la solución de referencia
Un oráculo resuelve la tarea de punta a punta y tiene que pasar. Un agente nulo y uno ingenuo que ignora las trampas tienen que fallar.
- 04
Calificar con código
El número dentro de una tolerancia, códigos de error calificados por precisión y recall, el código del agente re-ejecutado sobre una serie oculta y pruebas de invariancia. Sin juez LLM.
- 05
Buscar fugas
Un escaneo de valores esperados, archivos del calificador y soluciones en todo lo que el agente puede ver, y semillas alternativas para mostrar que la brecha es estructural.
- 06
Calibrar
Varios modelos, varias corridas cada uno. Las tareas demasiado fáciles se endurecen o se descartan, y recibes el informe.
Qué recibes
- Paquetes de tareas en formato Harbor/TestGen: instruction.md, task.toml, un Dockerfile fijado y sin red, datos, el oráculo (solution/solve.sh) y el verificador (tests/).
- Un informe de calibración: tasa de éxito por modelo en varias corridas y qué checks falla cada modelo.
- Un registro de calidad por tarea: el oráculo pasa, las líneas base nula e ingenua fallan, los builds son deterministas, las semillas alternativas se sostienen y el escaneo de fugas sale limpio.
- Una cadena canary en cada archivo de texto, para poder detectar contaminación.
Licencias y procedencia de los datos
- Datos
- 100% sintéticos, generados por nuestro propio código a partir de parámetros escritos a mano.
- Nunca incluidos
- Datos de mercado de exchanges o plataformas, crudos o derivados; redes sociales scrapeadas; billeteras identificadas; datos personales; nada hecho para otro cliente.
- Autoría
- Diseñadas y revisadas por un investigador quant, con asistencia de IA. Cada tarea pasa el control de calidad automático de arriba antes de entregarse.
- Licencia
- No exclusiva por defecto. Licencia exclusiva o cesión total de IP por contrato. Las tareas privadas llevan obligación de no publicarlas.
- Benchmark público
- Cuando se publique: código bajo Apache-2.0 y datos bajo CC-BY-4.0.
Dónde estamos
Nuestro benchmark es un piloto de 10 tareas. La solución de referencia pasa las 10 y la línea base ingenua falla las 10, pero todavía no se calibró contra modelos de frontera ni se publicó. Lo seguiremos diciendo hasta que eso cambie.