Cómo funciona la ingesta de datos
Cargas directas a la nube con integridad de extremo a extremo.
Los archivos viajan desde tu navegador directamente al prefijo S3
aislado de tu cliente — nunca pasan por un servidor compartido. De
ahí, un worker asíncrono valida, transforma y combina los datos
con garantías sólidas contra escrituras parciales o corrupción
silenciosa.
Paso 1
Carga prefirmada
El navegador recibe una política prefirmada de corta duración
(1 hora) con un límite duro de 200 MB aplicado en el borde de
S3 — los bytes nunca atraviesan nuestros servidores.
Paso 2
Lock por cliente
Un lock en DynamoDB evita que dos cargas concurrentes de la
misma fuente compitan. Los conflictos se rechazan de inmediato
en lugar de corromper el dataset combinado.
Paso 3
Worker idempotente
Procesamiento asíncrono con transiciones de estado condicionales
— las invocaciones duplicadas son no-ops. La validación de
esquema, coerción de tipos y advertencias de calidad por
columna corren antes de comprometer cualquier dato.
Paso 4
Recuperación incluida
Un sweeper programado detecta trabajos atascados y una
dead-letter queue captura los fallos permanentes. Las cargas
abandonadas expiran automáticamente vía reglas de ciclo de
vida en S3 — sin datos huérfanos.