Colapso progresivo en sistemas distribuidos: el presupuesto de disponibilidad como decisión de gobierno
Lo que se publicó el 19 de agosto de 2026
El 19 de agosto de 2026, InfoQ publicó la transcripción de la charla "Understanding Progressive Collapse: How To Avoid A Cascading Failure", de Sam Newman, que el autor presentó el 18 de marzo de 2026 en QCon London. La tesis cabe en dos frases: en la ingeniería civil existe un concepto llamado colapso progresivo que describe cómo un fallo local pequeño acaba derribando una estructura entera, y ese mismo fenómeno aparece a diario en los sistemas distribuidos. Lo que la charla propone no es una técnica nueva, sino una forma de decidir.
Eso importa para quien dirige una plataforma, porque las tres palancas que Newman extrae de una guía del NIST sobre el riesgo de colapso progresivo en edificios (NISTIR 7396, febrero de 2007) no son ajustes de configuración: reducir peligros, reforzar componentes y reducir interconexión. Son tres decisiones de gobierno. Cada una cuesta dinero, genera complejidad y se puede aceptar o rechazar de forma explícita. "Vamos a ser resilientes" no es una decisión; "aceptamos este riesgo, con este presupuesto y esta métrica" sí lo es.
Hay un segundo mensaje, más incómodo. Newman sostiene que buscar la causa raíz de un incidente es un error de método: las cascadas no tienen un único origen. La ingeniería de resiliencia no compite con la seguridad tradicional. La seguridad tradicional intenta que el evento adverso nunca ocurra; la resiliencia acepta que el fallo ocurre y trabaja por limitar su alcance. La traducción organizativa es directa: el presupuesto de protección se decide antes del incidente, no en la revisión posterior, cuando ya no queda margen de maniobra.
Tres fallos que guardan parecido
El primer caso es el origen de la metáfora. La torre Ronan Point, en Canning Town, Londres, se derrumbó parcialmente el 16 de mayo de 1968: una fuga de gas provocó una explosión en una cocina a las seis menos cuarto de la mañana, el muro exterior era portante, los cuatro pisos superiores cayeron y cuatro personas murieron. El edificio se construyó con un sistema de prefabricados pensado para que personal con poca formación pudiera edificar torres deprisa, y las juntas entre los paneles se rellenaron con periódico y paquetes de cigarros en lugar de hormigón. El caso acabó con una demolición pieza a pieza, con una charla de obra cuotidiana al inicio de la jornada y con un endurecimiento de la normativa británica de construcción.
El segundo caso lo sufre medio planeta en sus propias operaciones. El 19 de octubre de 2025 a las 23:48 PDT, la gestión interna de DNS de DynamoDB, en la región us-east-1, dejó un registro DNS vacío para el endpoint regional y la automatización no lo reparó. La causa fue una condición de carrera latente entre dos componentes que existen precisamente para dar disponibilidad: un planificador que vigila la salud de los balanceadores y genera planes, y varios ejecutores que aplican esos planes endpoint por endpoint. Un ejecutor lento se quedó reintentando; el planificador generó planes más nuevos; otro ejecutor aplicó uno de esos planes en segundos; cuando el primero terminó, borró lo que el segundo había escrito.
El resultado fue una cascada con nombres propios: los balanceadores de carga de red dejaron de funcionar, y con ellos el cómputo, las colas y EKS. Entre los productos afectados que la charla cita están Alexa, Ring, Slack, Snapchat, Zoom y Shopify, y también un número sorprendente de bancos británicos. Lo que AWS saca de este episodio no es una excusa, sino un trabajo de reparación: la corrección consistió en reemplazar el plan vigente por uno nuevo dentro de una transacción de Route53, para que cada endpoint se actualice con un plan coherente aunque varios ejecutores compitan, y en desactivar la actividad de escalado automático que desencadenó el evento hasta desplegar todas las remediaciones.
Lo que la recuperación cuesta de verdad
Hay un detalle en el incidente de AWS que suele quedar fuera de los resúmenes: la recuperación no terminó con la restauración del DNS. Según el análisis de ThousandEyes, la conectividad de DynamoDB se restableció a las 09:25 UTC, pero los lanzamientos de instancias de EC2 siguieron fallando hasta las 20:50 UTC, más de once horas después; los balanceadores de carga de red acumularon fallos de comprobación de estado entre las 12:30 y las 21:09 UTC, y algunos grupos de Redshift permanecieron degradados hasta las 11:05 UTC del 21 de octubre, más de un día después del fallo inicial. Traducido a lenguaje de comité: restaurar la causa no restaura el sistema. Cada capa que quedó con estado inconsistente drena su cola a su ritmo, y esa cola es, en la práctica, el presupuesto real de recuperación de una plataforma.
El tercer caso de la charla es el que más se parece a un martes cualquiera de un equipo de plataforma. Un portal de venta de vehículos de segunda mano, con diez servidores, recibía entre 30 y 60 peticiones concurrentes en los picos habituales. Un sitio descendente empezó a aceptar conexiones y a dejarlas colgadas, y los tiempos de espera de 30 segundos consumieron el pool de conexiones. Con el pool agotado, las peticiones de otras verticales quedaban encoladas, los hilos bloqueados saturaban la CPU y el tráfico en vivo se multiplicaba por más de diez, hasta superar las 800 peticiones concurrentes. Los usuarios, por su lado, pulsaban recargar, y cada recarga añadía presión.
Las correcciones que se aplicaron después fueron tres: un pool de conexiones por cada servidor descendente, circuit breakers con corte de circuito (circuit breaker) y compartimentos estancos (bulkhead) alrededor de cada dependencia. El autor admite que la medida que realmente habría evitado el colapso era otra y mucho más barata: declarar por adelantado la capacidad máxima aceptable y descartar el trabajo excedente. Es decir, el límite de carga (load shedding) que Google SRE describe como la primera línea de defensa frente a la saturación.
Las tres palancas y su precio
Con los casos delante, la conversación de gobierno se vuelve concreta.
**Reducir peligros** es la palanca barata: una automatización que se desactiva, una cola con profundidad máxima, un descartador de carga, más vigilancia. Compra margen y no evita el problema.
**Reforzar componentes** es la palanca cara, y ahí es donde se decide el gasto. La escalera de recuperación de desastre que documenta AWS tiene cuatro peldaños: copia y restauración, pilot light, warm standby y multi-site activo/activo. Para la pérdida de un centro de datos puede bastar la copia y restauración; si el desastre alcanza a una región entera, o si hay requisitos regulatorios, hay que subir peldaño. Cada peldaño reduce la ventana de caída y de pérdida de datos y aumenta el gasto y la complejidad. La elección no es técnica, la marcan el tiempo objetivo de recuperación y el punto objetivo de recuperación, que son requisitos de negocio que hay que acordar con el responsable de producto, como recuerda Newman en la ronda de preguntas de su charla.
**Reducir interconexión** es la palanca intermedia y la más fácil de aplicar mal. Compartimentos estancos, pools separados por dependencia, cortocircuito por umbral, respuestas locales cuando el proveedor falla, o incluso un sistema gemelo escrito desde cero sobre otro proveedor, como el stand-in de Monzo, que corre sobre Google Cloud y puede asumir las funciones críticas mientras la plataforma principal vive en AWS. El coste de esa última opción no es el doble de infraestructura, es el doble de código que mantener y el doble de superficie de fallo.
Y aquí aparece la paradoja que ningún comité quiere oír. La redundancia que AWS añadió al sistema de ejecutores DNS, dos o más copias para tolerar la caída de una zona de disponibilidad, fue justamente lo que hizo posible la condición de carrera. En el mismo sentido, un circuit breaker mal configurado puede empeorar un fallo parcial, porque corta por igual la parte sana y la parte enferma del servicio; todos los clientes pueden abrir su circuito a la vez y dejar al sistema sin carga; y un reintento agresivo puede convertirse en la tormenta que tumba lo que se intentaba salvar. Por eso Marc Brooker, que ha escrito sobre el tema, recomienda usar los circuit breakers solo alrededor de los reintentos o limitar los reintentos con un cubo de tokens (token bucket), en lugar de confiar a ciegas en el corte de circuito.
El presupuesto de disponibilidad: la decisión que falta
Aquí está la traducción operativa de todo lo anterior. Cada servicio crítico necesita un objetivo de nivel de servicio (SLO) declarado, y de ese objetivo se deriva un presupuesto de error: el margen de fallo que la organización puede permitirse en una ventana de 30 días. Con un SLO del 99,9%, ese presupuesto es de un 0,1% de peticiones fallidas. En ese 0,1% cabe una caída de veinte minutos con el sistema entero caído, y también una semana de errores de un 2% repartidos. La diferencia entre ambas no es técnica, es de política de riesgo.
Para medir si ese presupuesto se está consumiendo, Google SRE propone la tasa de quemado. Con un SLO del 99,9% en 30 días, un quemado de 1 equivale a un 0,1% de error y agota el presupuesto en 30 días; un quemado 2 lo agota en 15 días; un quemado 10, en tres días; un quemado 1000 agota el presupuesto entero en 43 minutos, con un 100% de error. Y para gastar un 5% del presupuesto de 30 días en una sola hora hace falta un quemado de 36. Esa tabla es la que permite escribir alertas que no son ruido: una alerta de quemado alto con ventana corta y severidad de página, y una alerta de quemado sostenido con ventana larga que abre un ticket en lugar de despertar al equipo.
La instrumentación mínima en Prometheus es esta:
```yaml groups: - name: presupuesto_disponibilidad rules: - alert: presupuesto_quemado_rapido expr: | (sum(rate(http_requests_total{code=~"5.."}[1h])) / sum(rate(http_requests_total[1h]))) > (36 * 0.001) for: 2m labels: severity: page annotations: summary: quemado rapido del presupuesto de error runbook: pagina de respuesta de la plataforma - alert: presupuesto_quemado_lento expr: | (sum(rate(http_requests_total{code=~"5.."}[1d])) / sum(rate(http_requests_total[1d]))) > (10 * 0.001) for: 30m labels: severity: ticket annotations: summary: quemado sostenido del presupuesto de error ```
La primera regla se dispara cuando el error sostenido consume el presupuesto al ritmo que en una hora agotaría el 5%; la segunda avisa de un uno por ciento sostenido que, de seguir así, dejaría el presupuesto sin margen para el resto del mes.
Sobre esa base, la plataforma tiene que publicar los límites operativos que hoy viven en la cabeza de cada equipo. Un corte de circuito con umbrales por cluster y por prioridad, como los de Envoy, que vienen habilitados por defecto con un valor modesto de 1024 conexiones por cluster, y cuyo estado se observa en las estadísticas del proxy:
```yaml circuit_breakers: thresholds: - priority: DEFAULT max_connections: 1024 max_pending_requests: 1024 max_requests: 1024 max_retries: 3 - priority: HIGH max_connections: 256 max_pending_requests: 128 max_requests: 256 max_retries: 3 ```
Y un presupuesto de reintentos por proceso, que es la forma barata de evitar la amplificación. Google SRE propone el ejemplo de 60 reintentos por minuto: al superar ese techo se deja de reintentar y se devuelve el error, y la diferencia entre una planificación de capacidad fallida y un colapso global cabe en ese límite:
```python class RetryBudget: def __init__(self, limit_per_minute=60): self.limit_per_minute = limit_per_minute self.used = 0 self.window_started_at = now()
def allow(self): if now() - self.window_started_at >= 60: self.window_started_at = now() self.used = 0 if self.used >= self.limit_per_minute: return False self.used += 1 return True ```
Y el resto de límites se decide con la misma lógica: tiempo de espera por dependencia, profundidad máxima de cola y contrapresión (backpressure) entre productor y consumidor. Si el consumidor va más lento que el productor, la cola crece hasta comerse la memoria; el límite de profundidad y el descarte explícito del trabajo excedente son la única defensa, y funcionan mucho mejor que esperar a que el sistema se ahogue.
Quién decide, con qué métricas y qué cambia
La propuesta de gobierno que se desprende de la charla es sencilla y poco favorisista: el negocio fija qué nivel de disponibilidad compra, la plataforma traduce ese nivel en un presupuesto de error y en límites técnicos, y cada equipo de producto decide, con el coste a la vista, qué parte de la cascada acepta. El resultado tiene que quedar escrito: "aceptamos que la dependencia X nos tumbe entre 4 y 8 minutos al trimestre, y por eso no pagamos el doble de infraestructura".
Las métricas que permiten sostener esa conversación son cuatro: la tasa de quemado del presupuesto por servicio, el tiempo de recuperación real frente al objetivo pactado, el número de dependencias críticas sin compartimento estanco ni límite de cola, y el porcentaje de tráfico que puede seguir funcionando en modo degradado cuando una dependencia principal cae. Con esas cuatro cifras, la conversación con el CTO deja de ser una lista de puntos técnicos y pasa a ser una tabla de decisiones con dueño, coste y fecha.
Un plan de noventa días
La charla no da un plan de despliegue, pero de sus tres palancas sale uno que se puede ejecutar sin esperar a un presupuesto nuevo.
**Días 1 a 30, medir.** Inventario de la topología de dependencias de cada servicio crítico, un objetivo de nivel de servicio declarado por servicio y el presupuesto de error derivado. Publicar la tabla de quemado por servicio en el panel de operación.
**Días 31 a 60, limitar.** Un tiempo de espera declarado por dependencia, un presupuesto de reintentos por proceso, un cortocircuito con umbral por cada llamada saliente, una profundidad máxima de cola y un descartador de carga en el camino crítico. Cada límite se acompaña de su métrica y de la guía que dice qué hacer cuando salta.
**Días 61 a 90, ensayar.** Caer una dependencia de verdad en preproducción, medir cuánto tarda el sistema en recuperarse y cuánto tráfico se pierde. El resultado es el documento que permite decidir: subir un peldaño en la escalera de recuperación, aceptar el riesgo por escrito o retirar esa dependencia de la ruta crítica.
Para quién es esto
Este artículo va para quien firma el presupuesto y para quien lo gasta: responsables de plataforma, CTOs y managers de ingeniería que reciben la pregunta "qué hacemos para que esto no se repita" y necesitan responder con una cifra, un dueño y una fecha. No es un manual de cortocircuitos ni de colas de mensajes. Es la manera de convertir un incidente en una decisión de gobierno que se puede revisar cada trimestre.
La charla de Sam Newman está en InfoQ desde el 19 de agosto de 2026, con transcripción completa, y su libro dedica un capítulo al colapso progresivo y a la recuperación entre sitios. Merece la pena leer las dos cosas y salir de la conversación con una pregunta incómoda para el comité: con el presupuesto que tenemos, ¿qué dependencias estamos aceptando que nos tumben, y quién lo ha firmado?