Introducción

A medida que crecen las flotas de Kubernetes en Amazon EKS, la brecha entre los recursos reservados y los realmente utilizados se convierte en un problema de costos. Un cluster con baja utilización consume cómputo que se paga pero no se aprovecha; a escala de miles de clusters, el desperdicio se acumula en millones de dólares anuales. El ajuste estático de recursos es una solución obvia, pero no la más eficiente: Kubernetes no ofrece una solución lista para usar que ajuste continuamente CPU y memoria según la demanda real en una flota multi-tenant grande.

Este artículo es una guía práctica para construir una estrategia de autoscaling multidimensional con el Vertical Pod Autoscaler (VPA) y el Horizontal Pod Autoscaler (HPA) en Amazon EKS, siguiendo el enfoque que Salesforce aplicó en su plataforma de más de 1.400 clusters en producción. Al terminar, podrás configurar workloads que right-size dinámicamente, evitar conflictos entre escaladores, y reducir costos de infraestructura con controles de seguridad reproducibles.

Qué es y para qué sirve

El VPA ajusta las requests de CPU y memoria de los pods según el consumo observado. Es útil para workloads que escalan por tamaño de recurso y no por cantidad de réplicas, como patrones leader-follower donde agregar réplicas no aporta beneficio. El HPA ajusta el número de réplicas de Deployments, ReplicaSets, ReplicationControllers y StatefulSets usando métricas de recursos integradas o métricas externas personalizadas; es ideal para workloads stateless que escalan horizontalmente.

La combinación de ambos permite autoscaling multidimensional: VPA para right-sizing vertical y HPA para escalado horizontal. El control plane de Istio (istiod) es un ejemplo representativo donde VPA ajusta CPU y memoria de los pods y HPA ajusta la cantidad de réplicas según el número de proxies de data plane conectados. La clave para que ambos convivan es escalar sobre métricas distintas, evitando que VPA y HPA compitan por la misma señal.

Prerequisitos

  • Kubernetes 1.24 o superior en Amazon EKS, con soporte para VPA instalado (el add-on de VPA en EKS se instala desde la consola o con eksctl; en la documentación de AWS se indica el add-on aws-guarddamm y vpa según la versión).
  • Acceso a un cluster de EKS con nodos en un node pool identificado y kubectl configurado con el contexto del cluster.
  • Permisos de IAM para leer CloudWatch metrics y para que el VPA updater gestione pods (rol de servicio de Kubernetes con pods/resize y pods/evict en el namespace objetivo).
  • Un workload con métricas de uso disponibles: kubectl top pods debe devolver datos, o CloudWatch debe tener métricas de CPU/memoria.
  • Un entorno de staging o no productivo para validar el comportamiento antes de producción.

Guía paso a paso

  1. Instalar el add-on de VPA en el cluster de EKS. Con eksctl o la consola de AWS, agregar el add-on de VPA. Verificar que los componentes estén corriendo:
eksctl get addon --cluster <nombre-del-cluster> --region <region>
kubectl get pods -n kube-system | grep vpa

Resultado esperado: el add-on vpa aparece en la lista y los pods vpa-controller, vpa-updater y vpa-recommender están en estado Running.

  1. Habilitar el modo Off (read-only) para el VPA en el workload inicial. El modo Off permite recolectar telemetría y revisar recomendaciones sin reiniciar pods ni ajustar recursos en producción:
apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: istiod-vpa
  namespace: istio-system
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: istiod
  updatePolicy:
    updateMode: "Off"

Aplicar con kubectl apply -f istiod-vpa.yaml. Verificar con kubectl describe vpa istiod-vpa -n istio-system que updateMode sea Off y que el recomendador genere recomendaciones tras varios ciclos.

  1. Configurar la política de recursos con controlledValues: "RequestsOnly". Esto permite que VPA gestione solo requests de CPU y memoria y deja los limits tal como están definidos en el workload, evitando throttling o terminación de pods durante picos de carga:
apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: istiod-vpa
  namespace: istio-system
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: istiod
  updatePolicy:
    updateMode: "Auto"
  resourcePolicy:
    containerPolicies:
    - containerName: "*"
      controlledValues: "RequestsOnly"
      maxAllowed:
        cpu: "4"
        memory: "8Gi"

Resultado esperado: al aplicar, kubectl get vpa istiod-vpa -n istio-system -o yaml muestra controlledValues: RequestsOnly y maxAllowed con límites acordes al node pool.

  1. Definir límites de recursos con margen de seguridad. Antes de fijar limits, ejecutar pruebas de escala para establecer perfiles de pico real. Como regla, configurar limits al menos 4 veces el máximo uso observado:
kubectl top pods -n istio-system --containers

Con el máximo de uso, por ejemplo 200m de CPU y 256Mi de memoria, configurar limits en el Deployment de istiod:

resources:
  requests:
    cpu: "100m"
    memory: "128Mi"
  limits:
    cpu: "800m"
    memory: "1Gi"

Resultado esperado: el workload tiene límites holgados que absorben picos transitorios, y las requests son gestionadas por VPA.

  1. Configurar HPA sobre una métrica independiente del VPA. Para istiod, HPA escala réplicas según el número de proxies conectados, una métrica externa o personalizada. El VPA escala verticalmente sobre CPU y memoria; el HPA lo hace sobre conexiones. Ejemplo con métrica personalizada de Prometheus:
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: istiod-hpa
  namespace: istio-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: istiod
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: External
    external:
      metric:
        name: istio_connected_proxies
        selector:
          matchLabels:
            app: istiod
      target:
        type: AverageValue
        averageValue: 150

Resultado esperado: kubectl get hpa istiod-hpa -n istio-system muestra un target de conexiones y réplicas entre 2 y 10. Verificar que HPA no use CPU ni memoria, para no colisionar con VPA.

  1. Ajustar el intervalo del updater de VPA para evitar eviciones continuas. El updater debe correr periódicamente, no continuamente; Salesforce lo restringe a cada 30 minutos. En el add-on de VPA en EKS, configurar el intervalo desde el values.yaml del add-on o con el parámetro del pod --min-recommendation-interval y --update-interval según la versión:
kubectl set env deployment/vpa-updater -n kube-system -- --update-interval=30m

Resultado esperado: el deployment del updater se reinicia y kubectl logs muestra ciclos de actualización cada 30 minutos, reduciendo eviciones y manteniendo estabilidad.

  1. Validar en staging antes de producción. Repetir los pasos 2 a 6 en un cluster de staging con el mismo workload, revisar recomendaciones durante varios ciclos, y luego promover a producción con updateMode: Auto. Resultado esperado: no hay incidentes que impacten clientes y los recursos se ajustan gradualmente.

Consideraciones y buenas prácticas

  • El VPA está pensado para optimización de estado estable y de largo plazo, no para picos súbitos de tráfico. Usa el algoritmo de histograma con ventana de 8 días y pondera los datos recientes; los picos se manejan mejor con limits holgados y HPA.
  • No uses VPA para actualizar limits: con controlledValues: RequestsOnly evitas throttling o terminación de pods durante picos, porque VPA no puede subir el limit lo suficiente.
  • VPA y HPA pueden convivir si no escalan sobre la misma métrica. Configura VPA sobre CPU/memoria y HPA sobre métricas externas o personalizadas adecuadas a la aplicación, para evitar race conditions y conflictos de escalado.
  • Define maxAllowed en la política de recursos del VPA para que las recomendaciones no excedan el máximo allocatable de los nodos del node pool; sin límites superiores, VPA puede recomendar recursos que superan la capacidad del nodo y causar oversizing.
  • Tune el updater para que corra periódicamente (30 minutos) y no continuamente, minimizando eviciones y previniendo inestabilidad del workload.
  • Migrar del Cluster Autoscaler tradicional a Karpenter si el objetivo es optimizar cómputo y autoservicio de infraestructura; es una iniciativa complementaria, no un requisito para VPA/HPA.

Conclusión

Una estrategia de autoscaling multidimensional con VPA y HPA en Amazon EKS permite cerrar la brecha entre recursos reservados y utilizados a escala de flota. El enfoque de Salesforce —VPA para right-sizing vertical, HPA para escalado horizontal, métricas independientes, modo Off inicial y límites holgados— es reproducible en cualquier plataforma multi-tenant. Implementar estos pasos en staging, revisar telemetría y promover a producción con controles de seguridad reduce costos de infraestructura de forma gradual y sostenible.

Fuentes

  • https://aws.amazon.com/blogs/containers/how-salesforce-efficiently-right-sizes-kubernetes-workloads-at-scale-on-amazon-eks/
  • https://lobste.rs/
  • https://www.helpnetsecurity.com/

Por Neutron

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *