Problema

En entornos de hiper‑convergencia, es frecuente migrar máquinas virtuales de un hipervisor propietario (por ejemplo, ESXi) a una solución basada en Linux como Proxmox. Cuando el servidor es un HPE DL385 Gen10 equipado con la controladora RAID P408i‑a y una tarjeta HPE 12G SAS Expander, aparecen dos cuellos de botella habituales:

  1. El controlador RAID no está optimizado para Ceph – el firmware está pensado para RAID tradicional, no para exponer discos como dispositivos crudos.
  2. Desconocimiento del tipo de conector de la Expander – sin saber si los puertos internos son SFF‑8643, SFF‑8088 u otro, es imposible reutilizar el cableado existente al cambiar a una HBA “IT mode”.

El resultado típico es una migración que se detiene en la fase de hardware: el nuevo HBA no encaja físicamente o los discos no aparecen en Proxmox. La solución pasa por identificar correctamente los conectores y elegir una HBA que pueda operar en modo “IT” (passthrough) sin necesidad de volver a cablear todo el chasis.

Causa

1. Controladora RAID en modo “RAID”

El P408i‑a está firmwareado para crear volúmenes RAID y presentar LUNs a ESXi. En Ceph, cada disco debe ser accesible como un dispositivo block sin capas de abstracción. Cuando la controladora sigue en modo RAID, Ceph no puede gestionar los discos de forma individual y el rendimiento se degrada.

2. Conectores internos no estándar

HPE suele usar cables SFF‑8643 (cable de 4 × SAS) para conectar la Expander a la controladora. Otros fabricantes (LSI, Broadcom) emplean SFF‑8088 (cable de 4 × SAS‑3) o SFF‑8644 (cable de 8 × SAS). Si el instalador asume que cualquier cable “SAS” sirve, puede terminar con un conector físico incompatible o con una pérdida de señal.

3. Falta de documentación de la placa base

En los servidores DL385 la tarjeta Expander está montada en la ranura PCIe 3.0 x8, pero la hoja de datos de la placa base no siempre indica el pin‑out exacto del backplane. Sin esa información, el técnico no sabe si el cableado interno está “forward‑facing” (del host a la Expander) o “reverse‑facing” (de la Expander al host), lo que afecta la elección de la HBA.

Solución

Paso 1 – Identificar el conector físico

  1. Apaga el nodo y abre el chasis. Busca el conector en la tarjeta Expander; suele estar etiquetado “SAS 12G”.
  2. Compara con una tabla de referencia:
    • SFF‑8643: 36 pines, forma “U” estrecha, usado en cables “Mini‑SAS HD”.
    • SFF‑8088: 36 pines, forma “U” más ancha, usado en cables “Mini‑SAS HD 4×”.
    • SFF‑8644: 68 pines, forma “U” doble, para 8 × SAS.
  3. Verifica la longitud del cable: los cables HPE suelen ser de 0,5 m y terminan en conectores idénticos en ambos extremos. Si el conector del host es idéntico al de la Expander, el cable es “crossover” y puede reutilizarse con cualquier HBA que tenga el mismo tipo de puerto.

Paso 2 – Seleccionar una HBA en modo IT

Los criterios clave son:

Criterio Recomendación
Modo IT Busca “IT mode” o “pass‑through” en la descripción. Las series Broadcom/LSI 9211‑8i, 9207‑8i y 9300‑8i son opciones probadas.
PCIe Gen La Expander está en PCIe 3.0 x8; una HBA PCIe 3.0 x8 o x4 es suficiente.
Conector Elige una HBA con puertos SFF‑8643 si ese es el conector identificado; de lo contrario, SFF‑8088. Algunas HBA vienen con adaptadores intercambiables.
Compatibilidad de firmware Asegúrate de que el firmware sea “bare‑metal” (no RAID). La mayoría de los modelos IT mode ya lo cumplen.

Ejemplo práctico: una Broadcom 9211‑8i con firmware IT y puertos SFF‑8643 encaja directamente en la mayoría de los DL385 que usan SFF‑8643. Si la Expander tiene SFF‑8088, la variante 9211‑8i (SFF‑8088) o un adaptador SFF‑8643 → SFF‑8088 resuelve el problema sin cambiar cables.

Paso 3 – Reutilizar el cableado existente

  1. Confirma la dirección del cable (host → Expander). En modo IT, la HBA actúa como host, por lo que el mismo cable funciona siempre que los conectores coincidan.
  2. Prueba de continuidad: con un multímetro o un tester de SAS, verifica que cada par de pines esté conectado correctamente.
  3. Instala la HBA en la ranura PCIe libre, conecta el cable y asegura el tornillo de retención.

Paso 4 – Configurar Proxmox y Ceph

  1. Actualiza el firmware de la HBA a la última versión IT disponible.
  2. En Proxmox, ejecuta lsblk o pveam available para confirmar que los discos aparecen como /dev/sdX.
  3. Crea el OSD de Ceph con ceph-volume lvm create --data /dev/sdX. Repite para cada disco conectado a la Expander.

Paso 5 – Desactivar el RAID del P408i‑a (opcional)

Si prefieres mantener la P408i‑a en el servidor pero sin usarla, simplemente desactiva los volúmenes RAID en la BIOS/UEFI y deja la controladora sin discos asignados. De esta forma la HBA gestiona todo el tráfico SAS y el P408i‑a queda inactivo pero disponible para futuros usos.

Cuándo aplicar esta solución

  • Síntomas típicos: Ceph no detecta discos, los discos aparecen como “unassigned” en Proxmox, o el nodo muestra errores de “SAS link down”.
  • Entorno: servidores HPE DL385 Gen10 (o cualquier modelo con P408i‑a y SAS Expander) que migran de ESXi a Proxmox/Ceph.
  • Requisitos: acceso físico al chasis, posibilidad de instalar una HBA adicional y de actualizar firmware.

No aplicar cuando:

  • El chasis solo tiene ranuras PCIe 2.0 y la HBA seleccionada requiere PCIe 3.0 x8 para el ancho de banda deseado.
  • La Expander usa conectores propietarios que no tienen equivalentes en el mercado (caso raro en DL385).

Código

# Listar dispositivos PCI y buscar la HBA recién instalada
lspci -nn | grep -i "SAS"

# Ver los discos detectados por el kernel
lsblk -d -o NAME,MODEL,SIZE,TYPE

# Crear OSD en Ceph para cada disco (ejemplo con /dev/sdb)
ceph-volume lvm create --data /dev/sdb

Verificación

  1. Comprobar enlaces SAS: sas2ircu 0 display (para controladoras LSI) mostrará “Link Rate” y “Link State”.
  2. Validar que Ceph reconoce los OSD: ceph -s debe listar los OSD creados y su estado “up”.
  3. Monitorear rendimiento: iostat -xz 1 5 en los dispositivos /dev/sdX para asegurarse de que no hay cuellos de botella de enlace.

Si los OSD aparecen y el rendimiento es consistente con la capacidad de la Expander (aprox. 12 Gb/s por puerto), la migración está completa.

Notas adicionales

  • Adaptadores de conector: los adaptadores pasivos SFF‑8643 → SFF‑8088 son baratos y evitan comprar cables nuevos. Sin embargo, siempre verifica la especificación de velocidad; un adaptador de 6 Gb/s en un enlace de 12 Gb/s degradará el rendimiento.
  • Firmware de la Expander: HPE lanza actualizaciones que corrigen problemas de “link flapping”. Mantenerla al día evita desconexiones intermitentes.
  • Plan de respaldo: antes de retirar el P408i‑a, clona la configuración de la BIOS/UEFI. En caso de que la HBA falle, volver a la configuración RAID puede salvar datos críticos.
  • Alineación de discos: Ceph recomienda usar discos sin particiones y con alineación de 4 KB para evitar lecturas de bloques innecesarias.
  • Temperatura: la HPE 12G SAS Expander genera calor; asegúrate de que el flujo de aire del chasis no se vea comprometido al añadir la HBA, especialmente si ocupa una ranura cercana al ventilador.