Virtualización

Cómo cambiar la red de Corosync en Proxmox VE sin perder el quórum

Por Equipo Cloud Privado · · 12 min de lectura
Dos servidores unidos por una línea gris discontinua que se retira y una línea roja nueva que la sustituye

Las claves en 30 segundos

  • No cambies primero las IP. Con dos nodos, en cuanto dejan de verse cada uno se queda con un voto de dos y /etc/pve pasa a solo lectura, justo cuando tenías que editar corosync.conf.
  • Lo más seguro es añadir un enlace y luego quitar el viejo. En nuestra prueba, añadir link1, cortar la red antigua y retirar link0 no dejó ni una muestra sin quórum.
  • Corosync no cambia en caliente la dirección de un enlace que ya existe. La documentación dice que los cambios se aplican en vivo; en nuestra prueba con Corosync 3.1.9, la recarga se rechazó y hubo que reiniciar el servicio.
  • Con HA activa, desarma antes de empezar. Perder el quórum puede disparar el autofencing a los 60 segundos. Desde Proxmox VE 9.2 existe ha-manager crm-command disarm-ha, pensado justo para esto.
  • Nunca edites /etc/pve/corosync.conf directamente. Se aplica al guardar. Trabaja sobre una copia y sube config_version.
  • Si el QDevice conserva su IP, no hay que reinstalarlo. Su certificado no depende de ninguna dirección.
  • Corosync es solo una parte. Después toca /etc/hosts, el cortafuegos, la red de migración, Ceph y la monitorización.

Un clúster nace casi siempre con Corosync en la misma red que la gestión, porque es lo que propone el asistente. Meses después llega la consecuencia: la propia documentación recomienda una red separada, porque Corosync es una aplicación de tiempo real y no le sienta bien competir con copias de seguridad o migraciones. O bien toca renumerar porque cambia el direccionamiento de toda la sala.

Mover Corosync a otra red no exige reconstruir el clúster, aunque sí requiere hacerlo en un orden concreto. Hemos montado un laboratorio con dos nodos en Debian 13 y Corosync 3.1.9 para comprobar qué ocurre en cada variante. Lo específico de Proxmox, como pmxcfs, HA o pvecm, está contrastado con la documentación de Proxmox VE 9.2 y su código, no con esa prueba.

Por qué hay tanto riesgo

Corosync reparte los votos del clúster, y sin mayoría de votos Proxmox se defiende de dos maneras:

El sistema de ficheros del clúster pasa a solo lectura. Sin quórum no se puede escribir en /etc/pve, y ahí vive corosync.conf. No puedes corregir el fichero que necesitas corregir, salvo con pvecm expected 1.

La alta disponibilidad se protege a base de reiniciar. Si un nodo con servicios de HA activos pierde el quórum, deja de refrescar el watchdog y se reinicia a los 60 segundos. Es el comportamiento correcto ante un fallo real. En un mantenimiento planificado, es un apagón que te has provocado tú.

Por eso cambiar las direcciones de los nodos y arreglar luego la configuración es mala idea. Lo probamos en el laboratorio: con dos nodos, un enlace y la IP cambiada en ambos, los dos pasaron a Quorate: No con un voto de dos. En Proxmox, eso deja /etc/pve en solo lectura antes de que hayas podido tocar nada. Quitar antes un QDevice, como proponen algunas guías, no cambia el resultado: te quedas con dos votos, y la mayoría de dos son dos.

Lo que comprobamos en el laboratorio

PruebaResultado
Añadir link1 y recargarEnlace activo, sin reinicio y sin perder quórum
Cortar la red de link0Clúster en pie por link1
Retirar link0 y recargarEnlace eliminado, sin reinicio
Todo lo anterior, muestreando cada 0,5 s41 muestras, 0 sin quórum
Cambiar la IP de los nodos antes que la configuraciónQuorate: No, un voto de dos en ambos
Cambiar ring0_addr en un enlace activo, subiendo config_versionRecarga rechazada, sigue con la dirección vieja
Reiniciar Corosync tras ese cambio, nodo a nodoFunciona, con pérdida breve de quórum hasta el segundo nodo

El sexto caso merece detalle, porque contradice lo que parece decir la documentación de Proxmox, que asegura que los cambios se aplican en vivo y que el reinicio no es estrictamente necesario. Con las dos IP nuevas ya levantadas y config_version subido, Corosync respondió esto:

new config has different address for link 0 (addr changed from 10.70.0.11 to 10.70.0.21). Internal value was NOT changed.
Cannot configure new interface definitions: To reconfigure an interface it must be deleted and recreated. A working interface needs to be available to corosync at all times

La segunda línea es la pista del método bueno: hay que borrar y volver a crear, y siempre debe quedar una interfaz funcionando. Eso se hace con dos enlaces. Es lo que vimos en Corosync 3.1.9; si tu versión se comporta de otra forma, los pasos siguientes funcionan igual.

El método bueno: añadir y luego retirar

Cambiar la red de Corosync añadiendo un enlace antes de retirar el viejo Tres fases con dos nodos. Al principio solo existe link0 en la red vieja. Después se añade link1 en la red nueva y los dos conviven. Por último se retira link0 y queda link1, sin que el clúster llegue a perder el quórum. Debajo, el atajo que falla: si se cambian primero las IP, los nodos dejan de verse, cada uno se queda con un voto de dos y /etc/pve pasa a solo lectura. 1. Hoy Nodo 1 Nodo 2 link0: red vieja 2 votos de 2 un enlace 2. Añades link1 Nodo 1 Nodo 2 link0 + link1 2 votos de 2 sin reiniciar 3. Retiras link0 Nodo 1 Nodo 2 link1: red nueva 2 votos de 2 0 muestras sin quórum El atajo que falla: cambiar primero las IP Nodo 1 1 voto Nodo 2 1 voto sin ruta Ningún nodo llega a la mayoría de dos votos. /etc/pve pasa a solo lectura y no puedes editar corosync.conf, con HA a 60 s de reiniciar el nodo.
Cambiar la red de Corosync añadiendo un enlace antes de retirar el viejo Tres fases con dos nodos. Al principio solo existe link0 en la red vieja. Después se añade link1 en la red nueva y los dos conviven. Por último se retira link0 y queda link1, sin que el clúster llegue a perder el quórum. Debajo, el atajo que falla: si se cambian primero las IP, los nodos dejan de verse, cada uno se queda con un voto de dos y /etc/pve pasa a solo lectura. 1. Hoy Nodo 1 Nodo 2 link0: vieja 2 votos de 2, un enlace 2. Añades link1 Nodo 1 Nodo 2 link0: vieja link1: nueva 2 votos de 2, sin reiniciar 3. Retiras link0 Nodo 1 Nodo 2 link1: nueva 0 muestras sin quórum El atajo que falla Nodo 1 1 voto Nodo 2 1 voto sin ruta Si cambias primero las IP, ningún nodo llega a la mayoría. /etc/pve pasa a solo lectura, con HA a 60 s de reiniciar.
En cada momento hay al menos un enlace vivo, que es exactamente lo que exige Corosync. El atajo de abajo deja a los nodos sin verse.

Corosync admite hasta ocho enlaces, gracias a Kronosnet. Ese soporte, que suele usarse para tener redundancia, sirve también para mudarse sin corte. El ejemplo pasa de 192.168.10.0/24 a 10.20.20.0/24 en un clúster de dos nodos, y vale igual para más.

Paso 1: prepara la salida

Ten a mano la consola remota de cada servidor (iDRAC, iLO o IPMI), porque si la red falla el SSH no te va a ayudar. Haz una copia y mira el estado de partida:

pvecm status
corosync-cfgtool -n
cp /etc/pve/corosync.conf /root/corosync.conf.antes

Paso 2: desarma HA

Con HA activa, desármala antes de tocar nada. La prueba no perdió el quórum, pero el fencing no es algo con lo que quieras apostar:

ha-manager crm-command disarm-ha freeze
ha-manager status

freeze deja los servicios como están y es la opción más segura si todos los nodos van a seguir encendidos. Espera a que ha-manager status muestre el desarme, porque si hay migraciones en curso se aplaza hasta que terminen. Mientras dure, HA no protege nada: si un nodo cae, nadie levanta sus máquinas. Así que ventana corta. Y no aproveches para actualizar paquetes con HA desarmada; el Roadmap recoge un problema conocido al hacerlo con migraciones en marcha.

En versiones anteriores a la 9.2 este comando no existe. Sube antes de versión, siguiendo los pasos de actualizar un clúster sin parada, o planifica una ventana mayor, con las VM de HA quitadas de su gestión.

Paso 3: levanta la red nueva sin apagar la vieja

Las dos direcciones tienen que convivir. Si es otra interfaz o VLAN, créala en cada nodo. Si es el mismo puente, ifupdown2 admite varias direcciones en la misma interfaz:

auto vmbr0
iface vmbr0 inet static
        address 192.168.10.11/24
        address 10.20.20.11/24
        gateway 192.168.10.1
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

Aplica con ifreload -a y comprueba el camino desde cada nodo al resto. No basta con un ping corto, mira también la latencia:

ping -c 20 10.20.20.12

El cortafuegos, ahora y no luego. Corosync usa UDP entre los puertos 5405 y 5412, y cada enlace va en uno distinto (en nuestra prueba, link1 escuchó en el 5406). El cortafuegos de Proxmox abre ese tráfico para local_network, que se detecta desde la IP del nodo, así que una red nueva puede no estar incluida. Compruébalo con pve-firewall localnet.

Paso 4: añade el enlace nuevo

Trabaja sobre una copia, porque cualquier cambio en el fichero real se aplica en cuanto se guarda:

cp /etc/pve/corosync.conf /etc/pve/corosync.conf.new
nano /etc/pve/corosync.conf.new

Añade ring1_addr a cada nodo, una interfaz con linknumber: 1 y sube config_version:

nodelist {
  node {
    name: pve1
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 192.168.10.11
    ring1_addr: 10.20.20.11
  }
  node {
    name: pve2
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 192.168.10.12
    ring1_addr: 10.20.20.12
  }
}

totem {
  cluster_name: produccion
  config_version: 5
  interface {
    linknumber: 0
  }
  interface {
    linknumber: 1
  }
  ...
}

Luego, copia de seguridad y sustitución:

cp /etc/pve/corosync.conf /etc/pve/corosync.conf.bak
mv /etc/pve/corosync.conf.new /etc/pve/corosync.conf

pmxcfs reparte el fichero y Corosync carga el enlace sin reinicio. Verifica que aparece conectado en todos los nodos:

corosync-cfgtool -n
journalctl -b -u corosync --since "5 min ago"

Debes ver algo así, con los dos enlaces en connected:

nodeid: 2 reachable
   LINK: 0 udp (192.168.10.11->192.168.10.12) enabled connected mtu: 1397
   LINK: 1 udp (10.20.20.11->10.20.20.12) enabled connected mtu: 1397

Paso 5: comprueba que el enlace nuevo aguanta solo

Hasta que no lo veas funcionar sin el viejo, no lo des por bueno. Con la misma prioridad, Corosync prefiere el número de enlace más bajo, así que el tráfico puede seguir por link0. Quita de forma temporal la conectividad de la red vieja entre nodos en uno de ellos y comprueba con pvecm status que sigue todo sano. Si la red vieja lleva también la gestión, hazlo desde la consola remota.

Paso 6: retira el enlace viejo

Mismo procedimiento: copia, editar, subir versión y sustituir. Borra los ring0_addr de todos los nodos y el bloque interface con linknumber: 0.

corosync-cfgtool -n
pvecm status

Quedarse con el enlace número 1 no tiene nada de malo. Solo recuerda, si añades un nodo más tarde y pasas enlaces de forma explícita, que pvecm add exige que coincidan con los del clúster: tendrás que usar --link1, no --link0.

Antes de hacer esto, piénsalo un momento: ¿de verdad quieres retirarlo? Si la red vieja sigue existiendo, déjala como enlace de reserva. Es la recomendación oficial para una red compartida, con menor prioridad, y te da redundancia gratis. Para eso, invierte la prioridad con knet_link_priority en cada interfaz, de forma que el enlace dedicado tenga el valor más alto.

Paso 7: rearma HA

ha-manager crm-command arm-ha
ha-manager status

Si no hay más remedio que el corte

A veces las dos direcciones no pueden convivir: un cambio de VLAN en el conmutador que afecta a todo a la vez, o un traslado de sala. Entonces toca el método clásico, aceptando una pérdida breve de quórum. El orden es lo importante:

  1. Desarma HA, como en el paso 2.
  2. Edita corosync.conf mientras aún hay quórum, sobre la copia, con las direcciones nuevas en ring0_addr y la versión subida. Tras el mv, el fichero llega a todos los nodos. Por lo que vimos en la prueba, cuenta con un error de recarga en el registro: Corosync seguirá con las direcciones viejas hasta que se reinicie.
  3. Cambia las IP en cada nodo con ifreload -a.
  4. Reinicia Corosync con systemctl restart corosync, un nodo y luego el siguiente. El clúster recupera el quórum cuando hay mayoría en la red nueva.
  5. Rearma HA cuando pvecm status esté limpio.

Si algo sale mal y un nodo se queda sin quórum con la configuración equivocada, tienes dos salidas documentadas. pvecm expected 1 lo vuelve escribible para arreglar /etc/pve/corosync.conf, solo si sabes que el otro nodo no está escribiendo también. Y si Corosync no arranca, se puede editar la copia local /etc/corosync/corosync.conf, dejándola idéntica en todos los nodos. Por eso guardaste el fichero en /root antes de empezar.

El QDevice

En un clúster de dos nodos es probable que tengas un QDevice como tercer voto, así que la pregunta es qué hacer con él. Depende de si cambia su dirección.

Si conserva la IP y sigue siendo accesible desde la red nueva, no debería hacer falta tocarlo. El QDevice habla con los nodos por TCP y su certificado se emite con el sujeto CN=Qnetd Server, sin ninguna IP dentro; lo hemos comprobado en un corosync-qnetd real. Aun así, no hemos probado un cambio de direcciones con un QDevice conectado, así que al terminar verifica en pvecm status que los votos siguen siendo tres.

Si cambia su IP, hay que volver a configurarlo, porque la dirección está en corosync.conf:

pvecm qdevice remove
# Cambia la IP del servidor del QDevice y comprueba el acceso por SSH con clave
pvecm qdevice setup 10.20.20.50
pvecm status

Reinstalar corosync-qnetd no debería hacer falta. Según el código, pvecm qdevice remove limpia el almacén de certificados de los nodos y setup inicializa el servidor sin fallar si ya lo estaba, así que deja la purga para cuando la configuración se queje. Si aparece Host key verification failed, la documentación indica pvecm updatecerts. Mientras esté retirado, un clúster de dos nodos no aguanta la caída de ninguno, otra razón para ser breve.

Lo que hay que revisar además de Corosync

Si solo has movido Corosync y la gestión se queda donde estaba, esta lista se reduce a la mitad. Si has renumerado el nodo, la necesitas entera.

DóndeQué mirar
/etc/hostsEl nombre del nodo debe resolver a la IP correcta, aunque Corosync use IP directas
pve-clusterpmxcfs resuelve la IP del nodo al arrancar; tras cambiar /etc/hosts, reinicia el servicio
Certificados y SSHpvecm updatecerts si cambia el nombre o la dirección
Cortafuegospve-firewall localnet, alias y reglas con IP antiguas
Red de migración y replicaciónmigration y replication en /etc/pve/datacenter.cfg
Cephpublic_network y cluster_network. Es otro procedimiento, no lo mezcles con este
AlmacenamientoListas de acceso en NFS, iSCSI y Proxmox Backup Server
MonitorizaciónLas plantillas de Zabbix o Grafana y las alertas que apunten a la IP vieja
Accesos externosBalanceadores, VPN, proxies y documentación de la red

Si hay más de una red que mover

La documentación recomienda cambiar un enlace cada vez, para que sea fácil recuperarse si algo falla. Sigue esa regla también con el resto: primero Corosync, luego gestión, después migración y almacenamiento. Dejar pasar un día entre uno y otro no es perder el tiempo. Si algo empieza a ir raro, querrás saber cuál de los cambios lo causó.

Y aprovecha para revisar el valor de token_coefficient. Desde Proxmox VE 9.2 los clústeres nuevos se crean con 125 ms, pero uno ya existente sigue con 650 ms si no lo tiene configurado. La documentación explica cuándo conviene bajarlo, y el tema importa sobre todo si usas alta disponibilidad, porque el clúster debe reorganizarse antes de que venza el watchdog.

Lista de comprobación

  1. Consola remota probada en todos los nodos.
  2. Copia de corosync.conf fuera de /etc/pve.
  3. HA desarmada y verificada.
  4. Red nueva levantada, con latencia y cortafuegos comprobados.
  5. link1 añadido, conectado y probado sin la red vieja.
  6. link0 retirado, o conservado como enlace de reserva.
  7. HA rearmada y QDevice con sus votos.
  8. /etc/hosts, migración, almacenamiento y monitorización revisados.

Cómo lo hacemos en Cloud Privado

En los clústeres que gestionamos, Corosync va desde el principio en red separada y con un segundo enlace, de modo que un cambio de red es una operación de rutina y no un plan de contingencia. Si estás ante una renumeración o quieres sacar Corosync de la red de gestión, en Proxmox en cloud privado contamos cómo trabajamos.

Preguntas frecuentes

¿Se puede cambiar la red de Corosync sin parar las máquinas virtuales?

Sí. Corosync no lleva el tráfico de las VM, y con el método de añadir y retirar el enlace el clúster no llega a perder el quórum en nuestra prueba. Las máquinas siguen funcionando aunque se pierda de forma breve, siempre que HA no provoque un reinicio.

¿Hay que reiniciar Corosync para añadir un enlace?

No. En nuestra prueba, añadir o retirar enlaces se aplicó con una recarga, que en Proxmox se lanza sola al cambiar el fichero. Reiniciar solo hizo falta al cambiar la dirección de un enlace ya existente.

¿Qué pasa si olvido subir config_version?

La documentación avisa de que puede dar problemas y pide subirlo en cada cambio. No te lo saltes: es lo que permite distinguir la configuración nueva de la antigua.

¿Puedo editar /etc/corosync/corosync.conf?

Solo para recuperar un nodo cuando Corosync no arranca. En condiciones normales se edita la copia de /etc/pve, que se propaga a todos los nodos. Al revés no funciona.

¿Cuántas redes debería tener Corosync?

Al menos dos enlaces, cada uno en una conexión física distinta. El principal, dedicado y de baja latencia; el secundario puede ser una red compartida con menor prioridad. Más vale un enlace congestionado que ninguno.

¿Sirve este método para un clúster de tres nodos o más?

Sí, es el mismo: añade la dirección en todos los nodos, comprueba y retira. Con tres nodos tienes algo más de margen, porque perder uno no rompe el quórum, pero el riesgo de cambiarlos a la vez es idéntico.

Fuentes


¿Tienes Corosync compartiendo red con todo lo demás? En Cloud Privado te ayudamos a planificar el cambio y a dejar el clúster con enlaces redundantes, sobre Proxmox gestionado en centros de datos en España.

¿Proxmox en producción sin llevarlo tú?

Si prefieres no cargar con la operación, dinos qué tienes y qué te falta. Te contamos qué opciones hay para llevarlo gestionado.

Respuesta en 24–48 h laborables · Sin compromiso

¿Prefieres el correo? Escríbenos a comercialcloudprivado.com