Proxmox. Кластер

Создать кластер из 2-х гипервизоров PVE

PVE1

- Datacenter - Cluster - Create Cluster

Копируем в буфер обмена Join information

PVE2

- Datacenter - Cluster - Join Cluster

Вставляем Join information из буфера в соответствующее окно

Готово!

Теперь оба хоста в одном кластере и управлять кластером и обоими хостами можно с любого хоста - pve1 или pve2

Удалить кластер целиком (cluster remove)

systemctl stop pve-cluster corosync

pmxcfs -l

rm /etc/corosync/*

rm /etc/pve/corosync.conf

killall pmxcfs

systemctl start pve-cluster

Удалить одну ноду из кластера

pvecm delnode <NODE_NAME>

rm -rf /etc/pve/nodes/<NODE_NAME>

Теперь удаленная нода не будет отображаться на остальных нодах в веб-интерфейсе и консоли.

Если удаленная нода вышла из строя - этого достаточно. Мы удалили её и забыли о ней. Но если мы хотим использовать удаленную из кластера ноду как отдельный гипервизор - необходимо сделать на ней следующее (иначе на этой ноде будет отображаться информация о нодах в удаленном кластере):

Удалить кластер, в котором она была, целиком

systemctl stop pve-cluster corosync

pmxcfs -l

rm /etc/corosync/*

rm /etc/pve/corosync.conf

killall pmxcfs

systemctl start pve-cluster

Удалить информацию о нодах удаленном кластере (НЕ ТРОГАЯ ДИРЕКТОРИЮ С КОНФИГУРАЦИЕЙ ТЕКУЩЕЙ НОДЫ)

rm -rf /etc/pve/nodes/pve01-test

rm -rf /etc/pve/nodes/pve02-test

Статус кластера

pvecm nodes

...
Membership information
----------------------
    Nodeid      Votes Name
         1          1 pve01-test (local)
         2          1 pve02-test
...

Миграция ВМ между нодами PVE с общим разделом RBD

Подключаем к любой ноде блочное устройство (например, RDB из системы CEPH). После подключения блочное устройство автоматически появится как локальное хранилище на всех нодах кластера: Proxmox. Mount Ceph RBD image

Вариант 1. Обе ноды PVE онлайн

ПКМ на ВМ - Migrate - target: pve02

Произойдет живая миграция. ВМ не выключится. ВМ исчезнет на pve01 и через несколько секунд появится на pve02, так как виртуальный ЖД, подключенный к ВМ, остался все на том же сетевом SAN хранилище, по сути мигрирует только настройка ВМ и опертивная память.

Вариант 2. Нода pve01 офлайн

В данном случае миграцию через веб-интерфейс выполнить не получится

Необходимо ввести следующую команду на оставшейся онлайн ноде pve02:

pvecm expected 1

Теперь в консоли pve02 просто переносим конфиг машины в директорию pve02:

mv /etc/pve/nodes/pve01-test/qemu-server/100.conf /etc/pve/nodes/pve02-test/qemu-server/

ВМ появится в веб-интерфейсе pve02.

Когда pve01 вернется онлайн - вводим в консоли:

pvecm expected 2

Теперь снова можно делать живую миграцию обратно на pve01.

Ошибка в браузере при попытке получить доступ к web-интерфейсу после присоединения к кластеру

Ошибка:

   SEC_ERROR_REUSED_ISSUER_AND_SERIAL

Решение:

   rm /etc/pve/local/pve-ssl.pem /etc/pve/local/pve-ssl.key

   systemctl restart pveproxy