Proxmox. Кластер: различия между версиями

Текущая версия на 14:27, 31 марта 2023

Создать кластер из 2-х гипервизоров PVE

PVE1

- Datacenter - Cluster - Create Cluster

Копируем в буфер обмена Join information

PVE2

- Datacenter - Cluster - Join Cluster

Вставляем Join information из буфера в соответствующее окно

Готово!

Теперь оба хоста в одном кластере и управлять кластером и обоими хостами можно с любого хоста - pve1 или pve2

Удалить кластер целиком (cluster remove)

systemctl stop pve-cluster corosync

pmxcfs -l

rm /etc/corosync/*

rm /etc/pve/corosync.conf

killall pmxcfs

systemctl start pve-cluster

Удалить одну ноду из кластера

pvecm delnode <NODE_NAME>

rm -rf /etc/pve/nodes/<NODE_NAME>

Теперь удаленная нода не будет отображаться на остальных нодах в веб-интерфейсе и консоли.

Если удаленная нода вышла из строя - этого достаточно. Мы удалили её и забыли о ней. Но если мы хотим использовать удаленную из кластера ноду как отдельный гипервизор - необходимо сделать на ней следующее (иначе на этой ноде будет отображаться информация о нодах в удаленном кластере):

Удалить кластер, в котором она была, целиком

systemctl stop pve-cluster corosync

pmxcfs -l

rm /etc/corosync/*

rm /etc/pve/corosync.conf

killall pmxcfs

systemctl start pve-cluster

Удалить информацию о нодах удаленном кластере (НЕ ТРОГАЯ ДИРЕКТОРИЮ С КОНФИГУРАЦИЕЙ ТЕКУЩЕЙ НОДЫ)

rm -rf /etc/pve/nodes/pve01-test

rm -rf /etc/pve/nodes/pve02-test

Статус кластера

pvecm nodes

...
Membership information
----------------------
    Nodeid      Votes Name
         1          1 pve01-test (local)
         2          1 pve02-test
...

Миграция ВМ между нодами PVE-кластера с общим разделом RBD

Создаем кластер PVE как минимум из 2-х нод.

Подключаем к любой ноде блочное устройство (например, RDB из системы CEPH). После подключения блочное устройство автоматически появится как локальное хранилище на всех нодах кластера: Proxmox. Mount Ceph RBD image

Вариант 1. Обе ноды PVE онлайн

ПКМ на ВМ - Migrate - target: pve02

Произойдет живая миграция. ВМ не выключится. ВМ исчезнет на pve01 и через несколько секунд появится на pve02, так как виртуальный ЖД, подключенный к ВМ, остался все на том же сетевом SAN хранилище, по сути мигрирует только настройка ВМ и опертивная память.

Вариант 2. Нода pve01 офлайн

В данном случае миграцию через веб-интерфейс выполнить не получится

Необходимо ввести следующую команду на оставшейся онлайн ноде pve02:

pvecm expected 1

Теперь в консоли pve02 просто переносим конфиг машины в директорию pve02:

mv /etc/pve/nodes/pve01-test/qemu-server/100.conf /etc/pve/nodes/pve02-test/qemu-server/

ВМ появится в веб-интерфейсе pve02.

Когда pve01 вернется онлайн - вводим в консоли:

pvecm expected 2

Теперь снова можно делать живую миграцию обратно на pve01.

Ошибка в браузере при попытке получить доступ к web-интерфейсу после присоединения к кластеру

Ошибка:

SEC_ERROR_REUSED_ISSUER_AND_SERIAL

Решение:

rm /etc/pve/local/pve-ssl.pem /etc/pve/local/pve-ssl.key

systemctl restart pveproxy

@@ Строка 15: / Строка 15: @@
 Теперь оба хоста в одном кластере и управлять кластером и обоими хостами можно с любого хоста - '''pve1''' или '''pve2'''
-== Удалить кластер (cluster remove) ==
+== Удалить кластер целиком (cluster remove) ==
 <code>systemctl stop pve-cluster corosync</code>
@@ Строка 27: / Строка 27: @@
 <code>systemctl start pve-cluster</code>
+== Удалить одну ноду из кластера ==
+<code>pvecm delnode '''<NODE_NAME>'''</code>
+<code>rm -rf /etc/pve/nodes/'''<NODE_NAME>'''</code>
+Теперь удаленная нода не будет отображаться на остальных нодах в веб-интерфейсе и консоли.<blockquote>Если удаленная нода вышла из строя - этого достаточно. Мы удалили её и забыли о ней.
+Но если мы хотим использовать удаленную из кластера ноду как отдельный гипервизор - необходимо сделать на ней следующее (иначе на этой ноде будет отображаться информация о нодах в удаленном кластере):</blockquote>Удалить кластер, в котором она была, целиком
+<code>systemctl stop pve-cluster corosync</code>
+<code>pmxcfs -l</code>
+<code>rm /etc/corosync/*</code>
+<code>rm /etc/pve/corosync.conf</code>
+<code>killall pmxcfs</code>
+<code>systemctl start pve-cluster</code>
+Удалить информацию о нодах удаленном кластере (НЕ ТРОГАЯ ДИРЕКТОРИЮ С КОНФИГУРАЦИЕЙ ТЕКУЩЕЙ НОДЫ)
+<code>rm -rf /etc/pve/nodes/pve01-test</code>
+<code>rm -rf /etc/pve/nodes/pve02-test</code>
+== Статус кластера ==
+<code>pvecm nodes</code>
+ ...
+ Membership information
+ ----------------------
+     Nodeid      Votes Name
+         1 pve01-test (local)
+         1 pve02-test
+ ...
+== Миграция ВМ между нодами PVE-кластера с общим разделом RBD ==
+Создаем кластер PVE как минимум из 2-х нод.
+Подключаем к любой ноде блочное устройство (например, RDB из системы CEPH). После подключения блочное устройство автоматически появится как локальное хранилище на всех нодах кластера: [[Proxmox. Mount Ceph RBD image]]
+=== Вариант 1. Обе ноды PVE онлайн ===
+'''ПКМ на ВМ - Migrate - target: pve02'''
+Произойдет '''живая''' миграция. ВМ не выключится. ВМ исчезнет на '''pve01''' и через несколько секунд появится на '''pve02''', так как виртуальный ЖД, подключенный к ВМ, остался все на том же сетевом SAN хранилище, по сути мигрирует только настройка ВМ и опертивная память.
+=== Вариант 2. Нода '''pve01''' офлайн ===
+В данном случае миграцию через веб-интерфейс выполнить не получится
+Необходимо ввести следующую команду на оставшейся онлайн ноде '''pve02:'''
+<code>pvecm expected 1</code>
+Теперь в консоли '''pve02''' просто переносим конфиг машины в директорию '''pve02:'''
+<code>mv /etc/pve/nodes/pve01-test/qemu-server/100.conf /etc/pve/nodes/pve02-test/qemu-server/</code>
+ВМ появится в веб-интерфейсе '''pve02'''.
+Когда '''pve01''' вернется онлайн - вводим в консоли:
+<code>pvecm expected 2</code>
+Теперь снова можно делать живую миграцию обратно на '''pve01'''.
 == Ошибка в браузере при попытке получить доступ к web-интерфейсу после присоединения к кластеру ==