Links

https://avamk.ru/nastrojka-klastera-clickhouse-steb-by-step-chast-2.html

Description

Clickhouse 3-node Cluster + Zookeeper.

Installation

Zookeeper

Выполняется на всех нодах Zookeeper. Можно установить на тех же нодах, где будет установлен Clickhouse, но, минимальное количество нод Zookeeper - 3, в то время как для кластера Clickhouse достаточно 2-х нод)

Java

apt update

apt install -y default-jre-headless

Создаем пользователя

useradd --system --no-create-home --shell=/sbin/nologin zookeeper

Скачиваем, распаковываем и переносим в нужное место Zookeeper, подготавливаем папку для данных и раздаем права

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz

tar xzf apache-zookeeper-3.8.3-bin.tar.gz -C /app/

mv /app/apache-zookeeper-3.8.3-bin /app/zookeeper

mkdir -p /app/zookeeper-data && chown -R zookeeper:zookeeper /app/zookeeper /app/zookeeper-data

Создаем конфигурационный файл

vim /app/zookeeper/conf/zoo.cfg

dataDir=/app/zookeeper-data
clientPort=2181
maxClientCnxns=0
tickTime=2000
initLimit=10
syncLimit=5
server.1=10.162.201.161:2888:3888
server.2=10.162.201.162:2888:3888
server.3=10.162.201.163:2888:3888
autopurge.purgeInterval=1
autopurge.snapRetainCount=5

На каждой ноде указываем ее ID (соответствует цифре после точки в конфиге: server.1=10.162.201.161:2888:3888)

echo 1 > /app/zookeeper-data/myid

Создаем службу zookeeper.service

vim /lib/systemd/system/zookeeper.service

[Unit]
Description=ZooKeeper Service
Documentation=http://zookeeper.apache.org
Requires=network.target
After=network.target
 
[Service]
Type=forking
User=zookeeper
Group=zookeeper
ExecStart=/app/zookeeper/bin/zkServer.sh start
ExecStop=/app/zookeeper/bin/zkServer.sh stop
ExecReload=/app/zookeeper/bin/zkServer.sh restart
WorkingDirectory=/app/zookeeper-data
 
[Install]
WantedBy=default.target

systemctl daemon-reload

systemctl start zookeeper.service && systemctl status zookeeper.service

Проверяем

ss -tunlp

...
tcp            LISTEN          0               50                        *:2181                                 *:*              users:(("java",pid=19095,fd=48))
tcp            LISTEN          0               50                        [::ffff:10.162.201.158]:3888           *:*              users:(("java",pid=19095,fd=60))
tcp            LISTEN          0               50                        *:8080                                 *:*              users:(("java",pid=19095,fd=52))
...

Clickhouse

Добавляем gpg-ключ репозитория

vim /tmp/key-clickhouse

apt-key add /tmp/key-clickhouse

apt install -y apt-transport-https ca-certificates dirmngr

apt autoremove

apt update

Добавление репозитория

echo "deb https://packages.clickhouse.com/deb stable main" > /etc/apt/sources.list.d/clickhouse.list

apt update

Установка

Крайняя версия

apt install -y clickhouse-server clickhouse-client

-ИЛИ-

Конкретная версия

apt install clickhouse-common-static=23.3.19.32 clickhouse-server=23.3.19.32 clickhouse-client=23.3.19.32

Назначение прав на файлы конфигурации

chmod 744 /etc/clickhouse-server/users.xml

chmod 744 /etc/clickhouse-server/config.xml

chmod -R g+w /app/zookeeper/

chmod -R g+w /app/zookeeper-data/

Изменение конфигурации пользователей

vim /etc/clickhouse-server/users.xml

После <quota>default</quota> добавить:

...
<quota>default</quota>
<access_management>1</access_management>
<named_collection_control>1</named_collection_control>
<show_named_collections>1</show_named_collections>
<show_named_collections_secrets>1</show_named_collections_secrets>
...

Пароль default user (тот же пароль, который мы вводили при установке) <password><20 символов без спецсимволов></password>

...
<password>4fgh947g9485g70ghg</password>
...

Бэкап оригинального конфига сервера

cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config.xml.ORIG

Изменение конфигурации сервера

vim /etc/clickhouse-server/config.xml

...
<listen_host>0.0.0.0</listen_host>
...
<path>/app/clickhouse/</path>
...
# Для кластерной конфигурации добавить
# Несколько shard
<remote_servers>
    <default>
        <shard>
            <replica>
                <host>node1.domain.local</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <replica>
                <host>node2.domain.local</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <replica>
                <host>node3.domain.local</host>
                <port>9000</port>
            </replica>
        </shard>
    </default>
</remote_servers>

# ИЛИ для одного shard

<remote_servers>
    <default>
        <shard>
            <replica>
                <host>node1.domain.local</host>
                <port>9000</port>
            </replica>
            <replica>
                <host>node2.domain.local</host>
                <port>9000</port>
            </replica>
            <replica>
                <host>node3.domain.local</host>
                <port>9000</port>
            </replica>
        </shard>
    </default>
</remote_servers>

# Секция zookeeper (можно удалить, если не будет использоваться Zookeeper)
<zookeeper>
    <node>
        <host>zoo01.domain.local</host>
        <port>2181</port>
    </node>
    <node>
        <host>zoo02.domain.local</host>
        <port>2181</port>
    </node>
    <node>
        <host>zoo03.domain.local</host>
        <port>2181</port>
    </node>
</zookeeper>

# Секция macros
<macros>
        <shard>01</shard>
        # Количество реплик (фактически - нод)
        <replica>03</replica>
    </macros>
...

chown -R clickhouse /app

systemctl enable clickhouse-server

systemctl start clickhouse-server && systemctl status clickhouse-server

Проверка

Clickhouse

clickhouse-client --user default --password PbHwtDHp0Zfy7bmDon4x

SELECT * FROM system.clusters FORMAT Vertical;

SELECT * FROM system.zookeeper WHERE path = '/'

Zookeeper

/app/zookeeper/bin/zkCli.sh -server localhost:2181 get /zookeeper/config

Проверяем и создаем пользователей

clickhouse-client --user default --password 4fgh947g9485g70ghg

Пример - adm01

CREATE USER adm01 IDENTIFIED by 'PassWord#1';

GRANT ALL ON *.* TO adm01 WITH GRANT OPTION;

show users;

Резервное копирование

установка deb

`wget https://github.com/Altinity/clickhouse-backup/releases/download/v2.4.2/clickhouse-backup_2.4.2_amd64.deb` `apt install ./clickhouse-backup_2.4.2_amd64.deb`

Просмотреть все элементы конфигурации по умолчанию:

`clickhouse-backup default-config`

Создадим директорию хранения конфигов.

`mkdir -p /clickhouse-backup/`

Укажем параметры для подключения к СУБД clickhouse:

`cat > /etc/clickhouse-backup/config.yml` `clickhouse:` `username: default` `password: "RwWw1UOQcIcLk6bVsDBF"` `host: localhost` `port: 9000` `data_path: "/app/clickhouse/"` `remote_storage: none` `general:` `remote_storage: none` `backups_to_keep_local: 7` `backups_to_keep_remote: 31`

Проверить, можем ли мы подключиться к нашей clickhouse. Можно сделать это простым запросом:

`clickhouse-backup tables`

Для проверки создадим резервную копию

`clickhouse-backup create test.backup-07112023`

-Просмотр файлов резервных копий

clickhouse-backup list

-Удалить файл резервной копии

clickhouse-backup delete local "name-backup"

-Очистить временный файл резервной копии

clickhouse-backup clean

- Восстановление данных

clickhouse-backup restore "name_backup"

Добавление в cron задачи резервного копирования:

vi /var/lib/clickhouse/backup-clickhouse.sh

#!/bin/bash

BACKUP_NAME=backup-clickhouse-$(date +%Y-%m-%d)

clickhouse-backup create $BACKUP_NAME

crontab -e

23 00 * * * /var/lib/clickhouse/backup-clickhouse.sh

Clickhouse. Debian. Clickhouse + Zookeeper installation

Содержание

Links

Description

Installation

Zookeeper

Clickhouse

Резервное копирование

Добавление в cron задачи резервного копирования:

Навигация

Поиск