Wiki - Вклад [ru]

HDD. Расширить Системный или НЕсистемный (без ОС) раздел ext4 (обычный, не LVM) в виртуальной машине среды ESXi

2026-04-02T10:04:22Z

Cless: Cless переименовал страницу HDD. Расширить НЕсистемный (без ОС) раздел ext4 (обычный, не LVM) в виртуальной машине среды ESXi в HDD. Расширить Системный или НЕсистемный (без ОС) раздел ext4 (обычный, не LVM) в виртуальной машине среды ESXi без оставления перенаправления

[[Категория:HDD]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Системный диск =
РАСШИРЕНИЕ СИСТЕМНОГО РАЗДЕЛА /(root). НЕ LVM. ИСПОЛЬЗУЕМ growfs

// dev/sda1

=== До расширения ===
root@test1:~# df -h

Файловая система Размер Использовано Дост Использовано% Cмонтировано в

udev 3,9G 0 3,9G 0% /dev

tmpfs 797M 9,1M 788M 2% /run

/dev/sda1 41G 37G 2,6G 94% /

tmpfs 3,9G 1,1M 3,9G 1% /dev/shm

tmpfs 5,0M 0 5,0M 0% /run/lock

tmpfs 797M 0 797M 0% /run/user/1005

root@test1:~# lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT

sda 8:0 0 150G 0 disk

└─sda1 8:1 0 41G 0 part /

sr0 11:0 1 506K 0 rom

=== Расширяем ===
root@test1:~# growpart /dev/sda 1

CHANGED: partition=1 start=2048 old: size=85981151 end=85983199 new: size=314570719,end=314572767

root@test1:~# resize2fs /dev/sda1

resize2fs 1.44.5 (15-Dec-2018)

Filesystem at /dev/sda1 is mounted on /; on-line resizing required

old_desc_blocks = 6, new_desc_blocks = 19

The filesystem on /dev/sda1 is now 39321339 (4k) blocks long.

=== После расширения ===
root@test1:~# lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT

sda 8:0 0 150G 0 disk

└─sda1 8:1 0 150G 0 part /

sr0 11:0 1 506K 0 rom

root@test1:~# df -h

Файловая система Размер Использовано Дост Использовано% Cмонтировано в

udev 3,9G 0 3,9G 0% /dev

tmpfs 797M 9,1M 788M 2% /run

/dev/sda1 148G 37G 106G 26% /

tmpfs 3,9G 1,1M 3,9G 1% /dev/shm

tmpfs 5,0M 0 5,0M 0% /run/lock

tmpfs 797M 0 797M 0% /run/user/1005

= НЕсистемный диск =

== Ссылки ==
https://qastack.ru/server/509468/how-to-extend-an-ext4-partition-and-filesystem
== Описание ==
<blockquote>В данном случае речь идет о расширении "физического" виртуального диска виртуальной машины в системе ESXI</blockquote>В ВМ Сentos7 имеем диск 1ГБ и отформатированный на нем раздел /dev/sdb1 размером 1ГБ, смонтированный в /mnt/d1

df -h
...
Filesystem Size Used Avail Use% Mounted on
/dev/sdb1 1.0G 4.0M 0.8G 1% /mnt/d1
...

== Расширение раздела ==
Выключаем ВМ, расширяем виртуальный диск в ВМ до 4ГБ, включаем ВМ

Запускаем "parted"

<code>parted</code>

Выбираем диск

<code>select /dev/sdb</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1074MB 1073MB primary ext4
...
Система не даст расширить раздел до объема большего, чем объем самого диска, будет ошибка:

<code>(parted) resizepart 1 4296</code>
Error: The location 4296 is outside of the device /dev/sdb.
Расширяем объем раздела

<code>(parted) resizepart 1 4295</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 4295MB 4294MB primary ext4
 display the version number and copyright information of GNU Parted
...
Выходим из "parted"

<code>(parted) quit</code>

Если диск отмонтирован, можно проверить ФС

Монтированный диск система не даст проверить<blockquote>(НЕОБЯЗАТЕЛЬНО, в моем случае удалось расширить раздел не отмонтируя и не проверяя его)</blockquote><code>e2fsck -f /dev/sdb1</code>

Расширяем ФС на разделе

<code>resize2fs /dev/sdb1</code>
...
resize2fs 1.42.9 (28-Dec-2013)
Filesystem at /dev/sdb1 is mounted on /mnt/d1; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 1
The filesystem on /dev/sdb1 is now 1048320 blocks long.
...
<code>df -h</code>
...
Filesystem Size Used Avail Use% Mounted on
/dev/sdb1 4.0G 4.0M 3.8G 1% /mnt/d1
...
Проверим наличие и содержимое файла, который был на разделе до его расширения

<code>cat /mnt/d1/test.txt</code>
...
всем привет
ля ля ля
...

HDD. Расширить Системный или НЕсистемный (без ОС) раздел ext4 (обычный, не LVM) в виртуальной машине среды ESXi

2026-04-02T10:03:48Z

Cless:

Mikrotik. NAT Loopback (NAT Hairpin)

2026-03-19T17:00:39Z

Cless:

== Описание ==
Необходимо с ЛОКАЛЬНОЙ машины достучаться через ВНЕШНИЙ интерфейс (с помощью проброса порта через DST-NAT) обратно на какую-нибудь локальную машину.

== Настройка ==

=== Способ 1 ===

'''Пример 1'''

В следующем примере мы пройдем с локальной машины из подсети 9 на локальный сервер 192.168.9.12 через маршрутизатор 192.168.9.8 обратно в локалку по порту 22026/UDP на машину 192.168.9.12

'''109.106.130.82, 77.241.254.254''' - адреса двух внешних интерфейсов

<code>/ip firewall nat add chain=dstnat action=dst-nat src-address="192.168.9.0/24" dst-address=109.106.130.82 protocol=udp dst-port=22026 \</code>

<code>in-interface="$lan" to-addresses="192.168.9.12" ;</code>

<code>/ip firewall nat add chain=dstnat action=dst-nat src-address="192.168.9.0/24" dst-address=77.241.254.254 protocol=udp dst-port=22026 \</code>

<code>in-interface="$lan" to-addresses="192.168.9.12" ;</code>

<code>/ip firewall nat add chain=srcnat action=src-nat out-interface="$lan" dst-address="192.168.9.12" src-address="$net" protocol=udp \</code>

<code>dst-port=22026 to-addresses="192.168.9.8" ;</code>

<code>/ip firewall nat add chain=srcnat action=src-nat out-interface="$lan" dst-address="192.168.9.12" src-address="$net" protocol=udp \</code>

<code>dst-port=22026 to-addresses="192.168.9.8" ;</code>

'''Пример 2'''

178.210.50.111 - внешний интерфейс

192.168.8.0/24 - локальная сеть, из которой инициируем подключение

192.168.8.1 - адрес маршрутизатора

10.1.8.203 - адрес назначения (в другой подсети того же контура)

64999 - порт назначения

/ip firewall nat add action=dst-nat chain=dstnat dst-address=178.210.50.111 dst-port=64999 in-interface=bridge-local protocol=tcp src-address=192.168.8.0/24 to-addresses=10.1.8.203

/ip firewall nat add chain=dstnat action=dst-nat src-address="192.168.8.0/24" dst-address=178.210.50.111 protocol=tcp dst-port=64999 in-interface="bridge-local" to-addresses="10.1.8.203" ;

/ip firewall nat add chain=srcnat action=src-nat out-interface="bridge-local" dst-address="10.1.8.203" src-address="192.168.8.0/24" protocol=tcp dst-port=64999 to-addresses="192.168.8.1" ;

=== Способ 2 (ПРОВЕРИТЬ!) ===
Первым этапом нужно промаркировать (''new-packet-mark=nat-loopback'') те пакеты, которые пришли на внешний адрес маршрутизатора (''dst-address=203.0.113.5'') из локальной сети (''in-interface=LAN'') и являются новыми соединениями (''connection-state=new'').

<code>/ip firewall mangle</code>

<code>add chain=prerouting comment="NAT Loopback detect" dst-address=203.0.113.5 in-interface=LAN connection-state=new action=mark-packet new-packet-mark=nat-loopback passthrough=yes</code>

Теперь нужно написать обработчик пакета, который сработает после того как пакет пройдет маршрутизацию и будет на выходе в локальную сеть, в таблице mangle необходимо заменить адрес источника на адрес маршрутизатора.

<code>/ip firewall nat</code>

<code>add chain=srcnat packet-mark=nat-loopback action=masquerade comment="NAT Loopback replace address"</code>

Таким образом, появляется возможность писать правила проброса портов в обычном виде по одному на порт или несколько портов. Они будут работать как и в классическом сценарии (при поступлении извне), так и в случае поступления запросов из локальной сети.

<code>/ip firewall nat</code>

<code>add chain=dstnat dst-address=203.0.113.5 protocol=tcp dst-port=80,443 action=dst-nat to-addresses=192.168.88.5</code>

<code>add chain=dstnat dst-address=203.0.113.5 protocol=tcp dst-port=8080 action=dst-nat to-addresses=192.168.88.20</code>

<code>add chain=dstnat dst-address=203.0.113.5 protocol=tcp dst-port=25,143 action=dst-nat to-addresses=192.168.88.100</code>
[[Категория:Mikrotik]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Mikrotik. RouterOS 7. Автоматическое переключение между двумя провайдерами. Балансировка входящего трафика

2026-03-04T16:27:11Z

Cless:

= Переключалка провайдеров + мониторинг провайдеров + входящие соединения input в микротик или проброс dst-nat с внешки до локального ip-адреса в локальную сеть через любого из 2-х провайдеров =

== Переключалка+балансировка ==

=== Ссылки ===
<nowiki>https://mikrotik-training.ru/files/MUoM/2021/kuznetsov.pdf</nowiki>

=== Настройка ===
Имеется 2 провайдера, у обоих есть статический внешний IP-адрес (Также инструкция подойдет для 3-х или более провайдеров с соответствующими дополнительными аналогичными настройками).

* ether3-wan1_ttk_NEW - интерфейс ISP1
* ether4-wan2_beeline_NEW - интерфейс ISP2

* 213.129.118.1 - шлюз ISP1
* 194.186.163.88 - шлюз ISP2
* 77.88.8.8, 208.67.222.222 - внешние публичные 24/7 доступные IP

Необходимо:

* ПРИ ОТКЛЮЧЕНИИ ОСНОВНОГО ПРОВАЙДЕРА ШЛЮЗ ПО-УМОЛЧАНИЮ ПЕРЕКЛЮЧАЕТСЯ НА РЕЗЕРВНОГО
* чтобы сам микрот отвечал (например на ICMP запрос на внешний провайдерский IP-адрес) во внешку по тому провайдеру, по которому запрос пришел
* чтобы при подключении с внешки до IP-адреса любого из 2-х провайдеров, мы могли подключиться до внутреннего сервера через проброс dst-nst

Создаем группу WAN интерфейсов<syntaxhighlight lang="bash">
/interface list
add name=WAN

/interface list member
add interface=ether3-wan1_ttk_NEW list=WAN
add interface=ether4-wan2_beeline_NEW list=WAN
</syntaxhighlight>SRC-NAT на группе WAN интерфейсов<syntaxhighlight lang="bash">
/ip firewall nat add action=masquerade chain=srcnat comment=NAT_masquerade_wan-all out-interface-list=WAN
</syntaxhighlight>

=== ВАРИАНТ 1. 2 ISP ===
<syntaxhighlight lang="bash">
/routing table
add disabled=no fib name=route-table-gw1
add disabled=no fib name=route-table-gw2
</syntaxhighlight><syntaxhighlight lang="bash">
/ip route
add comment=gw1 distance=201 gateway=213.129.118.1
add comment=gw2 distance=202 gateway=194.186.163.88
add comment=gw1_via_custom_route_table gateway=213.129.118.1 routing-table=route-table-gw1
add comment=gw2_via_custom_route_table gateway=194.186.163.88 routing-table=route-table-gw2
add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=213.129.118.1 scope=11
add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=194.186.163.88 scope=11
add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11
add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11

/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!WAN new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!WAN new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes
</syntaxhighlight>

=== ВАРИАНТ 2. 3 ISP ===
<syntaxhighlight lang="bash">
/routing table
add disabled=no fib name=route-table-gw1
add disabled=no fib name=route-table-gw2
add disabled=no fib name=route-table-gw3

/ip route
add comment=gw1 distance=201 gateway=188.235.62.254
add comment=gw2 distance=202 gateway=ether4-wan2_pppoe-client_intercon

add comment=gw3 distance=203 gateway=172.24.199.1
add comment=gw1_via_custom_route_table gateway=188.235.62.254 routing-table=route-table-gw1
add comment=gw2_via_custom_route_table gateway=ether4-wan2_pppoe-client_intercon routing-table=route-table-gw2
add comment=gw3_via_custom_route_table gateway=172.24.199.1 routing-table=route-table-gw3
add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=188.235.62.254 scope=11
add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=ether4-wan2_pppoe-client_intercon scope=11
add comment=gw3_via_pub3_chk dst-address=77.88.8.3/32 gateway=172.24.199.1 scope=11
add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11
add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11
add check-gateway=ping comment=pub3_gw3_chk distance=103 gateway=77.88.8.3 target-scope=11

/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!-WAN- new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!-WAN- new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp3 in-interface-list=!-WAN- new-routing-mark=route-table-gw3 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp3 new-routing-mark=route-table-gw3 passthrough=yes
</syntaxhighlight>Готово

Пробуем пинговать с внешки IP-адреса провайдеров

Каждый должен пинговаться

Пробуем ходить с внешки на IP-адреса провайдеров по порту 80,

По каждому провайдеру проходим до веб-сервера 192.168.1.50

ОТКЛЮЧАЕМ ОСНОВНОГО ПРОВАЙДЕРА - ТРАФИК ИДЕТ ЧЕРЕЗ ШЛЮЗ РЕЗЕРВНОГО

== Мониторинг провайдеров ==

=== Ссылки ===
<nowiki>https://vasilevkirill.ru/routeros-check-internet-v7/</nowiki>

=== Настройка ===

* 213.129.118.208 - публичный адрес провайдера 1 на нашем микроте
* 194.186.163.89 - публичный адрес провайдера 2 на нашем микроте
* 213.129.118.1 - основной шлюз isp1
* 194.186.163.88 - основной шлюз isp2

адреса, которые будем пинговать для проверки через isp1:

* 176.99.13.13
* 31.177.85.186

адреса, которые будем пинговать для проверки через isp2:

* 93.158.134.1
* 5.101.159.11

Создадим таблицы и правила для прохождения трафика до спец IP через определенных провайдеров

<syntaxhighlight lang="bash">
ПЕРВЫЙ ПРОВАЙДЕР:

/routing/table add name=via-isp1 fib comment="chk"
/routing/rule add dst-address=176.99.13.13/32 action=lookup-only-in-table table=via-isp1 comment="chk"
/routing/rule add dst-address=31.177.85.186/32 action=lookup-only-in-table table=via-isp1 comment="chk"
/ip route add dst-address=0.0.0.0/0 gateway=213.129.118.1 routing-table=via-isp1 comment="chk"

ВТОРОЙ ПРОВАЙДЕР:

/routing/table add name=via-isp2 fib comment="chk"
/routing/rule add dst-address=93.158.134.1/32 action=lookup-only-in-table table=via-isp2 comment="chk"
/routing/rule add dst-address=5.101.159.11/32 action=lookup-only-in-table table=via-isp2 comment="chk"
/ip route add dst-address=0.0.0.0/0 gateway=194.186.163.88 routing-table=via-isp2 comment="chk"

Создадим правила netwatch для проверки пингами спец внешних IP через определенных провайдеров

/tool netwatch
add comment=ns1.reg.ru disabled=no down-script="" host=176.99.13.13 http-codes="" interval=30s name=isp1-chk1 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns9.nic.ru disabled=no down-script="" host=31.177.85.186 http-codes="" interval=30s name=isp1-chk2 port=53 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns1.beget.com disabled=no down-script="" host=5.101.159.11 http-codes="" interval=30s name=isp2-chk2 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns2.yandex.ru disabled=no down-script="" host=93.158.134.1 http-codes="" interval=30s name=isp2-chk1 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
</syntaxhighlight>
<syntaxhighlight lang="bash">
/system script add name=monitor
</syntaxhighlight><syntaxhighlight lang="bash">
/system script edit monitor source
</syntaxhighlight>
<syntaxhighlight lang="bash">
#####
#
# Monitor ros7 v.2026-02-14_isp2
# by Cless
#
#####

:local NetWatchIsp1CountUp [/tool/netwatch/print count-only where name~"isp1" disabled=no status=up];
:local NetWatchIsp2CountUp [/tool/netwatch/print count-only where name~"isp2" disabled=no status=up];

#ISP1 CHK
:if (($NetWatchIsp1CountUp > 0)) do={
:global isp1Status "OK";
} else={
:global isp1Status "FAIL";
};

#ISP2 CHK
:if (($NetWatchIsp2CountUp > 0)) do={
:global isp2Status "OK";
} else={
:global isp2Status "FAIL";
};

#ACTIVE GW CHK
:local gw1active [ip route get value-name=active [find where comment~"pub1_gw1_chk"]] ;
:local gw2active [ip route get value-name=active [find where comment~"pub2_gw2_chk"]] ;

:if (($gw1active=true) && ($gw2active!=true)) do={
:global gwActive "gw1";
};

:if (($gw1active!=true) && ($gw2active=true)) do={
:global gwActive "gw2";
};

# DEBUG
:global gwActive;
:global isp1Status;
:global isp2Status;
:put "gwActive $gwActive ; isp1Status $isp1Status ; isp2Status $isp2Status";
</syntaxhighlight><syntaxhighlight lang="bash">
/system scheduler
add disabled=yes interval=30s name=chk on-event=chk policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup
add interval=1m name=monitor on-event=monitor policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup
</syntaxhighlight>

Готово!<syntaxhighlight lang="bash">
/system/script/environment/print

...
2 gwActive gw1
3 isp1Status OK
4 isp2Status OK
...
</syntaxhighlight>

== На Zabbix ==
<syntaxhighlight lang="bash">
apt install python3-librouteros
</syntaxhighlight><syntaxhighlight lang="bash">
vim ./mikrotikVarGet.py
</syntaxhighlight><syntaxhighlight lang="bash">
#!/usr/bin/python3

import sys
import json
from librouteros import connect

# ARGs check
if len(sys.argv) < 5:
print("Usage: script.py <IP> <username> <password> <variable_name>")
sys.exit(1)

# Connection parameters
IP = sys.argv[1]
USERNAME = sys.argv[2]
PASSWORD = sys.argv[3]
mikrotikApiVarName = sys.argv[4]

try:
api = connect(
host=IP,
username=USERNAME,
password=PASSWORD
)

all_vars = list(api('/system/script/environment/print'))
for i, var in enumerate(all_vars):
if var.get('name') == mikrotikApiVarName:
print(var.get('value', ''))
sys.exit(0)

except Exception as e:
print(f"DEBUG: Error: {e}", file=sys.stderr)
print("")
sys.exit(1)
</syntaxhighlight>

Далее на Zabbix проверяем значение переменных Item и создаем триггеры.

Например:<syntaxhighlight lang="bash">
mikrotikVarGet.py["{HOST.CONN}","uplit","Pass#","isp1Status"]
</syntaxhighlight>

Mikrotik. RouterOS 7. Автоматическое переключение между двумя провайдерами. Балансировка входящего трафика

2026-03-03T18:21:49Z

Cless:

= Переключалка провайдеров + мониторинг провайдеров + входящие соединения input в микротик или проброс dst-nat с внешки до локального ip-адреса в локальную сеть через любого из 2-х провайдеров =

== Переключалка+балансировка ==

=== Ссылки ===
<nowiki>https://mikrotik-training.ru/files/MUoM/2021/kuznetsov.pdf</nowiki>

=== Настройка ===
Имеется 2 провайдера, у обоих есть статический внешний IP-адрес (Также инструкция подойдет для 3-х или более провайдеров с соответствующими дополнительными аналогичными настройками).

* ether3-wan1_ttk_NEW - интерфейс ISP1
* ether4-wan2_beeline_NEW - интерфейс ISP2

* 213.129.118.1 - шлюз ISP1
* 194.186.163.88 - шлюз ISP2
* 77.88.8.8, 208.67.222.222 - внешние публичные 24/7 доступные IP

Необходимо:

* ПРИ ОТКЛЮЧЕНИИ ОСНОВНОГО ПРОВАЙДЕРА ШЛЮЗ ПО-УМОЛЧАНИЮ ПЕРЕКЛЮЧАЕТСЯ НА РЕЗЕРВНОГО
* чтобы сам микрот отвечал (например на ICMP запрос на внешний провайдерский IP-адрес) во внешку по тому провайдеру, по которому запрос пришел
* чтобы при подключении с внешки до IP-адреса любого из 2-х провайдеров, мы могли подключиться до внутреннего сервера через проброс dst-nst

Создаем группу WAN интерфейсов<syntaxhighlight lang="bash">
/interface list
add name=WAN

/interface list member
add interface=ether3-wan1_ttk_NEW list=WAN
add interface=ether4-wan2_beeline_NEW list=WAN
</syntaxhighlight>SRC-NAT на группе WAN интерфейсов<syntaxhighlight lang="bash">
/ip firewall nat add action=masquerade chain=srcnat comment=NAT_masquerade_wan-all out-interface-list=WAN
</syntaxhighlight>

=== ВАРИАНТ 1. 2 ISP ===
<syntaxhighlight lang="bash">
/routing table
add disabled=no fib name=route-table-gw1
add disabled=no fib name=route-table-gw2
</syntaxhighlight><syntaxhighlight lang="bash">
/ip route
add comment=gw1 distance=201 gateway=213.129.118.1
add comment=gw2 distance=202 gateway=194.186.163.88
add comment=gw1_via_custom_route_table gateway=213.129.118.1 routing-table=route-table-gw1
add comment=gw2_via_custom_route_table gateway=194.186.163.88 routing-table=route-table-gw2
add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=213.129.118.1 scope=11
add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=194.186.163.88 scope=11
add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11
add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11

/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!WAN new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!WAN new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes
</syntaxhighlight>

=== ВАРИАНТ 2. 3 ISP ===
<syntaxhighlight lang="bash">
/routing table
add disabled=no fib name=route-table-gw1
add disabled=no fib name=route-table-gw2
add disabled=no fib name=route-table-gw3

/ip route
add comment=gw1 distance=201 gateway=188.235.62.254
add comment=gw2 distance=202 gateway=ether4-wan2_pppoe-client_intercon

add comment=gw3 distance=203 gateway=172.24.199.1
add comment=gw1_via_custom_route_table gateway=188.235.62.254 routing-table=route-table-gw1
add comment=gw2_via_custom_route_table gateway=ether4-wan2_pppoe-client_intercon routing-table=route-table-gw2
add comment=gw3_via_custom_route_table gateway=172.24.199.1 routing-table=route-table-gw3
add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=188.235.62.254 scope=11
add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=ether4-wan2_pppoe-client_intercon scope=11
add comment=gw3_via_pub3_chk dst-address=77.88.8.3/32 gateway=172.24.199.1 scope=11
add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11
add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11
add check-gateway=ping comment=pub3_gw3_chk distance=103 gateway=77.88.8.3 target-scope=11

/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes
add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!-WAN- new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!-WAN- new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=prerouting connection-mark=con-isp3 in-interface-list=!-WAN- new-routing-mark=route-table-gw3 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes
add action=mark-routing chain=output connection-mark=con-isp3 new-routing-mark=route-table-gw3 passthrough=yes
</syntaxhighlight>Готово

Пробуем пинговать с внешки IP-адреса провайдеров

Каждый должен пинговаться

Пробуем ходить с внешки на IP-адреса провайдеров по порту 80,

По каждому провайдеру проходим до веб-сервера 192.168.1.50

ОТКЛЮЧАЕМ ОСНОВНОГО ПРОВАЙДЕРА - ТРАФИК ИДЕТ ЧЕРЕЗ ШЛЮЗ РЕЗЕРВНОГО

== Мониторинг провайдеров ==

=== Ссылки ===
<nowiki>https://vasilevkirill.ru/routeros-check-internet-v7/</nowiki>

=== Настройка ===

* 213.129.118.208 - публичный адрес провайдера 1 на нашем микроте
* 194.186.163.89 - публичный адрес провайдера 2 на нашем микроте
* 213.129.118.1 - основной шлюз isp1
* 194.186.163.88 - основной шлюз isp2

адреса, которые будем пинговать для проверки через isp1:

* 176.99.13.13
* 31.177.85.186

адреса, которые будем пинговать для проверки через isp2:

* 93.158.134.1
* 5.101.159.11

Создадим таблицы и правила для прохождения трафика до спец IP через определенных провайдеров

<syntaxhighlight lang="bash">
ПЕРВЫЙ ПРОВАЙДЕР:

/routing/table add name=via-isp1 fib comment="chk"
/routing/rule add dst-address=176.99.13.13/32 action=lookup-only-in-table table=via-isp1 comment="chk"
/routing/rule add dst-address=31.177.85.186/32 action=lookup-only-in-table table=via-isp1 comment="chk"
/ip route add dst-address=0.0.0.0/0 gateway=213.129.118.1 routing-table=via-isp1 comment="chk"

ВТОРОЙ ПРОВАЙДЕР:

/routing/table add name=via-isp2 fib comment="chk"
/routing/rule add dst-address=93.158.134.1/32 action=lookup-only-in-table table=via-isp2 comment="chk"
/routing/rule add dst-address=5.101.159.11/32 action=lookup-only-in-table table=via-isp2 comment="chk"
/ip route add dst-address=0.0.0.0/0 gateway=194.186.163.88 routing-table=via-isp2 comment="chk"

Создадим правила netwatch для проверки пингами спец внешних IP через определенных провайдеров

/tool netwatch
add comment=ns1.reg.ru disabled=no down-script="" host=176.99.13.13 http-codes="" interval=30s name=isp1-chk1 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns9.nic.ru disabled=no down-script="" host=31.177.85.186 http-codes="" interval=30s name=isp1-chk2 port=53 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns1.beget.com disabled=no down-script="" host=5.101.159.11 http-codes="" interval=30s name=isp2-chk2 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns2.yandex.ru disabled=no down-script="" host=93.158.134.1 http-codes="" interval=30s name=isp2-chk1 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

/tool netwatch
add comment=ns1.reg.ru disabled=no down-script="" host=176.99.13.13 http-codes="" interval=30s name=isp1-chk1 src-address=80.82.33.162 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns9.nic.ru disabled=no down-script="" host=31.177.85.186 http-codes="" interval=30s name=isp1-chk2 port=53 src-address=80.82.33.162 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns1.beget.com disabled=no down-script="" host=5.101.159.11 http-codes="" interval=30s name=isp2-chk2 port=53 src-address=178.210.43.248 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
add comment=ns2.yandex.ru disabled=no down-script="" host=93.158.134.1 http-codes="" interval=30s name=isp2-chk1 port=53 src-address=178.210.43.248 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""
</syntaxhighlight>
<syntaxhighlight lang="bash">
/system script add name=monitor
</syntaxhighlight><syntaxhighlight lang="bash">
/system script edit monitor source
</syntaxhighlight>
<syntaxhighlight lang="bash">
#####
#
# Monitor ros7 v.2026-02-14_isp2
# by Cless
#
#####

:local NetWatchIsp1CountUp [/tool/netwatch/print count-only where name~"isp1" disabled=no status=up];
:local NetWatchIsp2CountUp [/tool/netwatch/print count-only where name~"isp2" disabled=no status=up];

#ISP1 CHK
:if (($NetWatchIsp1CountUp > 0)) do={
:global isp1Status "OK";
} else={
:global isp1Status "FAIL";
};

#ISP2 CHK
:if (($NetWatchIsp2CountUp > 0)) do={
:global isp2Status "OK";
} else={
:global isp2Status "FAIL";
};

#ACTIVE GW CHK
:local gw1active [ip route get value-name=active [find where comment~"pub1_gw1_chk"]] ;
:local gw2active [ip route get value-name=active [find where comment~"pub2_gw2_chk"]] ;

:if (($gw1active=true) && ($gw2active!=true)) do={
:global gwActive "gw1";
};

:if (($gw1active!=true) && ($gw2active=true)) do={
:global gwActive "gw2";
};

# DEBUG
:global gwActive;
:global isp1Status;
:global isp2Status;
:put "gwActive $gwActive ; isp1Status $isp1Status ; isp2Status $isp2Status";
</syntaxhighlight><syntaxhighlight lang="bash">
/system scheduler
add disabled=yes interval=30s name=chk on-event=chk policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup
add interval=1m name=monitor on-event=monitor policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup
</syntaxhighlight>

Готово!<syntaxhighlight lang="bash">
/system/script/environment/print

...
2 gwActive gw1
3 isp1Status OK
4 isp2Status OK
...
</syntaxhighlight>

== На Zabbix ==
<syntaxhighlight lang="bash">
apt install python3-librouteros
</syntaxhighlight><syntaxhighlight lang="bash">
vim ./mikrotikVarGet.py
</syntaxhighlight><syntaxhighlight lang="bash">
#!/usr/bin/python3

import sys
import json
from librouteros import connect

# ARGs check
if len(sys.argv) < 5:
print("Usage: script.py <IP> <username> <password> <variable_name>")
sys.exit(1)

# Connection parameters
IP = sys.argv[1]
USERNAME = sys.argv[2]
PASSWORD = sys.argv[3]
mikrotikApiVarName = sys.argv[4]

try:
api = connect(
host=IP,
username=USERNAME,
password=PASSWORD
)

all_vars = list(api('/system/script/environment/print'))
for i, var in enumerate(all_vars):
if var.get('name') == mikrotikApiVarName:
print(var.get('value', ''))
sys.exit(0)

except Exception as e:
print(f"DEBUG: Error: {e}", file=sys.stderr)
print("")
sys.exit(1)
</syntaxhighlight>

Далее на Zabbix проверяем значение переменных Item и создаем триггеры.

Например:<syntaxhighlight lang="bash">
mikrotikVarGet.py["{HOST.CONN}","uplit","Pass#","isp1Status"]
</syntaxhighlight>

Mikrotik. RouterOS 7. Автоматическое переключение между двумя провайдерами. Балансировка входящего трафика

2026-03-03T18:13:19Z

Cless: Новая страница: «= Переключалка провайдеров + мониторинг провайдеров + входящие соединения input в микротик...»

= Переключалка провайдеров + мониторинг провайдеров + входящие соединения input в микротик или проброс dst-nat с внешки до локального ip-адреса в локальную сеть через любого из 2-х провайдеров =

== Переключалка+балансировка ==

=== Ссылки ===
<nowiki>https://mikrotik-training.ru/files/MUoM/2021/kuznetsov.pdf</nowiki>

=== Настройка ===
Имеется 2 провайдера, у обоих есть статический внешний IP-адрес (Также инструкция подойдет для 3-х или более провайдеров с соответствующими дополнительными аналогичными настройками).

* ether3-wan1_ttk_NEW - интерфейс ISP1
* ether4-wan2_beeline_NEW - интерфейс ISP2

* 213.129.118.1 - шлюз ISP1
* 194.186.163.88 - шлюз ISP2
* 77.88.8.8, 208.67.222.222 - внешние публичные 24/7 доступные IP

Необходимо:

* ПРИ ОТКЛЮЧЕНИИ ОСНОВНОГО ПРОВАЙДЕРА ШЛЮЗ ПО-УМОЛЧАНИЮ ПЕРЕКЛЮЧАЕТСЯ НА РЕЗЕРВНОГО
* чтобы сам микрот отвечал (например на ICMP запрос на внешний провайдерский IP-адрес) во внешку по тому провайдеру, по которому запрос пришел
* чтобы при подключении с внешки до IP-адреса любого из 2-х провайдеров, мы могли подключиться до внутреннего сервера через проброс dst-nst

Создаем группу WAN интерфейсов

/interface list

add name=WAN

/interface list member

add interface=ether3-wan1_ttk_NEW list=WAN

add interface=ether4-wan2_beeline_NEW list=WAN

SRC-NAT на группе WAN интерфейсов

/ip firewall nat add action=masquerade chain=srcnat comment=NAT_masquerade_wan-all out-interface-list=WAN

=== ВАРИАНТ 1. 2 ISP ===
/routing table

add disabled=no fib name=route-table-gw1

add disabled=no fib name=route-table-gw2

/ip route

add comment=gw1 distance=201 gateway=213.129.118.1

add comment=gw2 distance=202 gateway=194.186.163.88

add comment=gw1_via_custom_route_table gateway=213.129.118.1 routing-table=route-table-gw1

add comment=gw2_via_custom_route_table gateway=194.186.163.88 routing-table=route-table-gw2

add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=213.129.118.1 scope=11

add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=194.186.163.88 scope=11

add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11

add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11

/ip firewall mangle

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!WAN new-routing-mark=route-table-gw1 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!WAN new-routing-mark=route-table-gw2 passthrough=yes

add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes

add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes

=== ВАРИАНТ 2. 3 ISP ===
/routing table

add disabled=no fib name=route-table-gw1

add disabled=no fib name=route-table-gw2

add disabled=no fib name=route-table-gw3

/ip route

add comment=gw1 distance=201 gateway=188.235.62.254

add comment=gw2 distance=202 gateway=ether4-wan2_pppoe-client_intercon

add comment=gw3 distance=203 gateway=172.24.199.1

add comment=gw1_via_custom_route_table gateway=188.235.62.254 routing-table=route-table-gw1

add comment=gw2_via_custom_route_table gateway=ether4-wan2_pppoe-client_intercon routing-table=route-table-gw2

add comment=gw3_via_custom_route_table gateway=172.24.199.1 routing-table=route-table-gw3

add comment=gw1_via_pub1_chk dst-address=77.88.8.8/32 gateway=188.235.62.254 scope=11

add comment=gw2_via_pub2_chk dst-address=208.67.222.222/32 gateway=ether4-wan2_pppoe-client_intercon scope=11

add comment=gw3_via_pub3_chk dst-address=77.88.8.3/32 gateway=172.24.199.1 scope=11

add check-gateway=ping comment=pub1_gw1_chk distance=101 gateway=77.88.8.8 target-scope=11

add check-gateway=ping comment=pub2_gw2_chk distance=102 gateway=208.67.222.222 target-scope=11

add check-gateway=ping comment=pub3_gw3_chk distance=103 gateway=77.88.8.3 target-scope=11

/ip firewall mangle

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether3-wan1_domru new-connection-mark=con-isp1 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether4-wan2_pppoe-client_intercon new-connection-mark=con-isp2 passthrough=yes

add action=mark-connection chain=prerouting connection-mark=no-mark in-interface=ether6-wan3_modem-4g new-connection-mark=con-isp3 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=con-isp1 in-interface-list=!-WAN- new-routing-mark=route-table-gw1 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=con-isp2 in-interface-list=!-WAN- new-routing-mark=route-table-gw2 passthrough=yes

add action=mark-routing chain=prerouting connection-mark=con-isp3 in-interface-list=!-WAN- new-routing-mark=route-table-gw3 passthrough=yes

add action=mark-routing chain=output connection-mark=con-isp1 new-routing-mark=route-table-gw1 passthrough=yes

add action=mark-routing chain=output connection-mark=con-isp2 new-routing-mark=route-table-gw2 passthrough=yes

add action=mark-routing chain=output connection-mark=con-isp3 new-routing-mark=route-table-gw3 passthrough=yes

Готово

Пробуем пинговать с внешки IP-адреса провайдеров

Каждый должен пинговаться

Пробуем ходить с внешки на IP-адреса провайдеров по порту 80,

По каждому провайдеру проходим до веб-сервера 192.168.1.50

ОТКЛЮЧАЕМ ОСНОВНОГО ПРОВАЙДЕРА - ТРАФИК ИДЕТ ЧЕРЕЗ ШЛЮЗ РЕЗЕРВНОГО

== Мониторинг провайдеров ==

=== Ссылки ===
<nowiki>https://vasilevkirill.ru/routeros-check-internet-v7/</nowiki>

=== Настройка ===

* 213.129.118.208 - публичный адрес провайдера 1 на нашем микроте
* 194.186.163.89 - публичный адрес провайдера 2 на нашем микроте
* 213.129.118.1 - основной шлюз isp1
* 194.186.163.88 - основной шлюз isp2

адреса, которые будем пинговать для проверки через isp1:

* 176.99.13.13
* 31.177.85.186

адреса, которые будем пинговать для проверки через isp2:

* 93.158.134.1
* 5.101.159.11

Создадим таблицы и правила для прохождения трафика до спец IP через определенных провайдеров

ПЕРВЫЙ ПРОВАЙДЕР:

/routing/table add name=via-isp1 fib comment="chk"

/routing/rule add dst-address=176.99.13.13/32 action=lookup-only-in-table table=via-isp1 comment="chk"

/routing/rule add dst-address=31.177.85.186/32 action=lookup-only-in-table table=via-isp1 comment="chk"

/ip route add dst-address=0.0.0.0/0 gateway=213.129.118.1 routing-table=via-isp1 comment="chk"

ВТОРОЙ ПРОВАЙДЕР:

/routing/table add name=via-isp2 fib comment="chk"

/routing/rule add dst-address=93.158.134.1/32 action=lookup-only-in-table table=via-isp2 comment="chk"

/routing/rule add dst-address=5.101.159.11/32 action=lookup-only-in-table table=via-isp2 comment="chk"

/ip route add dst-address=0.0.0.0/0 gateway=194.186.163.88 routing-table=via-isp2 comment="chk"

Создадим правила netwatch для проверки пингами спец внешних IP через определенных провайдеров

/tool netwatch

add comment=ns1.reg.ru disabled=no down-script="" host=176.99.13.13 http-codes="" interval=30s name=isp1-chk1 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns9.nic.ru disabled=no down-script="" host=31.177.85.186 http-codes="" interval=30s name=isp1-chk2 port=53 src-address=213.129.118.208 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns1.beget.com disabled=no down-script="" host=5.101.159.11 http-codes="" interval=30s name=isp2-chk2 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns2.yandex.ru disabled=no down-script="" host=93.158.134.1 http-codes="" interval=30s name=isp2-chk1 port=53 src-address=194.186.163.89 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

/tool netwatch

add comment=ns1.reg.ru disabled=no down-script="" host=176.99.13.13 http-codes="" interval=30s name=isp1-chk1 src-address=80.82.33.162 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns9.nic.ru disabled=no down-script="" host=31.177.85.186 http-codes="" interval=30s name=isp1-chk2 port=53 src-address=80.82.33.162 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns1.beget.com disabled=no down-script="" host=5.101.159.11 http-codes="" interval=30s name=isp2-chk2 port=53 src-address=178.210.43.248 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

add comment=ns2.yandex.ru disabled=no down-script="" host=93.158.134.1 http-codes="" interval=30s name=isp2-chk1 port=53 src-address=178.210.43.248 test-script="" thr-tcp-conn-time=1s type=icmp up-script=""

/system script add name=monitor

/system script edit monitor source

---

<nowiki>#####</nowiki>

<nowiki>#</nowiki>

<nowiki>#</nowiki> Monitor ros7 v.2026-02-14_isp2

<nowiki>#</nowiki> by Cless

<nowiki>#</nowiki>

<nowiki>#####</nowiki>

<nowiki>:</nowiki>local NetWatchIsp1CountUp [/tool/netwatch/print count-only where name~"isp1" disabled=no status=up];

<nowiki>:</nowiki>local NetWatchIsp2CountUp [/tool/netwatch/print count-only where name~"isp2" disabled=no status=up];

<nowiki>#</nowiki>ISP1 CHK

<nowiki>:</nowiki>if (($NetWatchIsp1CountUp > 0)) do={

:global isp1Status "OK";

} else={

:global isp1Status "FAIL";

};

<nowiki>#</nowiki>ISP2 CHK

<nowiki>:</nowiki>if (($NetWatchIsp2CountUp > 0)) do={

:global isp2Status "OK";

} else={

:global isp2Status "FAIL";

};

<nowiki>#</nowiki>ACTIVE GW CHK

<nowiki>:</nowiki>local gw1active [ip route get value-name=active [find where comment~"pub1_gw1_chk"]] ;

<nowiki>:</nowiki>local gw2active [ip route get value-name=active [find where comment~"pub2_gw2_chk"]] ;

<nowiki>:</nowiki>if (($gw1active=true) && ($gw2active!=true)) do={

:global gwActive "gw1";

};

<nowiki>:</nowiki>if (($gw1active!=true) && ($gw2active=true)) do={

:global gwActive "gw2";

};

<nowiki>#</nowiki> DEBUG

<nowiki>:</nowiki>global gwActive;

<nowiki>:</nowiki>global isp1Status;

<nowiki>:</nowiki>global isp2Status;

<nowiki>:</nowiki>put "gwActive $gwActive ; isp1Status $isp1Status ; isp2Status $isp2Status";

---

/system scheduler

add disabled=yes interval=30s name=chk on-event=chk policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup

add interval=1m name=monitor on-event=monitor policy=ftp,reboot,read,write,policy,test,password,sniff,sensitive,romon start-time=startup

Готово!

/system/script/environment/print

...

2 gwActive gw1

3 isp1Status OK

4 isp2Status OK

...

== На Zabbix ==
apt install python3-librouteros

vim ./mikrotikVarGet.py

<nowiki>#</nowiki>!/usr/bin/python3

import sys

import json

from librouteros import connect

<nowiki>#</nowiki> ARGs check

if len(sys.argv) < 5:

print("Usage: script.py <IP> <username> <password> <variable_name>")

sys.exit(1)

<nowiki>#</nowiki> Connection parameters

IP = sys.argv[1]

USERNAME = sys.argv[2]

PASSWORD = sys.argv[3]

mikrotikApiVarName = sys.argv[4]

try:

api = connect(

host=IP,

username=USERNAME,

password=PASSWORD

)

all_vars = list(api('/system/script/environment/print'))

for i, var in enumerate(all_vars):

if var.get('name') == mikrotikApiVarName:

print(var.get(<nowiki>'value', ''</nowiki>))

sys.exit(0)

except Exception as e:

print(f"DEBUG: Error: {e}", file=sys.stderr)

print("")

sys.exit(1)

Далее на Zabbix проверяем значение переменных Item и создаем триггеры.

Например:

mikrotikVarGet.py["{HOST.CONN}","uplit","Pass#","isp1Status"]

ZFS. Nas4free. Creating and mounting ZFS-Volume. Mount ZFS-Volume via ISCSI-target

2026-01-31T20:03:40Z

Cless:

[[Категория:ZFS]]
[[Категория:ISCSI]]
[[Категория:XigmaNAS (NAS4free)]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Creating and mounting ZFS-Volume. Mount ZFS-Volume via ISCSI-target

= Configuring =

== Server Nas4free. ZFS, ISCSI-target ==

=== Nas4free CLI ===
Creating zfs-volume

==== Thick volume ====
<code>zfs create -V 10G raid1/vmail</code>

==== Thin (Sparse) Volume ====
<code>zfs create -s -V 10G raid1/vmail</code>

<code>ls -lh /dev/zvol/raid1/vmail</code>
 ...
 crw-r----- 1 root operator 0xc2 Jan 29 10:24 /dev/zvol/raid1/vmail
 ...
Show

<code>zfs list -o volsize,used,logicalused,available,quota,name,sharenfs,mountpoint</code>
 ...
1T 89.5K 26K 3.24T - raid2/volumes/nextcloud01-data - -
 ...

=== Nas4free WEB ===
Create ISCSI-auth

'''Name''': vmail

'''User''': vmail

'''Password''': PassWord

Create ISCSI-initiators

Create ISCSI-portals

Create ISCSI-extent

'''Name''': vmail

'''Type''': ZFS-volume

'''ZFS-volume''': /dev/zvol/raid1/vmail

Create ISCSI-target

'''Name''': vmail

'''Type''': Disk

'''Flags''': RW

'''Storage''': vmail (/dev/zvol/raid1/vmail)<blockquote>Restart iscsi-target service!</blockquote>

== Client Linux (AlmaLinux 8). ISCSI-initiator ==
Install

<code>dnf -y install iscsi-initiator-utils</code>

Target path

<code>nano /etc/iscsi/initiatorname.iscsi</code>
 InitiatorName=iqn.2023-01.alef:vmail
If you use Auth for ISCSI-target, you have to add options below

Login and password for target (CHAP only)

<code>nano /etc/iscsi/iscsid.conf</code>
...
node.session.auth.username = vmail
node.session.auth.password = PassWord
...
Discovery target (if target discovery auth disabled)

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>
 ...
 192.168.199.250:3260,1 iqn.2023-01.alef:vmail
 ...
Target info

<code>iscsiadm -m node -o show</code>

Login to specific targets

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail.zfs -p 192.168.199.250,3260</code>
 ...
 Logging in to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
 Login to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
 ...
Show connected session info

<code>iscsiadm -m session -o show</code>
 ...
 tcp: [6] 192.168.199.250:3260,1 iqn.2023-01.alef:vmail (non-flash)
 ...
Show connected block device

<code>lsblk</code>
 ...
 sdb 8:16 0 10G 0 disk
 ...
Create partition

<code>fdisk /dev/sdb</code><blockquote> n - Next - Next...</blockquote>Create FS

<code>mkfs.ext4 /dev/sdb1</code>

Getting partition UUID

<code>blkid</code>
 ...
 /dev/sdb1: UUID="d13097d0-1b54-47b0-b504-ffc56d9bceff" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="797c5bc8-01"
 ...
Auto mount after OS boot

<code>mkdir /var/vmail</code>

<code>nano /etc/fstab</code>
...
# iscsi vmail
UUID="d13097d0-1b54-47b0-b504-ffc56d9bceff" /var/vmail ext4 _netdev 0 0
...
<code>reboot</code>

<code>df -h</code>
 ...
 /dev/sdb1 10G 4.1G 89G 5% /var/vmail
 ...
Success!

= Increase size of the Volume (extent as ZFS-Volume) =

== Client Linux ISCSI-initiator ==
Stop all the services, which can write to the ISCSI-device

Unmount device

<code>umount /var/vmail</code>

Logout target

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -u</code>
...
Logging out of session [sid: 1, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
Logout of [sid: 1, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
...
Delete connection

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -o delete</code>

== Server ISCSI-target ==
Stop iscsi-target service!

Remove all snapshots at zfs-volume, that will be increased (if they exist)!

Rename all replicas of zfs-volume, that will be increased (if they exist):

<code>zfs rename raid2/mail02-mail_replica raid2/OLD_mail02-mail_replica</code>

Increase size of the ZFS-Volume

<code>zfs set volsize=50G raid1/vmail</code>

<code>gpart commit zvol/raid1/vmail</code>

Import zfs<blockquote>Or you can do synchronization in the web-interface</blockquote><code>zpool import -a</code>

<code>zfs mount -a</code>

Show volumes

<code>zfs list -o volsize,used,logicalused,available,quota,name,sharenfs,mountpoint</code>
 ...
 raid1/vmail 51.6G 5.78T 1.24G -
 ...
Check that full size of '''zfs-volume''' in increased

<code>diskinfo -v /dev/zvol/raid1/mail02-mail</code>
 ...
 /dev/zvol/raid1/mail02-mail
 512 # sectorsize
 64424509440 # mediasize in bytes ('''50G''')
 125829120 # mediasize in sectors
 8192 # stripesize
 0 # stripeoffset
 ...
Check that full size of '''the PARTITION of the zfs-volume''' didn't change (we will increase it later at the iscsi-client)

<code>diskinfo -v /dev/zvol/raid1/mail02-mails1</code>
 ...
 /dev/zvol/raid1/mail02-mails1
 512 # sectorsize
 32211206144 # mediasize in bytes ('''30G''')
 62912512 # mediasize in sectors
 8192 # stripesize
 0 # stripeoffset
 3916 # Cylinders according to firmware.
 255 # Heads according to firmware.
 63 # Sectors according to firmware.
 ...
<blockquote>Once I caught an error "'''***ERROR*** lu_disk_init() failed'''" after increasing zfs-volume.

It means that zfs-volume, which we increased, is busy

In that case you can create iscsi-target at the TARGET tab only in RO mode

If you try to run iscsi target in RW mode - service iscsi will be failed

I didn't understand exactly how could I solved it!

If I'm not mistaken, after increasing zfs-volume, I renamed zfs-volume as *_1 and then rename it back

And everything became OK</blockquote><blockquote>In that case:

Rename to a temporary volume name

'''zfs rename raid1/mail02-mail raid1/mail02-mail_1'''

Rename to its original name

'''zfs rename raid1/mail02-mail_1 raid1/mail02-mail''' </blockquote><blockquote>'''! After that It's NECESSARILY to check log tab in Nas4free after service start!'''</blockquote><blockquote>'''And Check whether iscsi target successful started!'''</blockquote>Start iscsi-target service!

== Client ISCSI-initiator ==
Discovery target (if target discovery auth disabled)

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>
 ...
 192.168.199.250:3260,1 iqn.2023-01.alef:vmail
 ...
Login to specific targets

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail.zfs -p 192.168.199.250,3260</code>
 ...
 Logging in to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
 Login to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
 ...
<blockquote>!!! DON'T mount device!

!!! Run '''df -h''' and UNMOUNT '''/dev/sdb1''' if it is mounted !</blockquote>Run parted util

<code>parted</code>

Select device

<code>> select /dev/sdb</code>

Get device full size (it will be bigger than actual size)

<code>> print</code>
 ...
 Disk /dev/sdb: 53GB
 ...
Increaze size to full disk size

<code>> resizepart 1 53GB</code>

Exit

<code>> quit</code><blockquote>!!! Run df -h and UNMOUNT /dev/sdb1 if it is mounted !</blockquote>Check FS

<code>e2fsck -fy /dev/sdb1</code>

Increase FS size

<code>resize2fs /dev/sdb1</code>

Mount device

<code>mount /dev/sdb1</code>

Check new size

<code>df -h</code>
 ...
 /dev/sdb1 50G 20M 47G 4% /var/vmail
 ...
Success!

= Snapshots =

== Snapshot create ==

=== At Server nas4free ISCSI-target ===
Create snapshot and for test you can create file before creating each snapshot

<code>zfs snapshot raid1/vmail@1</code>

<code>zfs snapshot raid1/vmail@2</code>

<code>zfs snapshot raid1/vmail@3</code>

Show

<code>zfs list -H -t snapshot -o name,creation -S creation -r raid1/vmail</code>
 ...
 raid1/vmail@3 Sun Jan 29 11:29 2023
 raid1/vmail@2 Sun Jan 29 11:27 2023
 raid1/vmail@1 Sun Jan 29 11:25 2023
 ...

== Snapshot restore ==

=== At Client Linux ISCSI-initiator ===
Stop ALL services, which can write to ISCSI-device!

Unmount iscsi-dev, kill iscsi-session

<code>umount /var/vmail</code>

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -u</code>

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -o delete</code>

=== At Server nas4free ISCSI-target ===
Stop iscsi-target service (WEB)

Rollback snapshot

<code>zfs rollback -r raid2/vmail@1</code>

Start iscsi-target service (via WEB-interface)

=== At Client Linux ISCSI-initiator ===
Connect and mount iscsi-dev

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail -p 192.168.199.250,3260</code>

<code>mount -a</code>

You will see, that FS at /var/vmail have a state, that it had before snapshot creating.

ZFS. Nas4free. Creating and mounting ZFS-Volume. Mount ZFS-Volume via ISCSI-target

2026-01-31T19:52:48Z

Cless:

[[Категория:ZFS]]
[[Категория:ISCSI]]
[[Категория:XigmaNAS (NAS4free)]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Creating and mounting ZFS-Volume. Mount ZFS-Volume via ISCSI-target

= Configuring =

== Server Nas4free. ZFS, ISCSI-target ==

=== Nas4free CLI ===
Creating zfs-volume

==== Thick volume ====
<code>zfs create -V 10G raid1/vmail</code>

==== Thin (Sparse) Volume ====
<code>zfs create -s -V 10G raid1/vmail</code>

<code>ls -lh /dev/zvol/raid1/vmail</code>
 ...
 crw-r----- 1 root operator 0xc2 Jan 29 10:24 /dev/zvol/raid1/vmail
 ...
Show

<code>zfs list -o volsize,used,logicalused,available,quota,name,sharenfs,mountpoint</code>
 ...
1T 89.5K 26K 3.24T - raid2/volumes/nextcloud01-data - -
 ...

=== Nas4free WEB ===
Create ISCSI-auth

'''Name''': vmail

'''User''': vmail

'''Password''': PassWord

Create ISCSI-initiators

Create ISCSI-portals

Create ISCSI-extent

'''Name''': vmail

'''Type''': ZFS-volume

'''ZFS-volume''': /dev/zvol/raid1/vmail

Create ISCSI-target

'''Name''': vmail

'''Type''': Disk

'''Flags''': RW

'''Storage''': vmail (/dev/zvol/raid1/vmail)<blockquote>Restart iscsi-target service!</blockquote>

== Client Linux (AlmaLinux 8). ISCSI-initiator ==
Install

<code>dnf -y install iscsi-initiator-utils</code>

Target path

<code>nano /etc/iscsi/initiatorname.iscsi</code>
 InitiatorName=iqn.2023-01.alef:vmail
If you use Auth for ISCSI-target, you have to add options below

Login and password for target (CHAP only)

<code>nano /etc/iscsi/iscsid.conf</code>
...
node.session.auth.username = vmail
node.session.auth.password = PassWord
...
Discovery target (if target discovery auth disabled)

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>
 ...
 192.168.199.250:3260,1 iqn.2023-01.alef:vmail
 ...
Target info

<code>iscsiadm -m node -o show</code>

Login to specific targets

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail.zfs -p 192.168.199.250,3260</code>
 ...
 Logging in to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
 Login to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
 ...
Show connected session info

<code>iscsiadm -m session -o show</code>
 ...
 tcp: [6] 192.168.199.250:3260,1 iqn.2023-01.alef:vmail (non-flash)
 ...
Show connected block device

<code>lsblk</code>
 ...
 sdb 8:16 0 10G 0 disk
 ...
Create partition

<code>fdisk /dev/sdb</code><blockquote> n - Next - Next...</blockquote>Create FS

<code>mkfs.ext4 /dev/sdb1</code>

Getting partition UUID

<code>blkid</code>
 ...
 /dev/sdb1: UUID="d13097d0-1b54-47b0-b504-ffc56d9bceff" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="797c5bc8-01"
 ...
Auto mount after OS boot

<code>mkdir /var/vmail</code>

<code>nano /etc/fstab</code>
...
# iscsi vmail
UUID="d13097d0-1b54-47b0-b504-ffc56d9bceff" /var/vmail ext4 _netdev 0 0
...
<code>reboot</code>

<code>df -h</code>
 ...
 /dev/sdb1 10G 4.1G 89G 5% /var/vmail
 ...
Success!

= Increase size of the Volume (extent as ZFS-Volume) =

== Client Linux ISCSI-initiator ==
Stop all the services, which can write to the ISCSI-device

Unmount device

<code>umount /var/vmail</code>

Logout target

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -u</code>
...
Logging out of session [sid: 1, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
Logout of [sid: 1, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
...
Delete connection

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -o delete</code>

== Server ISCSI-target ==
Stop iscsi-target service!

Remove all snapshots at zfs-volume, that will be increased (if they exist)!

Rename all replicas of zfs-volume, that will be increased (if they exist):

<code>zfs rename raid2/mail02-mail_replica raid2/OLD_mail02-mail_replica</code>

Increase size of the ZFS-Volume

<code>zfs set volsize=50G raid1/vmail</code>

<code>gpart commit zvol/raid1/vmail</code>

Import zfs<blockquote>Or you can do synchronization in the web-interface</blockquote><code>zpool import -a</code>

<code>zfs mount -a</code>

Show volumes

<code>zfs list -o volsize,used,logicalused,available,quota,name,sharenfs,mountpoint</code>
 ...
 raid1/vmail 51.6G 5.78T 1.24G -
 ...
Check that full size of '''zfs-volume''' in increased

<code>diskinfo -v /dev/zvol/raid1/mail02-mail</code>
 ...
 /dev/zvol/raid1/mail02-mail
 512 # sectorsize
 64424509440 # mediasize in bytes ('''50G''')
 125829120 # mediasize in sectors
 8192 # stripesize
 0 # stripeoffset
 ...
Check that full size of '''the PARTITION of the zfs-volume''' didn't change (we will increase it later at the iscsi-client)

<code>diskinfo -v /dev/zvol/raid1/mail02-mails1</code>
 ...
 /dev/zvol/raid1/mail02-mails1
 512 # sectorsize
 32211206144 # mediasize in bytes ('''30G''')
 62912512 # mediasize in sectors
 8192 # stripesize
 0 # stripeoffset
 3916 # Cylinders according to firmware.
 255 # Heads according to firmware.
 63 # Sectors according to firmware.
 ...
<blockquote>Once I caught an error "'''***ERROR*** lu_disk_init() failed'''" after increasing zfs-volume.

It means that zfs-volume, which we increased, is busy

In that case you can create iscsi-target at the TARGET tab only in RO mode

If you try to run iscsi target in RW mode - service iscsi will be failed

I didn't understand exactly how could I solved it!

If I'm not mistaken, after increasing zfs-volume, I renamed zfs-volume as *_1 and then rename it back

And everything became OK</blockquote><blockquote>In that case:

Rename to a temporary volume name

'''zfs rename raid1/mail02-mail raid1/mail02-mail_1'''

Rename to its original name

'''zfs rename raid1/mail02-mail_1 raid1/mail02-mail''' </blockquote><blockquote>'''! After that It's NECESSARILY to check log tab in Nas4free after service start!'''</blockquote><blockquote>'''And Check whether iscsi target successful started!'''</blockquote>Start iscsi-target service!

== Client ISCSI-initiator ==
Discovery target (if target discovery auth disabled)

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>
 ...
 192.168.199.250:3260,1 iqn.2023-01.alef:vmail
 ...
Login to specific targets

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail.zfs -p 192.168.199.250,3260</code>
 ...
 Logging in to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260]
 Login to [iface: default, target: iqn.2023-01.alef:vmail, portal: 192.168.199.250,3260] successful.
 ...
<blockquote>!!! DON'T mount device!

!!! Run '''df -h''' and UNMOUNT '''/dev/sdb1''' if it is mounted !</blockquote>Run parted util

<code>parted</code>

Select device

<code>> select /dev/sdb</code>

Get device full size (it will be bigger than actual size)

<code>> print</code>
 ...
 Disk /dev/sdb: 53GB
 ...
Increaze size to full disk size

<code>> resizepart 1 53GB</code>

Exit

<code>> quit</code><blockquote>!!! Run df -h and UNMOUNT /dev/sdb1 if it is mounted !</blockquote>Check FS

<code>e2fsck -f /dev/sdb1</code>

Increase FS size

<code>resize2fs /dev/sdb1</code>

Mount device

<code>mount /dev/sdb1</code>

Check new size

<code>df -h</code>
 ...
 /dev/sdb1 50G 20M 47G 4% /var/vmail
 ...
Success!

= Snapshots =

== Snapshot create ==

=== At Server nas4free ISCSI-target ===
Create snapshot and for test you can create file before creating each snapshot

<code>zfs snapshot raid1/vmail@1</code>

<code>zfs snapshot raid1/vmail@2</code>

<code>zfs snapshot raid1/vmail@3</code>

Show

<code>zfs list -H -t snapshot -o name,creation -S creation -r raid1/vmail</code>
 ...
 raid1/vmail@3 Sun Jan 29 11:29 2023
 raid1/vmail@2 Sun Jan 29 11:27 2023
 raid1/vmail@1 Sun Jan 29 11:25 2023
 ...

== Snapshot restore ==

=== At Client Linux ISCSI-initiator ===
Stop ALL services, which can write to ISCSI-device!

Unmount iscsi-dev, kill iscsi-session

<code>umount /var/vmail</code>

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -u</code>

<code>iscsiadm --mode node --targetname iqn.2023-01.alef:vmail --portal 192.168.199.250 -o delete</code>

=== At Server nas4free ISCSI-target ===
Stop iscsi-target service (WEB)

Rollback snapshot

<code>zfs rollback -r raid2/vmail@1</code>

Start iscsi-target service (via WEB-interface)

=== At Client Linux ISCSI-initiator ===
Connect and mount iscsi-dev

<code>iscsiadm -m discovery -t sendtargets -p 192.168.199.250</code>

<code>iscsiadm -m node --login --targetname iqn.2023-01.alef:vmail -p 192.168.199.250,3260</code>

<code>mount -a</code>

You will see, that FS at /var/vmail have a state, that it had before snapshot creating.

Mail Server. AlmaLinux 8. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

2025-08-21T19:18:32Z

Cless:

[[Категория:Mail]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Opensource Mail Server. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

= Links =
https://www.dmosk.ru/instruktions.php?object=mailserver-centos8

= Installation =

== DNS Server Global ==
<blockquote>Add resource records to the dns server, which is serving your domains (at mikrotik, for example, but it can be any dns-record manager of the registrar, which provides you your new domain)</blockquote><blockquote>'''''185.225.35.200''''' - public external IP of the mail server</blockquote><blockquote>'''''192.168.199.40''''' - local IP of this mail server in you local network</blockquote>

=== Root domain MX-record, which point to the mail domain ===
<code>/ip dns static</code>

<code>add name=yourdomain.ru mx-exchange=mail.yourdomain.ru. mx-preference=10 ttl=1m type=MX</code>

=== Domain for administration - mail02.yourdomain.ru ===
<blockquote>This should be the hostname of your physical mail server

It's not your domain for mail, just for management

If there will be other mail domains on that server, all emails still will be sended with source-host "mail02.yourdomain.ru" as mail sender

This domain needs to be added to ISP's PTR-record as well</blockquote><code>/ip dns static</code>

<code>add name=mail02.yourdomain.ru address=185.225.35.200 ttl=1m</code>

=== Mail domain - mail.yourdomain.ru ===
<blockquote>This is your first mail domain</blockquote><code>/ip dns static</code>

<code>add name=mail.yourdomain.ru address=185.225.35.200 ttl=1m</code>

== DNS Server Local ==
At the local '''DNS server''' (whose IP is registred in the file '''/etc/resolv.conf''' of this mail server) you have to register accordance of '''your domains''' and '''local IP''' in you local network of this server:
...
192.168.199.42 mail.yourdomain.ru
192.168.199.42 mail02.yourdomain.ru
...

== Mail server ==

=== General configuration ===
System update

<code>dnf -y update</code>

<code>reboot</code>

Hostname<blockquote>'''''mail02.yourdomain.ru''''' - mail server hostname</blockquote><blockquote>'''''185.225.35.200''''' - mail server public external IP</blockquote><code>hostnamectl set-hostname mail02.yourdomain.ru</code>

<code>nano /etc/hosts</code>
...
185.225.35.200 mail02.yourdomain.ru
...
Check

<code>host mail02.yourdomain.ru</code>

<code>dig A mail02.yourdomain.ru</code>

Utils, firewall, etc.

<code>dnf install -y chrony wget</code>

<code>timedatectl set-timezone Europe/Moscow</code>

<code>systemctl enable chronyd --now</code>

<code>firewall-cmd --permanent --add-port=25/tcp --add-port=80/tcp --add-port=110/tcp --add-port=143/tcp --add-port=443/tcp --add-port=465/tcp --add-port=587/tcp --add-port=993/tcp --add-port=995/tcp --add-port=22/tcp --add-port=10050/tcp</code>

<code>firewall-cmd --reload</code>

<code>setenforce 0</code>

<code>sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config</code>

=== SSL Certs ===
<blockquote>You have to choose whether you will use self-signed certs or letsencrypt certs or purchased certs. We will use it later for Webmail Interface (nginx), and for Mail Desktop Clients (postfix, dovecot)</blockquote>

==== Purchased certificates ====
''If you're going to purchase SSL certificates from CA:''

* You have to purchase '''a few wildcard certs''' with main domain and wildcard subdomains (e.g., '''example.com''' and '''*.example.com''') for '''each mail domain'''.

or

* You have to purchase '''the only ONE''' multidomain certificate with '''ALL main domain certs and wildcard certificates of your main domain ('''e.g., '''example.com''' and '''*.example.com''' for each domain''')'''.

==== Self-signed ====
Generate certs

<code>mkdir -p /etc/ssl/mail</code>

<code>openssl req -new -x509 -days 1461 -nodes -out /etc/ssl/mail/public.pem -keyout /etc/ssl/mail/private.key -subj "/C=RU/ST=SPb/L=SPb/O=Global Security/OU=IT Department/CN=mail02.yourdomain.ru"</code>

==== Letsencrypt ====
Nginx will create /usr/share/nginx/html directory for letsencrypt challenges

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y certbot</code>

You don't have to create cert for each domain. You can put all certs into one file

<code>certbot certonly --webroot --agree-tos -d mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

=== Nginx ===
Installation

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y <nowiki>http://rpms.remirepo.net/enterprise/remi-release-8.rpm</nowiki></code>

<code>dnf module install -y php:remi-7.4</code>

<code>dnf install -y php-fpm</code>

<code>mv /etc/nginx/nginx.conf /etc/nginx/nginx.conf.ORIG</code>

Main config

<code>nano /etc/nginx/nginx.conf</code>
# For more information on configuration, see:
# * Official English Documentation: <nowiki>http://nginx.org/en/docs/</nowiki>
# * Official Russian Documentation: <nowiki>http://nginx.org/ru/docs/</nowiki>
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Load modular configuration files from the /etc/nginx/conf.d directory.
# See <nowiki>http://nginx.org/en/docs/ngx_core_module.html#include</nowiki>
# for more information.
include /etc/nginx/conf.d/*.conf;
}
Redirect all HTTP-requests to HTTPS

<code>nano /etc/nginx/conf.d/00-default.conf</code>
#
# Note: This file must be loaded before other virtual host config files,
#
# HTTP
server {
# Listen on ipv4
listen 80;
listen [::]:80;
server_name _;
# Redirect all insecure http:// requests to https://
return 301 <nowiki>https://$host$request_uri</nowiki>;
}

====HTTPS configuring====

=====Case 1. If you are going to use self-signed or letsencrypt multidomain certificate (all domains and subdomains in one cert)=====

Create a general config for HTTPS traffic (in order to use it with Roundcube Webmail and Postfixadmin)

<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2 default_server;
 listen [::]:443 ssl http2 default_server;
 server_name _;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}
 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>

 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }
 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 }

=====Case 2. If you are going to use separate certificates, purchased from official CA or letsencrypt certs (separate cert for every mail domain)=====

Backup /etc/nginx/conf.d/00-default_ssl.conf (or don't create it at all)

<code>mv /etc/nginx/conf.d/00-default_ssl.conf /etc/nginx/conf.d/00-default_ssl.conf.ORIG</code>

Create separate config for each mail domain (in order to use it with Roundcube Webmail), and put in it the corresponding certificate path.

Also you can create separate config for you management domain (in order to use it with Postfixadmin web-interface) in the same way (in our case mail02.yourdomain.ru). Or you can use any of our mail domains in order to get access to Postfixadmin web-interface. You also can use for that purpose letsencrypt cert or purchased cert.

For example, this first config is for domain mail.don661.ru:

<code>nano /etc/nginx/conf.d/10-mail.don661.ru_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2;
 listen [::]:443 ssl http2;
 server_name mail.don661.ru;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/mail.don661.ru/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/mail.don661.ru/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}

 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>
 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }

 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }

 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 client_max_body_size 35M;
 client_body_timeout 300s;
 }

=== PHP ===
<code>systemctl enable php-fpm --now</code>

<code>systemctl restart nginx</code>

=== MariaDB ===
<code>dnf install -y mariadb-server</code>

<code>systemctl enable mariadb --now</code>

<code>mysqladmin -u root password</code>

<code>dnf install -y php-mysqli php-mbstring php-imap</code>

<code>systemctl restart php-fpm</code>

=== Postfixadmin ===
Installation

<code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

<code>mkdir /usr/share/nginx/html/postfixadmin/templates_c</code>

<code>chown -R apache:apache /usr/share/nginx/html/postfixadmin</code>

DB creating

<code>mysql -u root -p</code>

<code>> CREATE DATABASE postfix DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;</code>

<code>> GRANT ALL ON postfix.* TO 'postfix'@'localhost' IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Main config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
<?php
# configuring is finished maker
$CONF['configured'] = true;

# default_language
$CONF['default_language'] = 'en';

# database_password
$CONF['database_password'] = 'PassWord#1';

# app checks domain during domains and mailboxes
$CONF['emailcheck_resolve_domain']='NO';

# amount of records (mailboxes, aliases) per page
$CONF['page_size'] = '9999';

?>
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Enter Setup password, copy generated HASH of the Setup password to config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
...
$CONF['setup_password'] = '$2y$10$ZafzUSBaHy47kta5KfPAjF0aQBjH5i';
...
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Login with Setup password

Create new admin at the footer of the page
 Администратор admin@yourdomain.ru успешно добавлен!
You are done with your basic setup. You can now login to PostfixAdmin using the account you just created.

Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/login.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/login.php</nowiki></code>

=== Postfix ===
<code>dnf install -y postfix postfix-mysql</code>

User to work with mail services

<code>groupadd -g 1024 vmail</code>

<code>useradd -d /home/mail -g 1024 -u 1024 vmail -m</code>

<code>chown vmail:vmail /home/mail</code>

==== Main config ====
<code>nano /etc/postfix/main.cf</code>
# Edit parameters
...
# domain, that will be put in email during mail send if it doesn't point in mail's FROM

myhostname = mail02.yourdomain.ru
...
mydomain = mail02.yourdomain.ru
...
myorigin = mail02.yourdomain.ru
...
# domains for input emails
mydestination = $myhostname, localhost.$mydomain, localhost, localhost.localdomain
...
# where we can get local users
local_recipient_maps = unix:passwd.byname $alias_maps
...
# clients, that will send mail without auth at server. allow local server send emails
mynetworks = 127.0.0.0/8
...
inet_interfaces = all
...
inet_protocols = all
...

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/postfix/main.cf</code>

...

# COMMENT OLD PARAMETERS
#smtpd_tls_cert_file = <...>
#smtpd_tls_key_file = <...>
#smtp_tls_CApath = <...>
#smtp_tls_CAfile = <...>

<nowiki>#</nowiki> Add parameters

<nowiki>#</nowiki> self-signed certs
<nowiki>#</nowiki>smtpd_tls_cert_file = /etc/ssl/mail/public.pem
<nowiki>#</nowiki>smtpd_tls_key_file = /etc/ssl/mail/private.key

<nowiki>###</nowiki> OR

<nowiki>#</nowiki> letsencrypt certs
smtpd_tls_cert_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem
smtpd_tls_key_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
smtp_tls_CApath = /etc/letsencrypt/live/ALL-MAIL-DOMAINS
smtp_tls_CAfile = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/chain.pem

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

https://serverfault.com/questions/928926/postfix-multi-domains-and-multi-certs-on-one-ip

<code>nano /etc/postfix/main.cf</code>

...
<nowiki>#</nowiki> Comment
<nowiki>#</nowiki> smtpd_tls_cert_file = /etc/pki/dovecot/certs/dovecot.pem
<nowiki>#</nowiki> smtpd_tls_key_file = /etc/pki/dovecot/private/dovecot.pem

<nowiki>#</nowiki> Provide the primary certificate for the server, to be used for outgoing connections
smtpd_tls_chain_files =
/etc/letsencrypt/live/servername.serverdom.com/privkey.pem,
/etc/letsencrypt/live/servername.serverdom.com/fullchain.pem

<nowiki>#</nowiki> Provide the map to be used when SNI support is enabled
tls_server_sni_maps = hash:/etc/postfix/vmail_ssl.map
...

nano /etc/postfix/vmail_ssl.map

<nowiki>#</nowiki> One host per line

mail.yourprimarymailserverdomain.com /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/fullchain.pem
mail.yoursecondarymailserverdomain.com /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/fullchain.pem

<nowiki>#</nowiki> add more domains with keys and certs as needed

postmap -F hash:/etc/postfix/vmail_ssl.map

systemctl restart postfix
==== Main config again ====
<code>nano /etc/postfix/main.cf</code><blockquote> virtual_mailbox_base — storage path for mailboxes

 virtual_alias_maps — format and path of the aliases for virtual users

 virtual_mailbox_domains — format and path of the virtual domains

 virtual_mailbox_maps — format and path of the mailboxes for virtual users

 virtual_minimum_uid — start UID number for users

 virtual_uid_maps — user id, which write messages

 virtual_gid_maps — group id, which write messages

 virtual_transport — message deliver

 dovecot_destination_recipient_limit — message transfer from Postfix to Dovecot in steps 1 (one) at a time

 smtpd_sasl_auth_enable — sasl auth enable

 smtpd_sasl_exceptions_networks — networks excepted from encryption

 smtpd_sasl_security_options — additional sasl settings

 broken_sasl_auth_clients — option for MS Outlook clients

 smtpd_sasl_type — auth type

 smtpd_sasl_path — Dovecot tmp files. Full or related (default /var/spool/postfix). Full path — /var/spool/postfix/private/auth

 smtp_use_tls — smtp transfer mandatory

 smtpd_use_tls — indicates to clients that TLS support is available

 smtpd_tls_auth_only — use TLS only

 smtpd_helo_required — request to start the session with a greeting</blockquote>
...
<nowiki>#</nowiki> Add parameters at the end of the file

virtual_mailbox_base = /home/mail
virtual_alias_maps = proxy:mysql:/etc/postfix/mysql_virtual_alias_maps.cf
virtual_mailbox_domains = proxy:mysql:/etc/postfix/mysql_virtual_domains_maps.cf
virtual_mailbox_maps = proxy:mysql:/etc/postfix/mysql_virtual_mailbox_maps.cf
'''### If you want to reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files), add the following option):'''
'''# ''smtpd_reject_unlisted_sender = yes''
'''### (You can try to send an email with non-existing user in field FROM, you will see a rejection in output:
'''### ''echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)'''''
virtual_minimum_uid = 1024
virtual_uid_maps = static:1024
virtual_gid_maps = static:1024
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
smtpd_sasl_auth_enable = yes
smtpd_sasl_exceptions_networks = $mynetworks
smtpd_sasl_security_options = noanonymous
broken_sasl_auth_clients = yes
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtp_use_tls = yes
smtpd_use_tls = yes
smtpd_tls_auth_only = yes
smtpd_helo_required = yes
Aliases config

<code>nano /etc/postfix/mysql_virtual_alias_maps.cf</code><blockquote> * '''user, password''' — MySQL DB login and password; '''hosts''' — MySQL hostname; '''dbname''' — Mysql DB name; '''query''' — DB request template</blockquote>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT goto FROM alias WHERE address='%s' AND active = '1'
Virtual domains config

<code>nano /etc/postfix/mysql_virtual_domains_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT domain FROM domain WHERE domain='%u'
Mailboxes config

<code>nano /etc/postfix/mysql_virtual_mailbox_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT CONCAT(domain,'/',maildir) FROM mailbox WHERE username='%s' AND active = '1'
<code>nano /etc/postfix/master.cf</code><blockquote>* you need to be sure that there's no any uncomment options for '''submission''', '''smtps''' и '''dovecot''' (by default there's no such uncomment options). In this config we configuring Postfix at ports 25, 465 и 587. In master.cf we configuring auxiliary services for Postfix:

 submission inet n - n - - smtpd:

 submission — service name. In this example '''submission''' is used for MUA at port 587 during message sending.

 inet — type of the service. Possible cases: inet (TCP/IP socket), unix (stream socket), unix-dgram (datagram socket), fifo (named queue channel), pass (stream socket UNIX).

 первый "n" — whether service private or limited. Possible cases: y or n. For inet service type it should be only n.

 первый "-" — whether service works with root rights. Possible cases: y, n or -. "-" means that this options doesn't applied to this service.

 второй "n" — whether the service should work in chroot. Possible cases: y или n.

 второй "-" — in what time the service should be awaked if one is inactive.

 третий "-" — the maximum number of child processes of this service.

 smtpd — running command.

 * the following are the arguments for running the command:

 smtpd_tls_security_level — TLS security level.

 smtpd_sasl_auth_enable — sasl auth enable.

 smtpd_sasl_type — sasl auth type.

 smtpd_sasl_path — temp files path.

 smtpd_sasl_security_options — additional sasl options.

 smtpd_sasl_local_domain — smtp-auth users' domain.

 syslog_name — log prefix of the service in the syslog.

 smtpd_tls_wrappermode — whether running service in custom mode (for TLS support).

 smtpd_client_restrictions — limit clients' connections. allow only authorized clients.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the file
submission inet n - n - - smtpd
-o smtpd_tls_security_level=may
-o smtpd_sasl_auth_enable=yes
-o smtpd_sasl_type=dovecot
-o smtpd_sasl_path=/var/spool/postfix/private/auth
-o smtpd_sasl_security_options=noanonymous
-o smtpd_sasl_local_domain=$myhostname
smtps inet n - n - - smtpd
-o syslog_name=postfix/smtps
-o smtpd_tls_wrappermode=yes
-o smtpd_sasl_auth_enable=yes
-o smtpd_client_restrictions=permit_sasl_authenticated,reject
dovecot unix - n n - - pipe
flags=DRhu user=vmail:vmail argv=/usr/libexec/dovecot/deliver -d ${recipient}

Log configure

<code>postconf maillog_file=/var/log/postfix.log</code>

<code>systemctl enable postfix --now</code>

<code>chmod 777 /var/log/postfix.log</code>

=== Dovecot ===

<code>dnf install -y dovecot dovecot-mysql</code>

Mailboxes path

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
...
mail_location = maildir:/home/mail/%d/%u/
mail_home = /home/mail/%d/%u
...
Listener for the auth

<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote>* auth service and 2 listeners:

'''/var/spool/postfix/private/auth''' for Dovecot auth ('''/var/spool/postfix/private/auth''' is a '''private/auth''' in Postfix),

'''auth-userdb''' - '''dovecot-lda''' auth socket, '''666''' means any user can use it, '''user and group''' - socket owner</blockquote>
...
<nowiki>#</nowiki> Edit parameters

service auth {
unix_listener /var/spool/postfix/private/auth {
 mode = 0666
 user = postfix
 group = postfix
}
unix_listener auth-userdb {
 mode = 0600
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote> * otherwise we will see an error: '''net_connect_unix(/var/run/dovecot/stats-writer) failed permission denied''', because vmail user doesn't has specific rights.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the conf

service stats {
 unix_listener stats-reader {
 user = vmail
 group = vmail
 mode = 0660
 }
 unix_listener stats-writer {
 user = vmail
 group = vmail
 mode = 0660
 }
}
Dovecot auth

<code>nano /etc/dovecot/conf.d/10-auth.conf</code><blockquote> * comment common auth and add sql-auth.</blockquote>
...
<nowiki>#</nowiki>!include auth-system.conf.ext
!include auth-sql.conf.ext
...
Encryption configure

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> self-signed
<nowiki>#</nowiki>ssl_cert = </etc/ssl/mail/public.pem
<nowiki>#</nowiki>ssl_key = </etc/ssl/mail/private.key

<nowiki>#</nowiki> letsencrypt
ssl_cert = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem
ssl_key = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
...

...
ssl_dh = </etc/dovecot/dh.pem
...

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> TLS SNI (Server Name Indication) support (https://doc.dovecot.org/configuration_manual/dovecot_ssl_configuration/)
<nowiki>#</nowiki> Individual cert for each domain
<nowiki>#</nowiki> It is important to note that having multiple SSL certificates per IP will not be compatible with all clients, especially mobile ones. It is a TLS SNI limitation.

<nowiki>#</nowiki> Default cert
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem

local_name mail.ladavoronezh.ru {
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem
}
local_name mail.don661.ru {
ssl_cert = </etc/letsencrypt/live/mail.don661.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.don661.ru/privkey.pem
}

...
ssl_dh = </etc/dovecot/dh.pem
...

Dirs autocreation during the first login a mailbox

<code>nano /etc/dovecot/conf.d/15-lda.conf</code>
...
<nowiki>#</nowiki> Edit parameters

lda_mailbox_autocreate = yes
...
Connect to DB configure

<code>nano /etc/dovecot/conf.d/auth-sql.conf.ext</code><blockquote> * config for getting users' name and password. It's a default config.</blockquote>
...
<nowiki>#</nowiki> Edit parameters

passdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
userdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
...
Connect to mysql configure<blockquote> * getting data from mysql (mariadb).

'''password_query''' — request for getting password from the '''mailbox''' table;

'''user_query''' — request for getting user's data (home dir, id 1024 (it's a '''vmail''' user id).</blockquote><code>nano /etc/dovecot/dovecot-sql.conf.ext</code>
driver = mysql
connect = host=localhost dbname=postfix user=postfix password=PassWord#1
default_pass_scheme = MD5-CRYPT
password_query = SELECT password FROM mailbox WHERE username = '%u'
user_query = SELECT maildir, 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
Interface for dovecot listening

<code>nano /etc/dovecot/dovecot.conf</code>
...
listen = *
...
log_path = /var/log/dovecot.log
info_log_path = /var/log/dovecot-info.log
debug_log_path = /var/log/dovecot-debug.log

# debug log (DON'T ENABLE IT BY DEFAULT, ONLY IN DEBUG CASES)
###mail_debug = yes
...
<code>systemctl enable dovecot --now</code>

<code>chmod 777 /var/log/dovecot*</code>

=== Postfixadmin. First domain and mailbox creating ===
Go to the Postfixadmin Web

<code><nowiki>http://mail02.yourdomain.ru/postfixadmin/public</nowiki></code>

* Create domain yourdomain.ru
* Create Mailbox cless@yourdomain.ru

=== Roundcube ===
<blockquote>Roundcube Webmail config defaults.inc.php default parameters:

https://github.com/roundcube/roundcubemail/blob/master/config/defaults.inc.php</blockquote><code>wget <nowiki>https://github.com/roundcube/roundcubemail/releases/download/1.6.1/roundcubemail-1.6.1-complete.tar.gz</nowiki></code>

<code>mkdir /usr/share/nginx/html/webmail</code>

<code>tar -C /usr/share/nginx/html/webmail -xvf roundcubemail-*.tar.gz --strip-components 1</code>

<code>cp /usr/share/nginx/html/webmail/config/config.inc.php.sample /usr/share/nginx/html/webmail/config/config.inc.php</code>

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
<nowiki>#</nowiki> Edit

$config['db_dsnw'] = 'mysql://roundcube:PassWord#1@localhost/roundcubemail';

<nowiki>#</nowiki> Add

$config['enable_installer'] = true;
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
// Comment

//$config['smtp_host'] = 'localhost:587';
//$config['smtp_user'] = '%u';
//$config['smtp_pass'] = <nowiki>''</nowiki>;
...

// Add

$config['smtp_host'] = 'tls://localhost';
$config['smtp_conn_options'] = array(
'ssl' => array(
'verify_peer' => false,
'verify_peer_name' => false,
),
);
...
# web session timeout (in minutes)
$config['session_lifetime'] = 1440;
...
// If true all folders will be checked during AUTO-REFRESH for recent messages (Otherwise only standard folders will be checked, like Inbox or SPAM)
$config['check_all_folders'] = true;

// default roundcube webmail interface language
$config['language'] = 'ru_RU';
...

// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote>'''$config['create_default_folders'] = true''' (creating dirs by default (if there's lack of ones)):

'''Drafts''' — Messages drafts.

'''Junk''' — SPAM.

'''Sent''' — Sent messages.

'''Trash''' — Trash bin for messages.

* It's necessary to avoid errors, for example during receiving or deleting messages.</blockquote><syntaxhighlight lang="ini">
...
# Add at the end of the file

$config['drafts_mbox'] = 'Drafts';
$config['junk_mbox'] = 'Junk';
$config['sent_mbox'] = 'Sent';
$config['trash_mbox'] = 'Trash';
$config['create_default_folders'] = true;
</syntaxhighlight><code>chown -R apache:apache /usr/share/nginx/html/webmail</code>

Create roundcubemail DB

<code>mysql -uroot -p</code>

<code>> CREATE DATABASE roundcubemail DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;</code>

<code>> GRANT ALL PRIVILEGES ON roundcubemail.* TO roundcube@localhost IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Apply template

<code>mysql -uroot -p roundcubemail < /usr/share/nginx/html/webmail/SQL/mysql.initial.sql</code>

<code>dnf install php php-common php-pear php-mcrypt php-intl php-ldap php-pear-Net-SMTP php-zip php-imagick php-gd php-fpm php php-pdo php-mysqli php-mbstring php-imap</code>

PHP configure<blockquote>* necessary to create message size limit</blockquote><code>nano /etc/php.ini</code>
...
# Edit

...
date.timezone = "Europe/Moscow"
...
post_max_size = 30M
...
upload_max_filesize = 30M
...
<code>systemctl restart php-fpm</code>

<code>nano /etc/nginx/nginx.conf</code>
...
# Edit

...
http {
 ...
 client_max_body_size 30M;
 ...
}
...
<code>systemctl restart nginx</code>

Go to web

<code><nowiki>http://mail02.yourdomain.ru/webmail/installer/</nowiki></code>

After web installation - disable installer

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['enable_installer'] = false;
...
Remove installer

<code>\rm -R /usr/share/nginx/html/webmail/installer</code>

=== Quota Dovecot + PostfixAdmin ===
https://www.dmosk.ru/miniinstruktions.php?mini=quota-dovecot-postfixadmin

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><blockquote> * plugin to create quotas.</blockquote>
...
<nowiki>#</nowiki> Edit

mail_plugins = $mail_plugins quota
...
<code>nano /etc/dovecot/conf.d/20-imap.conf</code><blockquote> * uncomment '''mail_plugins'''.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol imap {
mail_plugins = $mail_plugins imap_quota
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code>
...
<nowiki>#</nowiki> Edit

service dict {
 unix_listener dict {
 mode = 0660
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/90-quota.conf</code><blockquote> * uncomment '''quota = dict:User quota::proxy::quota'''.</blockquote>
...
<nowiki>#</nowiki> Add

plugin {
quota = dict:User quota::proxy::quota
}
...
<code>nano /etc/dovecot/dovecot.conf</code>
...
<nowiki>#</nowiki> Edit

dict {
quota = mysql:/etc/dovecot/dovecot-dict-sql.conf.ext
}
...
Create config file

<code>nano /etc/dovecot/dovecot-dict-sql.conf.ext</code><blockquote>Mysql connection

'''host''' — mysql server host;

'''dbname''' — db containing postfix users;

'''user''' — db user;

'''password''' — db password.</blockquote>
connect = '''host'''=localhost '''dbname'''=postfix '''user'''=postfix '''password'''=PassWord#1
map {
pattern = priv/quota/storage
table = quota2
username_field = username
value_field = bytes
}
map {
pattern = priv/quota/messages
table = quota2
username_field = username
value_field = messages
}
<code>nano /etc/dovecot/dovecot-sql.conf.ext</code><blockquote> *if you have several '''user_query''' in your config, create query for the last one.</blockquote>
...
<nowiki>#</nowiki> Find "user_query" and put into this line: '''CONCAT('*:bytes=', quota) AS quota_rule'''
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid, '''''CONCAT('*:bytes=', quota) AS quota_rule''''' FROM mailbox WHERE username = '%u'
...
Check dovecot config

<code>doveconf</code>

Restart

<code>systemctl restart dovecot</code>

Logout-Login into Roundcube webmail.

At the foot of the page there'll be a quota appear.

=== Clamav + Amavisd ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavisd-new clamd perl-Digest-SHA1 perl-IO-stringy</code>

Rsyslog is necessary to write SPAM and VIRUS log to /var/log/maillog

<code>dnf install -y rsyslog</code>

<code>systemctl enable --now rsyslog.service</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
<nowiki>#</nowiki> Edit

$mydomain = 'yourdomain.ru';
...

# Edit

$log_level = 0; # verbosity 0..5, -d
$log_recip_templ = undef; # disable by-recipient level-0 log entries
$do_syslog = 1; # log via syslogd (preferred)
$syslog_facility = 'mail'; # Syslog facility as a string
# e.g.: mail, daemon, user, local0, ... local7
...

<nowiki>#</nowiki> Edit

$myhostname = 'mail02.yourdomain.ru';

...
<nowiki>#</nowiki> Add before line "'''''1; # insure a defined return value'''''"

$allowed_header_tests{'multiple'} = 0;
$allowed_header_tests{'missing'} = 0;
...
<code>nano /etc/clamd.d/scan.conf</code>
...
<nowiki>#</nowiki> Uncomment
TCPSocket 3310
...
<code>systemctl enable clamd@scan --now</code>

<code>systemctl enable amavisd --now</code>

Postfix settings

<code>nano /etc/postfix/main.cf</code><blockquote>'''content_filter''' - point to application, which ьуфте to scan messages;

'''receive_override_options''' - allow you to see original email addresses with viruses.</blockquote>
...
<nowiki>#</nowiki> Add

content_filter = scan:[127.0.0.1]:10024
receive_override_options = no_address_mappings
<code>nano /etc/postfix/master.cf</code><blockquote> * итак, данной настройкой мы создадим два вспомогательных сервиса scan и 127.0.0.1:10025 (сервис без имени, он просто будет слушать на порту 10025 — это порт по умолчанию, на который отправляет сообщение amavis после выполнения проверки). Также, мы используем следующие опции:

 smtp_send_xforward_command — передавать ли в сканирование сообщение с исходными именем клиента и IP-адресом. В данном примере, да.

 smtp_enforce_tls — требовать ли TLS.

 content_filter — приложение для сканирования. В данном примере сканирование отключено.

 receive_override_options переопределяет опции в main.cf. В нашем случае, no_unknown_recipient_checks отключает попытки выяснить, является ли получатель неизвестным; no_header_body_checks отключает проверки заголовков и тала писем.

 пустые значения для smtpd_helo_restrictions, smtpd_client_restrictions, smtpd_sender_restrictions отключают ограничения для данных опций.

 smtpd_recipient_restrictions — контролирует ответ Postfix на SMTP-команду RCPT TO. Здесь мы разрешаем только соединения от узлов, перечисленных в mynetworks.

 mynetworks_style=host указывает postfix, что он должен пересылать почту только с локального компьютера.

 smtpd_authorized_xforward_hosts укажет, какие удаленные клиенты могут использовать XFORWARD. В данном случае локальный компьютер.</blockquote>
...
<nowiki>#</nowiki> Add at the end of the file

scan unix - - n - 16 smtp
-o smtp_send_xforward_command=yes
-o smtp_enforce_tls=no
127.0.0.1:10025 inet n - n - 16 smtpd
-o content_filter=
-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
# '''OR, if you want to restrict sending emails by users with inexistened local domains, etc.:'''
# '''(You can see logs of PASSED o DROPPED emails in ''/var/log/maillog'' after sending them''')
# '''-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject'''
-o mynetworks_style=host
-o smtpd_authorized_xforward_hosts=127.0.0.0/8
<code>systemctl restart postfix</code>

Clamd update

<code>dnf install -y clamav-update</code>

<code>nano /etc/freshclam.conf</code>
...
<nowiki>#</nowiki> Choose one of the update mirrors

<nowiki>#</nowiki>DatabaseMirror <nowiki>https://clamav.jinr.ru</nowiki>
<nowiki>#</nowiki>DatabaseMirror <nowiki>https://packages.microsoft.com/clamav/</nowiki>
DatabaseMirror pivotal-clamav-mirror.s3.amazonaws.com
...
Then remove the freshclam.dat file and restart the service

<code>rm -f /var/lib/clamav/freshclam.dat</code>

<code>systemctl restart clamav-freshclam</code>

Update

<code>freshclam</code>

Antispam DB update

<code>sa-update --nogpg --verbose</code>

Cron

<code>crontab -e</code>
...
15 3 * * * /bin/freshclam
30 3 * * * /bin/sa-update
Antivirus checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
The email will never come, and you will see the following in the logs:

<code>tail /var/log/postfix.log</code>

 -OR-

<code>tail /var/log/maillog</code>
 ...
 ... amavis[17688]: (17688-04) Blocked INFECTED (Eicar-Signature) {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... relay=127.0.0.1[127.0.0.1]:10024, delay=0.25, delays=0.19/0/0/0.06, dsn=2.7.0, status=sent (250 2.7.0 Ok, discarded, id=17688-04 - INFECTED: Eicar-Signature)
 ...

=== Redirect SPAM to user's SPAM-directory using Amavis service ===
<code>dnf install -y amavis dovecot-pigeonhole dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> * закомментированная строка указывала, что файл с настройками находится в домашней директории каждого пользователя. Мы же будем делать централизованный конфиг в файле /etc/dovecot/sieve/default.sieve.</blockquote>
...
<nowiki>#</nowiki> Comment

<nowiki>#</nowiki>sieve = file:~/sieve;active=~/.dovecot.sieve

<nowiki>#</nowiki> Add

sieve = /etc/dovecot/sieve/default.sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавили плагин sieve. Также необходимо со строки снять комментарий, если он был.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lda {
...
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-lmtp.conf</code><blockquote> * также мы добавили плагин sieve + необходимо со строки снять комментарий, если он есть.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lmtp {
...
mail_plugins = $mail_plugins sieve
}
...
<code>mkdir /etc/dovecot/sieve</code>

<code>nano /etc/dovecot/sieve/default.sieve</code><blockquote> * в данном примере мы ищем в заголовках X-Spam-Flag и отправляем такие письма в папку Junk.</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
<code>chown -R vmail:vmail /etc/dovecot/sieve</code>

<code>systemctl restart dovecot</code>

<code>nano /etc/amavisd/amavisd.conf</code><blockquote> * по умолчанию стоит значение D_DISCARD, что означает, что сообщения будут отклонятся. Нам же нужно D_PASS — пропускать.</blockquote>
...
<nowiki>#</nowiki> Edit

$final_spam_destiny = D_PASS;

...
<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

SPAM filter checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
The email will be appear inthe SPAM-directory, any you will see in the logs:
 ...
 ... amavis[17689]: (17689-04) Blocked SPAM {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... status=sent (250 2.7.0 Ok, discarded, id=17689-04 - spam)
 ...

=== Logrotate of mail logs ===
<code>nano /etc/logrotate.conf</code><syntaxhighlight lang="bash">
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# system-specific logs may be also be configured here.
</syntaxhighlight><code>nano /etc/logrotate.d/mail</code><syntaxhighlight lang="bash">
/var/log/dovecot-debug.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot-info.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/postfix.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/maillog {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}
</syntaxhighlight>Check a cron daily task. It should already exist

<code>nano /etc/cron.daily/logrotate</code><syntaxhighlight lang="bash">
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE
</syntaxhighlight>Wait for a daily task to complete

Or you can run the logrotate manually:

<code>logrotate -f /etc/logrotate.conf</code>

= Improving email deliverability (VERY IMPORTANT!) =
https://www.linuxbabe.com/mail-server/centos-7-iredmail-email-server

To prevent your emails from being flagged as spam, you should set PTR, SPF, DKIM and DMARC records.

=== PTR записи на DNS сервере ===

==== Описание ====
Запись PTR прописывается _НЕ_ в ресурсных записях днс-сервера, к которому привязан ваш почтовый домен, это делает именно регистратор ip-адреса (провайдер или хостер, предоставляющий внешний ip-адрес)! Если провайдер ростелеком, пишем на электронку support@tmb.ru с просьбой зарегистрировать ptr-запись, штатная техподдержка отказывается предоставлять такую услугу

Если у вас есть свой почтовый сервер, то необходимо, чтобы ваш провайдер (а точнее тот, кто выдал вам статические ip-адреса. если ваш внешний IP предоставил вам хостер, на котором у вас крутится VPS/VDS, то обращаемся в техподдержку хостера) зарегистрировал на своем DNS-сервере PTR записи для вашего почтового сервера (MX-записи). Иначе, подавляющая часть почтовых серверов интернета откажется принимать почту от вашего почтового сервера.

Так же, многие почтовые сервера отвергают письма, если при проверке адреса отправителя в строке им выдается "dynamicip" или "dsl" или подобные слова означающие, что ваш адрес не статический или не совпадает с именем вашего домена.

Если в ответе сервера на ваше отправленное письмо вы видите что-то типа:

mxs.mail.ru: 550 Sorry, we do not accept mail from hosts with dynamic IP or generic DNS PTR-records. Please get a custom reverse DNS name from your ISP for your host 215.54.54.54 or contact abuse@corp.mail.ru in case of error

это значит, что вам необходимо корректно зарегистрировать PTR запись на DNS-сервере для вашего доменного имени.

Для этого необходимо послать запрос тому, кто выдал вам статические ip-адреса (обычно, это ваш провайдер) с просьбой зарегистрировать PTR запись для вашего домена.

PTR запись должна быть одна для одного IP (не нужно создавать две записи для основного домена (mydomain.ru) и почтового домена (mail.mydomain.ru) если оба они привязаны А-записью к одному IP)

PTR запись должна быть создана именно для MX записи. То есть, если адреса домена и почтового обменника не совпадают, то PTR создаем именно для MX записи.

Например, если домен mydomain.ru находится по адресу 22.11.33.44, а почтовый обменник (MX запись) создана для хоста mail.mydomain.ru, расположенного по адресу 11.22.33.44, то и PTR запись нужно создавать для mail.mydomain.ru:
44.33.22.11.in-addr.arpa mail.mydomain.ru
Естественно, можно "до кучи" создать обратную запись и для самого домена mydomain.ru. Она так же не помешает:
44.33.11.22.in-addr.arpa mydomain.ru

==== Резюмируя, необходимо сделать следующее: ====
1. Необходимо прописать ресурсную запись MX (MX 10 mail.yourdomain.ru.) для основного домена "yourdomain.ru", указав что почтовым доменом MX-сервера является "mail.yourdomain.ru"

Это делаем мы.

Например, IP нашего yourdomain.ru - 1.2.3.4
A yourdomain.ru 1.2.3.4
MX 10 mail.yourdomain.ru.
2. Создать PTR-запись на DNS сервере регистратора

IP домена "mail.yourdomain.ru" необязательно должен совпадать с IP "yourdomain.ru", но PTR-запись должна быть создана регистратором IP-адреса (5.6.7.8) домена "mail.yourdomain.ru". Если у нас несколько почтовых доменов на одном почтовом сервере и все они выходят через единственный внешний IP, то PTR соответствие необходимо прописать для домена, которым именуется (hostname) сам физический почтовый сервер.

Например, сама физическая машина именуется mail.yourdomain.ru

(

Также для этого необходимо прописать "mail.yourdomain.ru" в следующих местах:

<code>hostnamectl set-hostname mail.yourdomain.ru</code>

Cоответствие внешнего IP, для которого создаем PTR-запись, и домена mail.yourdomain.ru прописываем в /etc/hosts)
...
45.67.59.224 mail.yourdomain.ru
Изменить настройки postfix

<code>nano /etc/postfix/main.cf</code>
...
myhostname = mail.yourdomain.ru
myorigin = mail.yourdomain.ru
mydomain = mail.yourdomain.ru
...
)

mail.yourdomain.ru не обязан вообще быть почтовым доменом, но он будет в поле "helo: mail.yourdomain.ru" при отправке письма с любого другого почтового домена, работающего на нашем почтовом сервере. поэтому создаем ptr-запись именно для mail.yourdomain.ru - "8.7.6.5.in-addr.arpa mail.yourdomain.ru"

Это делает регистратор внешнего IP

Например, IP нашего mail.yourdomain.ru 5.6.7.8
8.7.6.5.in-addr.arpa mail.yourdomain.ru

==== Проверки ====
1.

<code>host 5.6.7.8</code>
...
8.7.6.5.in-addr.arpa domain name pointer mail.yourdomain.ru.
...
Готово!

2.

Например, для домена mydomain.ru с адресом 215.54.54.54, необходимо зарегистрировать следующую запись:
54.54.54.215.in-addr.arpa name=mydomain.ru
А если почтовый сервер сидит на отдельном адресе, например, mail.mydomain.ru имеет адрес 215.54.54.55, то необходимо зарегистрировать еще одну PTR запись:
55.54.54.215.in-addr.arpa name=mail.mydomain.ru
Проверить наличие PTR записи на сервере DNS можно с помощью интерфейса команды NSLOOKUP:

<code>nslookup</code>

Теперь подключаемся к DNS-серверу провайдера:

<code>server 215.54.54.1</code>

Устанавливаем тип ресурсной записи:

<code>set type=PTR</code>

Делаем запрос на интересующий нас адрес:

<code>215.54.54.54</code>

В ответ мы должны получить имя своего домена mydomain.ru

=== SPF ===
SPF (Sender Policy Framework) record specifies which hosts or IP addresses are allowed to send emails on behalf of a domain. You should allow only your own email server or your ISP’s server to send emails for your domain. In your DNS management interface, create a new TXT record like below.

Add TXT-record to your main domain (for example "yourdomain.ru", _NOT_ subdomain "mail.yourdomain.ru"!)
A yourdomain.ru 45.67.59.224
MX 10 mail.yourdomain.ru.
TXT v=spf1 mx ~all
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig yourdomain.ru txt</code>
...
;; ANSWER SECTION:
yourdomain.ru. 10 IN TXT "v=spf1 mx ~all"
...

=== DKIM ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavis</code>

==== Add first mail domain ====
<blockquote>You have to add second and following as well as the first</blockquote><code>mkdir -p /var/lib/dkim</code>

Generate PEM for our domain<blockquote><nowiki>*</nowiki> domain.ru - the first domain, for wich we generated dkim</blockquote><code>amavisd genrsa /var/lib/dkim/dmosk.ru.pem 1024</code>

<code>chown amavis:amavis /var/lib/dkim/*.pem</code>

<code>chmod 0400 /var/lib/dkim/*.pem</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
# Comment

<nowiki>#</nowiki>$inet_socket_port = 10024;

# Add

$inet_socket_port = [10024,10026];

...

<nowiki>#</nowiki> Find this string (its value must be "1")
$enable_dkim_verification = 1; # enable DKIM signatures verification

<nowiki>#</nowiki> After the string above add following

dkim_key('yourdomain.ru', "dkim", "/var/lib/dkim/yourdomain.ru.pem");
@dkim_signature_options_bysender_maps = ( {
"yourdomain.ru" => { d => "yourdomain.ru", a => 'rsa-sha256', ttl => 10*24*3600 },
});

...

<nowiki>#</nowiki> FIND THIS STRING. ITS VALUE MUST BE "1"
$enable_dkim_signing = 1; # load DKIM signing code, keys defined by dkim_key

...

<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

Generate record for DNS server

<code>amavisd -c /etc/amavisd/amavisd.conf showkeys</code>
...
dkim._domainkey.yourdomain.ru. 3600 TXT (
"v=DKIM1; p="
"MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz"
"3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUg"
"jOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0J"
"xfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9O"
"YO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61N"
"rJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVh"
"kwIDAQAB")
...
Copy it from ""v=DKIM1..." to "...kwIDAQAB"

Remove all "" and line breaks

You'll get something like this (in one line):
v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Create subdomain "dkim._domainkey" for your main domain "yourdomain.ru"

Create TXT-record in "dkim._domainkey" subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
TXT v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Wait 5-10 minutes!

Test at mail server

<code>amavisd -c /etc/amavisd/amavisd.conf testkeys</code>
...
TESTING#1 yourdomain.ru: dkim._domainkey.yourdomain.ru => pass
...
Test on arbitrary server in internet:

<code>dig dkim._domainkey.yourdomain.ru txt</code>
...
;; ANSWER SECTION:
dkim._domainkey.yourdomain.ru. 10 IN TXT "v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjz" "zr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB"
...

=== DMARC ===
DMARC stands for Domain-based Message Authentication, Reporting and Conformance. DMARC can help receiving email servers to identify legitimate emails and prevent your domain name from being used by email spoofing.

To create a DMARC record, go to your DNS manager and add a TXT record. In the name field, enter _dmarc. In the value field, enter the following. (You should create the dmarc@your-domain.com email address.)

Create subdomain "_dmarc" for your main domain "yourdomain.ru"

Create TXT-record in "_dmarc" (_dmarc.yourdomain.ru) subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
A 45.67.59.224
TXT v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig _dmarc.yourdomain.ru txt</code>
...
�;; ANSWER SECTION:
_dmarc.yourdomain.ru. 10 IN TXT "v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>"
...
General deliverability test

Go to

<code><nowiki>https://www.mail-tester.com/</nowiki></code>

Send email from your mail account of your new mail server to randomly generated service's mail address (test-avlwah6p3@srv1.mail-tester.com, for example)

Then click "Затем проверьте оценку"

Wait for tests passed

If your score higher than 8, congratulations!

= Add additional mail domain =

=== DNS ===
Root domain and MX-record, which point to the for mail domain

<code>/ip dns static</code>

<code>add name=cless.pro mx-exchange=mail.cless.pro mx-preference=10 ttl=1m type=MX</code>

Mail domain

<code>/ip dns static</code>

<code>add name=mail.cless.pro address=185.225.35.200 ttl=1m</code>

=== SSL certs ===

==== Lentencrypt ====
<code>certbot certonly --webroot --agree-tos -d mail.cless.pro,mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

<code>systemctl restart nginx</code>

==== Purchased certs ====
Add additional cert configs for a new domain for '''Nginx''', '''Postfix''' and '''Dovecot'''.

=== Improving email deliverability ===
Check the '''Improving email deliverability''' section of this manual and do corresponding actions.

=== Postfixadmin web panel ===

* Create domain cless.pro
* Create mailbox cless@cless.pro

=== Roundcube webmail ===
Login to Roundcube webmail

Send/Receive email

= Autodiscover Mail Server settings for Mail Clients =

== Links ==
https://www.dmosk.ru/miniinstruktions.php?mini=autodiscover-mail

== Description ==
It provides mail clients Mail Server connection info during configuring Mail Client mailbox

=== Thinderbird ===
Механизм автонастройки от Mozilla похож на Microsoft. Необходимые настройки должны отдаваться веб-сервером в виде XML-документа. Однако запрос не https, а http; и не POST, а GET. Также обращение идет сначала в формате '''server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain''', и если ответ не будет получен — '''autoconfig.server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain'''.

==== DNS Server ====
<blockquote>You have to create following config for each mail domain at the server</blockquote>Create А-record (or CNAME) for root domain (example.com):<blockquote>''* где '''111.111.111.111''' — IP-address of web server, with XML.''</blockquote>
autoconfig IN A 111.111.111.111

==== Nginx config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>nano /etc/nginx/conf.d/910-autodiscover_example.ru.conf</code><syntaxhighlight lang="nginx">
# HTTP
server {
listen 80;
server_name autoconfig.example.com;
root /usr/share/nginx/html/autodiscover/example.com;
}
</syntaxhighlight>

==== Autodiscover config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>mkdir -p /usr/share/nginx/html/autodiscover/example.ru/mail</code>

<code>nano /usr/share/nginx/html/autodiscover/example.ru/mail/config-v1.1.xml</code><syntaxhighlight lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<clientConfig version="1.1">
<emailProvider id="example.com">
<domain>example.com</domain>
<displayName>Mail example.com</displayName>
<displayShortName>example.com</displayShortName>
<incomingServer type="imap">
<hostname>mail.example.com</hostname>
<port>143</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<incomingServer type="pop">
<hostname>pop.example.com</hostname>
<port>995</port>
<socketType>SSL</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<outgoingServer type="smtp">
<hostname>mail.example.com</hostname>
<port>587</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</outgoingServer>
</emailProvider>
</clientConfig>
</syntaxhighlight><code>systemctl restart nginx</code>

=== Simpliest method according to the RFC standard (I'm not sure that it works) ===
<blockquote>It works in unstable way. The mail client usually managed to get mail server info, but not everything. Mail client gets '''hosts''' (for example, imap.yourdomain.ru), but not the '''ports'''.</blockquote>

==== DNS Server ====
You need to add ''subdomains'' for your ''main domain'' '''yourdomain.ru''' and create '''SRV''' records

Templates
_<service name>._<protocol> <priority> <weight> <port> <host>
Examples
_smtp._tcp IN SRV 10 0 25 smtp.yourdomain.ru.
_pop3._tcp IN SRV 20 0 110 pop.yourdomain.ru.
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_smtps._tcp IN SRV 0 0 465 smtp.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.
_imaps._tcp IN SRV 0 0 993 imap.yourdomain.ru.
_pop3s._tcp IN SRV 10 0 995 pop.yourdomain.ru.
Example

To give your mail clients info about '''imap''' and '''smtp''' settings of your mail server:
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.

= Full-text search =

== Fts-xapian ('''It works good!''') ==

=== Links ===
[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://github.com/grosjo/fts-xapian]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/#community-developed-plugins]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/settings/plugin/fts-plugin/]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin]

=== Description ===
Dovecot has some problems with email searching if there's a huge amount of emails in the mailbox. It can perodically throw an error "Server error" during the search.

To avoid such problems we can use Full-text search.

=== Build plugin ===

==== Variant 1. Build plugin at the same machine ====

===== Mail server =====
<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

==== Variant 2. Build plugin at the another machine with the same arch and apps versions, and copy compiled plugin to the mail server ====

===== Another machine for building =====
Build plugin at the another machine

<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

Copy plugin to the mail server

<code>rsync -avPh /usr/lib64/dovecot/lib21_fts_xapian_plugin.* root@<mail-server-IP>:/usr/lib64/dovecot/</code>

===== Mail server =====
<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

=== Configure plugin at the mail server ===
Check the installed plugin

<code>ls -lh /usr/lib64/dovecot/lib21_fts_xapian_plugin.*</code>
 ...
 -rw-r--r-- 1 root root 2.9M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.a
 -rwxr-xr-x 1 root root 1.1K Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.la
 -rwxr-xr-x 1 root root 1.2M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.so
 ...
Add plugin to the common conf

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><syntaxhighlight lang="ini">
...
mail_plugins = $mail_plugins <...> fts fts_xapian
...
</syntaxhighlight>Add plugin config

<code>nano /etc/dovecot/conf.d/95-fts.conf</code><blockquote>partial=2 - the minimum length of the search string

fts_autoindex = yes/no - whether to run reindex in background or not. TAKES A LOT OF RESOURCES CONSTANTLY AND MIGHT FAIL USER SEARCH. BETTER RUN MANUAL REINDEX: '''doveadm index -u user@domain.ru \*'''

fts_enforced = yes/no - The system must use Xapian for full-text search. Alternative search backends are disabled or not permitted. All text indexing will be handled by Xapian</blockquote><syntaxhighlight lang="ini">
plugin {
fts = xapian
fts_xapian = partial=2 full=20 attachments=0 verbose=0

fts_autoindex = yes
fts_enforced = yes

fts_autoindex_exclude = \Trash

# Index attachements
fts_decoder = decode2text
}

service indexer-worker {
# Increase vsz_limit to 2GB or above.
# Or 0 if you have rather large memory usable on your server, which is preferred for performance)
vsz_limit = 2G
}

service decode2text {
executable = script /usr/libexec/dovecot/decode2text.sh
user = dovecot
unix_listener decode2text {
mode = 0666
}
}
</syntaxhighlight>Restart dovecot and check the service status. There shouldn't be errors or warnings in the output.

<code>systemctl restart dovecot</code>

<code>systemctl status dovecot</code>

It's necessary to index all the mailboxes if you have already had productive and filled mailboxes

<code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm index -u $i \*; done</code>

Or do it just for only one mailbox

<code>doveadm index -u user@domain.ru \*</code><blockquote> '''COMMANDS'''

 '''fts optimize'''

 doveadm fts optimize [-u user|-A|-F file] [-S socket_path] [namespace]

 Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.

 '''fts rescan'''

 doveadm fts rescan [-u user|-A|-F file] [-S socket_path] [namespace]

 Scan what mails exist in the full text search index and compare those to what actually exist in mailboxes. This removes mails from the index that have already been expunged and makes sure

 that the next doveadm index will index all the missing mails (if any). Note that currently most FTS backends do not implement this properly, but instead they delete all the FTS indexes.

 This may change in the future versions.</blockquote>Place the task to optimize your xapian indexes into the crontab

<code>crontab -e</code>
...
# Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.
0 4 * * * for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts optimize -u $i; done
...
Optionally<blockquote>I'm not sure this is really necessary

It takes a lot of time and during this process the search doesn't work

Also, after the rescan, the directories "/home/mail/<domain>/<user>/xapian-indexes/db_*" will be deleted, and they will be created only after a user will click on the directories in the web-interface. It takes also a lot of time

You can rescan indexes of your mailboxes</blockquote><code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts rescan -u $i; done</code>

Or do it just for only one mailbox

<code>doveadm fts rescan -u user@domain.ru</code>

Check the search in the console

<code>dnf install -y telnet</code>

<code>telnet localhost imap</code>

<code>a login user@don661.ru PassWord#1</code>

<code>a select Inbox</code>

<code>a SEARCH text "test"</code>

Check the search in the '''Roundcube Webmail'''<blockquote>In '''Roundcube Webmail''' for the searching of text in the message body it's necessary to click on the arrow right to the search field and to check "'''Message body'''" as a search source!</blockquote>

== SOLR ('''I didn't test it!''') ==
https://doc.dovecot.org/configuration_manual/fts/solr/

== Fts-elastic ('''I didn't test it!''') ==
https://github.com/filiphanes/fts-elastic

= Postfix limits (I didn't test it!) =
https://www.dmosk.ru/miniinstruktions.php?mini=postfix-limits#mailbox-size

= Desktop mail clients =

=== Thunderbird ===
'''IMAP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 143

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

'''SMTP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 587

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

= Hints =

== Mail queue check ==
<code>mailq</code>

== Show connected users ==
Users IMAP (via mail clients)

<code>doveadm who</code>

Users WEB Roundcube

<code>netstat -an | grep :443 | grep -v TIME_WAIT</code>

== Restrict sending emails by local users with non-existing local domains in the field ''FROM'' ==
<code>nano /etc/postfix/master.cf</code>
...
-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject
...
You can see logs of PASSED o DROPPED emails in '''/var/log/maillog''' after sending them.

== Reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files) ==
https://serverfault.com/questions/694511/postfix-how-to-reject-sender-addresses-that-dont-exist-only-for-local-domains

Add the following option to '''/etc/postfix/main.cf''':

<code>nano /etc/postfix/main.cf</code>
...
smtpd_reject_unlisted_sender = yes
...
You can try to send an email with non-existing user in field FROM, and you will see a rejection in output:

<code>echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)</code>
== Message size limit (message size itself + attached file size) ==
You have to set limits in the each following entity.

In this example we make limit at about ~30MB for attachment

==== Postfix limit ====
<code>nano /etc/postfix/main.cf</code>
...
message_size_limit = 46080000 # ~30MB (10240000 - ~10MB)
...
<code>systemctl restart postfix</code>

==== Roundcube limit ====
<blockquote>Roundcube preserves some percentage of the max message size (search 1.33 on this page, so if you set the max to 100M, it tells you only 75MB is allowed (100 / 1.33). This is better because email messsage will be encoded before sending to MTA and the encoded attachment is larger than the original file.</blockquote><code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['max_message_size'] = '40M'; # max summ message size (not file)
...

==== Nginx limit ====
<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>
...
server {
...
client_max_body_size 35M; # max size of a message
client_body_timeout 300s; # timeout while upload attachment, otherwise upload may be canceled by timeout in case of a low upload speed, for example
}
...
<code>systemctl restart nginx</code>

==== PHP limit ====
<code>nano /etc/php.ini</code>
...
post_max_size = 35M;
upload_max_filesize = 35M;
...
reboot

== Amount of attached files in an email ==
<code>nano /etc/php.ini</code>
...
; Maximum number of files that can be uploaded via a single request
max_file_uploads = 50
...
<code>systemctl restart nginx.service php-fpm.service</code>

== Creating users via CLI ==

=== A single mailbox creation ===
Postfixadmin-cli installation<blockquote><nowiki>*</nowiki>if you have already had installed postfixadmin, you don't have to do the following</blockquote><code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

Help

<code>/usr/share/nginx/html/postfixadmin/scripts</code>

Comment password validation limits (e.g. "# must contain at least 2 digits" or something you needed) in the array 'password_validation' of the postfix config

<code>nano /usr/share/nginx/html/postfixadmin/config.inc.php</code>
...
$CONF['password_validation'] = array(
...
# '/([0-9].*){2}/' => 'password_no_digits 2', # must contain at least 2 digits
...
Create user

<code>cd /usr/share/nginx/html/postfixadmin/scripts</code>

<code>./postfixadmin-cli mailbox add prod@domain123.ru --password "AlefStudioS*100" --password2 "AlefStudioS*100" --name "Компания AlefStudio" --quota "4096" --active --welcome-mail</code>

=== Mass mailboxes creation ===
Mailboxes list file

<code>nano ./mailboxes.txt</code>
john@domain.ru|pass1|John Smith
ann@domain.ru|pass2|Анна Паста Бродерик-Иванова
Milbox creation script

<code>nano ./postfixadmin-mass-mailboxes-create.sh</code><syntaxhighlight lang="bash">
#!/bin/bash

#####
#
# Mass postfixadmin mailboxes creation by @ClessAlvein
#
#####

# VARS

mailboxesListFile="./USERS_lada-tambovavtocity.ru.txt"
mailboxQuota="2048"
pfCli="/usr/share/nginx/html/postfixadmin/scripts/postfixadmin-cli"
dateTimeCurrent=`date +%Y-%m-%d_%H-%M-%S`

# SCRIPT START

# declare array with mailbox data in the each line
declare -A arrayMailboxes;

# getting each line from the file with each user's data
while IFS= read -r line || [[ "$line" ]];
do
# getting user, pass, name from the line and put it to the assoc array key=value
while IFS="|" read "mailboxUserFromFile" "mailboxPassFromFile" "mailboxNameFromFile";
do
# makeup
echo "";

# debug
#echo "${mailboxUser}, ${mailboxPass}, ${mailboxName}";

# declare assoc array with each key as a bit mailbox's data
declare -A arrayMailbox;

# each key is a bit of the mailbox's data
arrayMailbox[arrayMailboxUser]=${mailboxUserFromFile};
arrayMailbox[arrayMailboxPass]=${mailboxPassFromFile};
arrayMailbox[arrayMailboxName]=${mailboxNameFromFile};

# for each bit of mailbox's data create var (user,pass,name)
for key in "${!arrayMailbox[@]}";
do
case $key in
arrayMailboxUser)
mailboxUser=${arrayMailbox[${key}]};;
arrayMailboxPass)
mailboxPass=${arrayMailbox[${key}]};;
arrayMailboxName)
mailboxName=${arrayMailbox[${key}]};;
esac
done
done < <( echo ${line} )

# if ${mailboxName} is empty
if [ -z "${mailboxName}" ]; then
mailboxName=${mailboxUser}
fi

# debug
echo "mailboxUser: ${mailboxUser}";
echo "mailboxPass: ${mailboxPass}";
echo "mailboxName: ${mailboxName}";

# create each mailbox
${pfCli} mailbox add ${mailboxUser} \
--password "${mailboxPass}" \
--password2 "${mailboxPass}" \
--name "${mailboxName}" \
--quota "${mailboxQuota}" \
--active --welcome-mail \
| tee -a ./log_${dateTimeCurrent}

done < ${mailboxesListFile}
</syntaxhighlight>Create mailboxes

<code>./postfixadmin-mass-mailboxes-create.sh</code>

== Roundcube Filter plugin (for email forwarding, sending copy of emails to another email, and other actions) ==
https://www.dmosk.ru/miniinstruktions.php?mini=roundcube-managesieve

We will use '''Roundcube managesieve plugin''' for that purpose<blockquote>* First off, check that there's no directory "sieve" in the "/home/mail/<DOMAIN>/<USER>/"</blockquote><code>nano /etc/dovecot/conf.d/10-mail.conf</code>

 * if you have already had '''mail_home = /home/vmail/%d/%u''' in this config, you have to edit it as deliberately '''mail_home = /home/vmail/%d/%u/sieve'''

 * мы задаем опцию mail_home с путем до каталогов с почтой. Обратите внимание, что на вашем сервере настройка может быть другая и необходимо указать правильное значение. Переменные %d и %u указывают, соответственно, на имя домена и учетной записи.
...
mail_home = /home/vmail/%d/%u/sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавляем плагин sieve, который должен теперь использоваться локальным агентом доставки lda.</blockquote>
...
protocol lda {
# Space separated list of plugins to load (default is global mail_plugins).
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-managesieve.conf</code><blockquote> * по аналогии с protocol lda, мы указываем на необходимость использования sieve

 * мы указываем, что наш сервис будет работать на порту 4190</blockquote>
...
protocols = $protocols sieve
...
service managesieve-login {
inet_listener sieve {
 port = 4190
}
...
}
...
<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> *sieve — путь до файла с правилами. Указывается для каждого ящика с помощью переменных.

 *sieve_global_path — путь до общего файла с правилами. Используется, если отсутствует файл по пути sieve.

 *sieve_dir — путь до каталога с подключаемыми скриптами-правилами. Указывается для каждого почтового ящика.

 *sieve_global_dir — путь до общего каталога с подключаемыми правилами. Используется, если отсутствует sieve_dir.</blockquote>
...
plugin {
sieve = /home/mail/%d/%u/sieve/dovecot.sieve
sieve_global_path = /etc/dovecot/sieve/default.sieve
sieve_dir = /home/mail/%d/%u/sieve
sieve_global_dir = /etc/dovecot/sieve/global/
...
}
...
<blockquote>'''!!! I'm not sure that the following is necessary'''

'''!!! At first try not to make this actions'''

'''!!! If everything works without it - nevermind'''

 Create dir for global rules sieve_global_dir:

 mkdir -p /etc/dovecot/sieve/global

 Chown dir:

 chown dovecot:dovecot -R /etc/dovecot/sieve</blockquote>Restart dovecot

<code>systemctl restart dovecot</code>

Roundcube config edit

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote> * At first, check that there's the "managesieve" plugin in the plugin directoty: "/usr/share/nginx/html/webmail/plugins/"</blockquote>
...
$config['managesieve_host'] = 'localhost';
...
$config['plugins'] = [
 ...
 'managesieve',
];
...
// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
Go to Roundcube Webmail

Create test filter (for example), copy message to another email after it will be received
'''Settings''' - '''Filter''' - Filter "'''Roundcube'''" - "'''+'''"
 '''Filter name''': mail_forward
 '''Area''': ALL messages
 '''Action''': send copy to - xxx@mail.ru
 '''Save'''
Now you can see the brand new files in the directory "'''/home/mail/<DOMAIN>/<USER>/sieve/'''" (config '''roundcube.sieve''' and symlink '''dovecot.sieve''' (config '''/etc/dovecot/conf.d/90-sieve.conf''' point to '''dovecot.sieve'''))
 ...
 dovecot.sieve -> roundcube.sieve
 roundcube.sieve
 ...
Test it

Send email to yourself

The message will be received and will be sent to xxx@mail.ru as well

Now, in that case, if you have a private per-user sieve script ('''/home/mail/%d/%u/sieve/dovecot.sieve''', we have already configured it), the global sieve script '''WON'T WORK'''!

To make the private per-user script and the global script work at the same time, we need to do following.

In this example we will filter all mail for all users, and put SPAM to the Junk directory.

https://talk.plesk.com/threads/global-dovecot-sieve-rule.341552/

<code>mkdir /etc/dovecot/conf.d/custom-sieve</code>

<code>cd /etc/dovecot/conf.d/custom-sieve</code>

<code>nano /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code><blockquote>*This rule filter SPAM (we have already configured spamassasin above, right?) and put it to Junk dir</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
Create the new global sieve configuration directive for Dovecot

<code>nano /etc/dovecot/conf.d/37-custom-global-sieve.conf</code>
plugin {
# Make sure to run "sievec" on this file after creating it:
sieve_after = /etc/dovecot/conf.d/custom-sieve/global_after.sieve
}
Run this to compile the new sieve, it will create a binary rule in the same directory

<code>sievec /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code>

Restart the Dovecot services<blockquote>You don't have to start spamassasin service to make spam filter work. Amavisd does it!</blockquote><code>systemctl restart dovecot</code>

Test it

If you have already configured Spamassassin in this manual above - send email to yourself with following in the message body: '''XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X'''

The message wil be put in the Junk directory and the copy of this message will be sent to xxx@mail.ru

<code>tail /var/log/maillog</code>
 ...
 Apr 23 20:39:54 mail amavis[1696]: (01696-01) Passed SPAM {RelayedTaggedInternal,Quarantined}, MYNETS LOCAL [::1]:50042 <admin@alef-studio.ru> -> <admin@alef-studio.ru>, Queue-ID: BE39DE013B, Message-ID: <223db76d330a882501d9b6584e72e16b@alef-studio.ru>, mail_id: qx51q6idSWsl, Hits: 998.992, size: 1158, queued_as: 8850CE0A8A, 709 ms
 ...
Now we can configure the private filter rules for each user, and our global SPAM filter will work as well!

== Roundcube. Create new messages with HTML-EDITOR by default ==
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['htmleditor'] = 1;
...

== Roundcube Pugin. Viewer Office Docs (DOC, XLS, ODT, ODS, etc.) ==
https://github.com/jfcherng-roundcube/plugin-cloudview

== Roundcube. Address-book from Windows AD DC on-line ==

=== At Windows AD DC Server ===
Go to "'''Domain Users and Computers'''"

First off, you need to have a user "'''admin'''" with Administrator's permissions to connect to the AD DC from Roundcube

Create a user in group "'''Users'''" with an email in (! '''You won't see any user at all in Roundcube web-interface if you don't add an email address to the specific users's field !''')

Get a LDAP/AD Administartor's "'''admin'''" Distinguished Name for connect to AD from the Mail Server (we will use it later)

<code>C:\Users\Администратор.WIN-RMJC4R0JMJR> '''dsquery user -name admin'''</code>
...
'''"CN=admin,CN=Users,DC=alf,DC=local"'''
...

=== At Mail Server ===
Add to the Roundcube config

<code>vim /usr/share/nginx/html/webmail/config/config.inc.php</code><syntaxhighlight lang="ini">
//Разрешить поиск и автодополнение из массива AD
$rcmail_config['autocomplete_addressbooks'] = array('sql','AD');

$config['ldap_public'] = array(
//Имя массива, в котором выполняется поиск
'AD' =>array (
'name' => 'ALF', //Отображаемое имя в интерфейсе WEBMail Roundcube
'hosts' => array('10.100.199.21'), //IP адрес или ДНС имя AD DC
'sizelimit' => 600,
'port' => 389,
'use_tls' => false,
'user_specific' => false,
'base_dn' => 'DC=alf,DC=local', //Где выполнять поиск
'bind_dn' => 'admin@alf.local', //Авторизация admin@alf.local на контроллере домена
'bind_pass' => 'PassWord#1', //Авторизация admin@alf.local на контроллере домена
'writable' => false,
'ldap_version' => 3,
'search_fields' => array(
'mail',
'cn',
),
'name_field' => 'cn',
'email_field' => 'mail',
'surname_field' => 'sn',
'firstname_field' => 'givenName',
//Можно добавить немного дополнительной информации в адресной книге
'organization_field' => 'company',
'jobtitle_field' => 'title',
'department_field' => 'department',
//Порядок сортировки
'sort' => 'sn',
'scope' => 'sub', //Выполнять поиск по всему каталогу LDAP // search mode: sub|base|list
'filter' => '(&(mail=*)(|(&(objectClass=user)(!(objectClass=computer)))(objectClass=group)))',
//'filter' => '(&(mail=*)(|(&(objectcategory=person)(!(objectClass=computer)))(objectClass=group)))',
'global_search' => true,
'fuzzy_search' => true
),
);

// ----------------------------------
// LDAP
// ----------------------------------
// Type of LDAP cache. Supported values: 'db', 'apc' and 'memcache'.
$config['ldap_cache'] = 'db';
// Lifetime of LDAP cache. Possible units: s, m, h, d, w
</syntaxhighlight>Go to Roundcube web-interface - Contacts

You will see new section "ALF" and contact in there

You can debug if something goes wrong:

<code>cat /usr/share/nginx/html/webmail/logs/errors.log</code>

== Amavis blocks some inbound emails addresses with error "'''Blocked BAD-HEADER-0'''" ==

=== Links ===
https://sourceforge.net/p/amavis/mailman/message/16755074/

https://www.habibza.in/amavisd-whitelist-or-allowed-mail-from-blocked-bad-header/

https://forum.iredmail.org/topic4681-solved-how-to-bypass-amavisd-for-some-senders.html

=== Solution 1 ===
<code>nano /etc/amavisd/amavisd.conf</code>
...
$final_bad_header_destiny = D_PASS;
...
<code>systemctl restart amavisd postfix</code>

=== ??? Solution 2. DOESN'T WORK ??? ===
Create whitelist of emails or even domains, which you want to allow

<code>nano /etc/amavisd/whitelist-badheader</code>
user@somedomain.com
somedomain.com
Edit amavis config

<code>nano /etc/amavisd/amavisd.conf</code>
...
# white list, which will allow inbound emails with BAD-HEADER-0
@bypass_header_checks_maps = (
read_hash("/etc/amavisd/whitelist-badheader"),
);
...
Restart services

<code>systemctl restart amavisd postfix</code>

== Logging users' action (e.g. copying, erasing users' emails), which users perform via any IMAP/POP3 mail clients, via Dovecot MDA logging ==
Enable mail plugins in Dovecot config

<code>vim /etc/dovecot/dovecot.conf</code>
...
mail_plugins = $mail_plugins mail_log notify
...
Enable plugins '''mail_log_events, mail_log_fields'''

<code>vim /etc/dovecot/conf.d/90-plugin.conf</code><syntaxhighlight>
...
plugin {
#setting_name = value

# Events to log. Defined in src/plugins/mail-log/mail-log-plugin.c - also available: flag_change save mailbox_create
# autoexpunge is included in expunge
mail_log_events = delete undelete expunge copy mailbox_delete mailbox_rename

# Also available: Defined in src/plugins/mail-log/mail-log-plugin.c - flags vsize from subject
mail_log_fields = uid box msgid from subject

# Don't log fields that require opening the email (v2.2.28+).
#mail_log_cached_only = yes
}
...
</syntaxhighlight>Restart dovecot

<code>systemctl restart dovecot</code>

Make some actions in the user's mailbox (e.g. move email to the Trash and then delete it completely)

Now you can look in the logs ('''expunge = delete''')

<code>cat '''/var/log/dovecot-info.log''' | grep "'''Info: expunge'''\|'''Info: copy'''"</code>
May 11 10:53:56 imap(admin@don661.ru)<259523><aw5K9CgY6oN/AAAB>: Info: '''copy''' from INBOX: box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 10:54:13 imap(admin@don661.ru)<259531><JGZG9SgYLKZ/AAAB>: Info: '''expunge''': box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 11:08:21 pop3(admin@don661.ru)<259979><Mz/SJykYIdpOhIjD>: Info: '''expunge''': box=INBOX, uid=10, msgid=<65e7897f-b08d-4f13-8655-73d08485b2f2@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

== Block particular senders (emails, domains) - inbox mail (Заблокировать конкретные ящики-отправители или домены - входящую почту) ==
<code>vim /etc/postfix/header_checks</code>
...
/^From:.*baduser@example.com/ REJECT
/^From:.*@spamdomain.com/ REJECT
/^From:.*@scientamicron.com/ REJECT
/^From:.*@ip-223-6.dataclub.info/ REJECT
<code>vim /etc/postfix/main.cf</code>
...
<nowiki>#</nowiki> BLOCK SENDERS LIST
header_checks = regexp:/etc/postfix/header_checks
<code>systemctl restart postfix.service</code>

Send an email from the blocked user (user01@gmail.com)

Check logs

<code>cat /var/log/postfix.log</code>
...
Mar 16 22:11:27 mail postfix/cleanup[3119]: 0D83BE1E24: reject: header From: "user01@gmail.com" <user01@gmail.com> from mail-lj1-f176.google.com[209.85.208.176]; from=<user01@gmail.com> to=<call.center2@lada-tambovavtocity.ru> proto=ESMTP helo=<mail-lj1-f176.google.com>: 5.7.1 message content rejected
...

= Errors =

=== Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database ===
ERROR

<code>cat ./dovecot.log</code>
 ...
 Feb 16 16:18:17 lda(cless@yourdomain.ru)<2571><B0HqGhkt7mMLCgAA1XGFgw>: Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database
 ...
SOLUTION

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
 ...
 mail_location = maildir:/home/mail/%d/%u/
 mail_home = /home/mail/%d/%u
 ...
<code>systemctl restart dovecot</code>

=== Error: imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem ===
ERROR

<code>cat /var/log/dovecot.log</code>
 ...
 Feb 27 00:56:40 imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem
 ...
SOLUTION

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>
...
ssl_dh = </etc/dovecot/dh.pem
...
<code>systemctl restart dovecot</code>

=== Error: '''"Connection error (failed to reach the server) roundcube"''' at Roundcube Webmail web-interface during sending a message, if the size of the message is 10MB+ (a huge sign with pictures, for example) ===
SOLUTION

The update from '''PHP-7.3''' to '''PHP-7.4''' has solved the issue.

=== ERROR: PHP-ImageMagick module creates huge files, which use all disk space in / partition ===
https://github.com/ImageMagick/ImageMagick/issues/395

PHP-ImageMagick module creates huge files, which use all disk space in / partition
/tmp/systemd-private-78b2a42fd129405aa1e735b61bf8fb72-php-fpm.service-Icx1Wg/tmp/magick-*
??? SOLUTION ???

Variant 1:

<code>nano /etc/ImageMagick-7/policy.xml</code>
...
<policymap>
...
<policy domain="resource" name="memory" value="2GiB"/>
<policy domain="resource" name="disk" value="1GiB"/>
<policy domain="cache" name="synchronize" value="True"/>
...
</policymap>
...
<code>systemctl restart nginx php-fpm</code>

Variant 2:

Using the following cron jobs for automatic cleanup. The first 2 lines will clean up old files based on their age.

In one case this was still insufficient, since a user was uploading a lot of very large images within a short time, causing the /tmp folder to fill up very quickly. Therefore the last line removes images which are at a certain filesize treshold. I picked a treshold just below the usual size of the magick-* files (see list in first post).

<code>crontab -e</code>
# Temporary solution to prevent /tmp from being filled with 200+ MB ImageMagick files
0 * * * * find /tmp/ -mmin +119 -type f -name 'magick-*' -delete
0 * * * * find /tmp/ -mmin +119 -type f -name 'php*' -delete
*/5 * * * * find /tmp/ -mmin +5 -type f -name 'magick-*' -size +200M -delete

=== Error in '''Roundcube Webmail during the searching for emails''': '''(Server error)''' ===
SOLUTION

It's necessary to Install Full-text search.

Proceed to the according section of this manual: '''Fts-xapian'''.

OpenVPN. Centos 7. Сервер + клиенты

2025-07-10T07:05:25Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; push DNS to clients
push "dhcp-option DNS 10.192.16.10"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100

user nobody

# CENTOS
group nobody

# UBUNTU
;group nogroup

persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn

; база отозванных сертификатов
; РАСКОММЕНТИТЬ ТОЛЬКО ПОСЛЕ ГЕНЕРАЦИИ crl.pem - БАЗА ОТОЗВАННЫХ СЕРТИФИКАТОВ
;crl-verify crl.pem
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC
dhcp-option DNS 10.54.100.227
dhcp-option DNS 10.54.100.228

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

cd ./easy-rsa
./easyrsa gen-req ${clientName} nopass
./easyrsa sign-req client ${clientName}
cd ..

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

=== Статус подключенных клиентов ===
<code>cat /var/log/openvpn/openvpn-status.log</code>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

LVM. Расширение объема раздела LV за счет свободного места на физическом диске

2025-07-01T06:47:27Z

Cless:

=Описание=
В данной инструкции мы увеличиваем '''системный''' раздел '''root''', но она также подойдет и для увеличения '''НЕсистемного''' раздела.

= Расширение =

== '''Вариант 1'''. Простой. Все действия производим онлайн в рабочей системе. БЕЗ удаления раздела '''root'''. ==

=== Если расширяемый раздел LV имеет ФС '''EXT4''' ===
Сначала убедимся что на нашем физическом диске есть свободная от разделов область (дополнительный незанятый разделами объем).

Или, если у нас виртуальная машина - сначала увеличиваем объем диска в ВМ.

Далее смотрим информацию о физическом диске и разделах. Должны увидеть что объем физического диска имеет необходимый объем для расширения (или что общий объем диска увеличился, если мы увеличили его в ВМ гипервизора).

<code>fdisk -l</code>

Смотрим что изначальный объем раздела '''LV''' '''root''' - '''21'''G, а свободного места '''- 86'''M

<code>df -h</code>
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/almalinux_alma-root '''21'''G 20G '''86'''M 99% /
Если мы посмотрим на '''PV''', то увидим что свободного места для расширения на нем нет, несмотря на то, что физически диск имеет свободную область (или что мы вручную увеличили объем физического диска в ВМ).

<code>pvs</code>
PV VG Fmt Attr PSize PFree
/dev/sda2 almalinux_alma lvm2 a-- <21.00g 0
Так и должно быть, идем далее.

Для начала необходимо расширить логический раздел /dev/sdb'''X''' для '''root''' на физическом диске (например, если на диске было свободное от разделов место или мы прибавили место к виртуальному диску в виртуальной машине (если машина в гипервизоре)). Иначе '''pvs''' и '''vgs''' будут показывать что размер раздела не увеличился и неоткуда брать место для создания '''LV''' большего объема.

==== Если PV создан на партиции /dev/sdaX ====

===== Интерактивное расширение через '''parted''' =====
<code>parted</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sda: '''4295'''MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1074MB 1073MB primary ext4
2 1075MB 4295MB 4294MB primary ext4
...
Система не даст расширить раздел до объема большего, чем объем самого диска, будет ошибка:

<code>(parted) resizepart 2 '''4296'''</code>
Error: The location '''4296''' is outside of the device /dev/sdb.
'''! Если logical раздел находится на extended разделе, то сначала расширяем extended раздел, а потом logical.'''

Расширяем объем раздела до полного объема физического диска - '''4295'''MB

<code>(parted) resizepart 2 '''4295'''</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1075MB 1074MB primary ext4 boot
2 1075MB 4295MB 4294MB primary ext4
 display the version number and copyright information of GNU Parted
...
Выходим из "parted"

<code>(parted) quit</code>

===== НЕинтерактивное расширение через '''growpart''' =====
<blockquote>'''-N -''' Можно предварительно запустить в холостом режиме с данным ключом

'''3''' - номер раздела (/dev/sdb'''3''')</blockquote><code>growpart -v /dev/sda 3</code>

==== Расширяем PV ====
<code>pvresize /dev/sda'''X'''</code>

===== Если PV создан на голом диске /dev/sda =====
Просто расширяем PV

<code>pvresize /dev/sde</code>

Идем далее.

Смотрим что есть дополнительный незанятый объем

<code>pvs</code>
PV VG Fmt Attr PSize PFree
/dev/sda2 almalinux_alma lvm2 a-- <31.00g '''8.00'''g
<code>vgs</code>
VG #PV #LV #SN Attr VSize VFree
almalinux_alma 1 2 0 wz--n- <31.00g '''8.00'''g
Расширяем '''LV''' на весь свободный объем

<code>lvresize /dev/almalinux_alma/root /dev/sda2</code>

или

Расширяем раздел и одновременно расширяем ФС (только если данный раздел отформатирован в '''XFS'''), используя ключ "'''-r'''" (используется <code>xfs_growfs</code>).

В данном случае после расширения раздела нет необходимости использовать <code>xfs_growfs</code><blockquote>Расширение на весь объем</blockquote><code>lvresize -r /dev/almalinux_alma/root /dev/sda2</code><blockquote>Расширение на +определенный объем</blockquote><code>lvresize -r -L +5G /dev/vg00/root /dev/vda2</code><blockquote>Расширение до итогового объема 20GB</blockquote><code>lvresize -r -L 20G /dev/vg00/root /dev/vda2</code>

'''ИЛИ'''

Расширяем '''LV''' на конкретное значение в '''GB'''<blockquote>'''-A n''' - Turn off auto-backup of metadata (see man page for details and cautions) which should prevent having to write to /etc/lvm You can then run '''vgcfgbackup''' after you have been successful in resizing. Необходимая опция если на расширяемом разделе осталось 0 свободного места.</blockquote><code>lvextend -A n -L +5G /dev/almalinux_alma/root</code>

Смотрим что объем '''LV''' увеличился

<code>lvs</code>
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
root almalinux_alma -wi-ao---- '''28.59'''g
swap almalinux_alma -wi-ao---- 2.40g
Расширяем ФС '''EXT4''' на '''LV''' '''root''' на '''весь доступный объем'''

<code>resize2fs /dev/almalinux_alma/root</code>

'''ИЛИ'''

Если расширяемый раздел LV имеет ФС '''XFS'''<blockquote>Указываем именно директорию с примонтированным расширенным разделом ('''/''' в данном случае, или, например, '''/mnt/d1''', если расширяли не системный диск)</blockquote><code>xfs_growfs -d /</code>

Смотрим что общий объем раздела '''root''' и объем свободного места увеличился

<code>df -h</code>
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/almalinux_alma-root '''29'''G 20G '''7.7G''' 72% /
Готово!

== '''Вариант 2'''. Сложный. Увеличение раздела через удаление текущего раздела и создание нового увеличенного раздела. (Лучше использовать '''Вариант 1''' как более простой, без удаления раздела.) ==
Грузимся с загрузочного LIVE дистрибутива Linux. Предпочтительно с '''SystemRescueCD.''' Все действия производим в LIVE системе '''SystemRescueCD'''. В ней имеются необходимые утилиты, например, '''fsarchiver'''.

=== Если расширяемый раздел LV имеет ФС '''XFS''' ===
Активируем LVM разделы

<code>vgchange -ay</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root centos_centos7-test01''' -wi-ao---- '''10.00g'''
Создаем директорию для монтирования системы root

<code>mkdir /mnt/root_lv</code>

Создаем директорию для бэкапа файлов раздела root в образ

<code>mkdir /mnt/root_backup</code>

Монтируем раздел root в директорию

<code>mount /dev/centos_centos7-test01/root /mnt/root_lv/</code>

Монтируем сетевую шару, на которую будем бэкапировать файлы раздела root (для этого подойдет и обычный раздел локального диска, например, подключенного через USB)

<code>mount -t cifs -o username=admin,password=PassWord#1 //192.168.17.12/img/tmp/root /mnt/root_backup/</code>

Бэкапим файлы раздела root в образ

<code>xfsdump -l 0 -L "root_backup" -M "root_backup" -f /mnt/root_backup/root_backup.img /mnt/root_lv</code>

Демонтируем раздел root

<code>umount /mnt/root_lv</code>

Удаляем раздел root, чтобы на его месте создать новый root увеличенного размера

<code>lvremove /dev/centos_centos7-test01/root</code><blockquote>'''СКОРЕЕ ВСЕГО ПЕРЕД СОЗДАНИЕМ НОВОГО РАЗДЕЛА LV НЕОБХОДИМО РАСШИРИТЬ ЛОГИЧЕСКИЙ РАЗДЕЛ НА ДИСКЕ'''

'''ВОЗМОЖНО Я НЕ УЧЕЛ ЭТО ПРИ НАПИСАНИИ МАНУАЛА'''

'''ЭТО МОЖНО СДЕЛАТЬ С ИСПОЛЬЗОВАНИЕМ ''parted'''''

'''СМОТРИ НИЖЕ - РАСШИРЕНИЕ РАЗДЕЛА EXT4 ЭТОГО МАНУАЛА'''

'''ДОПОЛНИТЬ ЭТОТ МАНУАЛ КОГДА БУДУ РАСШИРЯТЬ LVM С XFS'''</blockquote>Создаем новый root увеличенного размера

<code>lvcreate -Zy -L '''15G''' -n root centos_centos7-test01</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root centos_centos7-test01''' -wi-a----- '''15.00g'''
<code>vgs</code>
VG #PV #LV #SN Attr VSize '''VFree'''
'''centos_centos7-test01''' 1 2 0 wz--n- <30.00g '''<15.00g'''
Форматируем новый раздел root<blockquote>В mkfs.xfs (начиная с версии 3.2.4 xfsprogs) недавно стал использоваться по умолчанию суперблок версии 5 с множеством новых улучшений, таких как контрольные суммы метаданных CRC.

Чтобы избежать ошибки, требуется '''"-m reflink=0"''', что отключает несовместимую поддержку копирования при записи reflink.

Иначе при загрузке основной системы '''root''' раздел загрузится в '''RO''' режиме</blockquote><code>mkfs.xfs -m reflink=0 /dev/centos_centos7-test01/root</code>

Монтируем новый раздел в директорию

<code>mount /dev/centos_centos7-test01/root /mnt/root_lv/</code>

Восстанавливаем файлы root из сохраненного образа

<code>xfsrestore -f /mnt/root_backup/root_backup.img /mnt/root_lv</code>

Демонтируем раздел root и директорию для бэкапа

<code>umount /mnt/root_*</code>

Отключаем подключенный '''SystemRescueCD'''

Грузимся в основную систему

Система должна загрузиться

<code>reboot</code>

=== Если расширяемый раздел LV имеет ФС '''EXT4.''' ===
Активируем LVM разделы

<code>vgchange -ay</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root''' vg01 -wi-ao---- '''10.00g'''
Создаем директорию для бэкапа раздела root в образ

<code>mkdir /mnt/root_backup</code>

Монтируем сетевую шару, на которую будем бэкапировать раздел root (для этого подойдет и обычный раздел локального диска, например, подключенного через USB)

<code>mount -t cifs -o username=admin,password=PassWord#1 //192.168.17.12/img/tmp/root /mnt/root_backup/</code>

Создаем образ раздела '''root'''<blockquote>Будет создан образ '''/mnt/root_backup/root_lv.fsa'''</blockquote><code>fsarchiver savefs /mnt/root_backup/root_lv /dev/vg01/root</code>
 Statistics for filesystem 0
 * files successfully processed:....regfiles=27662, directories=5301, symlinks=1186, hardlinks=4250, specials=23
 * files with errors:...............regfiles=0, directories=0, symlinks=0, hardlinks=0, specials=0
Удаляем раздел '''root'''

<code>lvremove /dev/vg01/root</code>

Теперь необходимо расширить логический раздел /dev/sdb'''X''' для '''root''' на физическом диске (например, если на диске было свободное от разделов место или мы прибавили место к виртуальному диску в виртуальной машине (если машина в гипервизоре)). Иначе '''pvs''' и '''vgs''' будут показывать что размер раздела не увеличился и неоткуда брать место для создания '''LV''' большего объема.

<code>parted</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: '''4295'''MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1074MB 1073MB primary ext4
...
Система не даст расширить раздел до объема большего, чем объем самого диска, будет ошибка:

<code>(parted) resizepart 1 '''4296'''</code>
Error: The location '''4296''' is outside of the device /dev/sdb.
Расширяем объем раздела

<code>(parted) resizepart 1 '''4295'''</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 4295MB 4294MB primary ext4
 display the version number and copyright information of GNU Parted
...
Выходим из "parted"

<code>(parted) quit</code>

Расширяем PV

<code>pvresize /dev/sdb'''X'''</code>

Создаем раздел '''root''' с увеличенным объемом

<code>lvcreate -Zy -L '''15G''' -n root vg01</code>

Форматируем '''root'''

<code>mkfs.ext4 /dev/vg01/root</code>

Восстанавливаем раздел '''root''' из сохраненного ранее образа

<code>fsarchiver restfs /mnt/root_backup/root_lv.fsa id=0,dest=/dev/vg01/root</code>
 Statistics for filesystem 0
 * files successfully processed:....regfiles=27662, directories=5301, symlinks=1186, hardlinks=4250, specials=23
 * files with errors:...............regfiles=0, directories=0, symlinks=0, hardlinks=0, specials=0
<code>vgs</code>
VG #PV #LV #SN Attr VSize VFree
vg01 1 2 0 wz--n- <30.00g '''15.00g'''
<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root''' vg01 -wi-ao---- '''15.00g'''
Отключаем подключенный '''SystemRescueCD'''

Грузимся в основную систему

Система должна загрузиться

<code>reboot</code>
[[Категория:LVM]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-05-13T06:47:31Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100

user nobody

# CENTOS
group nobody

# UBUNTU
;group nogroup

persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn

; база отозванных сертификатов
; РАСКОММЕНТИТЬ ТОЛЬКО ПОСЛЕ ГЕНЕРАЦИИ crl.pem - БАЗА ОТОЗВАННЫХ СЕРТИФИКАТОВ
;crl-verify crl.pem
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC
dhcp-option DNS 10.54.100.227
dhcp-option DNS 10.54.100.228

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

cd ./easy-rsa
./easyrsa gen-req ${clientName} nopass
./easyrsa sign-req client ${clientName}
cd ..

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

=== Статус подключенных клиентов ===
<code>cat /var/log/openvpn/openvpn-status.log</code>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Mail Server. AlmaLinux 8. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

2025-05-01T07:23:21Z

Cless:

[[Категория:Mail]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Opensource Mail Server. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

= Links =
https://www.dmosk.ru/instruktions.php?object=mailserver-centos8

= Installation =

== DNS Server Global ==
<blockquote>Add resource records to the dns server, which is serving your domains (at mikrotik, for example, but it can be any dns-record manager of the registrar, which provides you your new domain)</blockquote><blockquote>'''''185.225.35.200''''' - public external IP of the mail server</blockquote><blockquote>'''''192.168.199.40''''' - local IP of this mail server in you local network</blockquote>

=== Root domain MX-record, which point to the mail domain ===
<code>/ip dns static</code>

<code>add name=yourdomain.ru mx-exchange=mail.yourdomain.ru. mx-preference=10 ttl=1m type=MX</code>

=== Domain for administration - mail02.yourdomain.ru ===
<blockquote>This should be the hostname of your physical mail server

It's not your domain for mail, just for management

If there will be other mail domains on that server, all emails still will be sended with source-host "mail02.yourdomain.ru" as mail sender

This domain needs to be added to ISP's PTR-record as well</blockquote><code>/ip dns static</code>

<code>add name=mail02.yourdomain.ru address=185.225.35.200 ttl=1m</code>

=== Mail domain - mail.yourdomain.ru ===
<blockquote>This is your first mail domain</blockquote><code>/ip dns static</code>

<code>add name=mail.yourdomain.ru address=185.225.35.200 ttl=1m</code>

== DNS Server Local ==
At the local '''DNS server''' (whose IP is registred in the file '''/etc/resolv.conf''' of this mail server) you have to register accordance of '''your domains''' and '''local IP''' in you local network of this server:
...
192.168.199.42 mail.yourdomain.ru
192.168.199.42 mail02.yourdomain.ru
...

== Mail server ==

=== General configuration ===
System update

<code>dnf -y update</code>

<code>reboot</code>

Hostname<blockquote>'''''mail02.yourdomain.ru''''' - mail server hostname</blockquote><blockquote>'''''185.225.35.200''''' - mail server public external IP</blockquote><code>hostnamectl set-hostname mail02.yourdomain.ru</code>

<code>nano /etc/hosts</code>
...
185.225.35.200 mail02.yourdomain.ru
...
Check

<code>host mail02.yourdomain.ru</code>

<code>dig A mail02.yourdomain.ru</code>

Utils, firewall, etc.

<code>dnf install -y chrony wget</code>

<code>timedatectl set-timezone Europe/Moscow</code>

<code>systemctl enable chronyd --now</code>

<code>firewall-cmd --permanent --add-port=25/tcp --add-port=80/tcp --add-port=110/tcp --add-port=143/tcp --add-port=443/tcp --add-port=465/tcp --add-port=587/tcp --add-port=993/tcp --add-port=995/tcp --add-port=22/tcp --add-port=10050/tcp</code>

<code>firewall-cmd --reload</code>

<code>setenforce 0</code>

<code>sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config</code>

=== SSL Certs ===
<blockquote>You have to choose whether you will use self-signed certs or letsencrypt certs or purchased certs. We will use it later for Webmail Interface (nginx), and for Mail Desktop Clients (postfix, dovecot)</blockquote>

==== Purchased certificates ====
''If you're going to purchase SSL certificates from CA:''

* You have to purchase '''a few wildcard certs''' with main domain and wildcard subdomains (e.g., '''example.com''' and '''*.example.com''') for '''each mail domain'''.

or

* You have to purchase '''the only ONE''' multidomain certificate with '''ALL main domain certs and wildcard certificates of your main domain ('''e.g., '''example.com''' and '''*.example.com''' for each domain''')'''.

==== Self-signed ====
Generate certs

<code>mkdir -p /etc/ssl/mail</code>

<code>openssl req -new -x509 -days 1461 -nodes -out /etc/ssl/mail/public.pem -keyout /etc/ssl/mail/private.key -subj "/C=RU/ST=SPb/L=SPb/O=Global Security/OU=IT Department/CN=mail02.yourdomain.ru"</code>

==== Letsencrypt ====
Nginx will create /usr/share/nginx/html directory for letsencrypt challenges

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y certbot</code>

You don't have to create cert for each domain. You can put all certs into one file

<code>certbot certonly --webroot --agree-tos -d mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

=== Nginx ===
Installation

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y <nowiki>http://rpms.remirepo.net/enterprise/remi-release-8.rpm</nowiki></code>

<code>dnf module install -y php:remi-7.4</code>

<code>dnf install -y php-fpm</code>

<code>mv /etc/nginx/nginx.conf /etc/nginx/nginx.conf.ORIG</code>

Main config

<code>nano /etc/nginx/nginx.conf</code>
# For more information on configuration, see:
# * Official English Documentation: <nowiki>http://nginx.org/en/docs/</nowiki>
# * Official Russian Documentation: <nowiki>http://nginx.org/ru/docs/</nowiki>
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Load modular configuration files from the /etc/nginx/conf.d directory.
# See <nowiki>http://nginx.org/en/docs/ngx_core_module.html#include</nowiki>
# for more information.
include /etc/nginx/conf.d/*.conf;
}
Redirect all HTTP-requests to HTTPS

<code>nano /etc/nginx/conf.d/00-default.conf</code>
#
# Note: This file must be loaded before other virtual host config files,
#
# HTTP
server {
# Listen on ipv4
listen 80;
listen [::]:80;
server_name _;
# Redirect all insecure http:// requests to https://
return 301 <nowiki>https://$host$request_uri</nowiki>;
}

====HTTPS configuring====

=====Case 1. If you are going to use self-signed or letsencrypt multidomain certificate (all domains and subdomains in one cert)=====

Create a general config for HTTPS traffic (in order to use it with Roundcube Webmail and Postfixadmin)

<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2 default_server;
 listen [::]:443 ssl http2 default_server;
 server_name _;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}
 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>

 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }
 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 }

=====Case 2. If you are going to use separate certificates, purchased from official CA or letsencrypt certs (separate cert for every mail domain)=====

Backup /etc/nginx/conf.d/00-default_ssl.conf (or don't create it at all)

<code>mv /etc/nginx/conf.d/00-default_ssl.conf /etc/nginx/conf.d/00-default_ssl.conf.ORIG</code>

Create separate config for each mail domain (in order to use it with Roundcube Webmail), and put in it the corresponding certificate path.

Also you can create separate config for you management domain (in order to use it with Postfixadmin web-interface) in the same way (in our case mail02.yourdomain.ru). Or you can use any of our mail domains in order to get access to Postfixadmin web-interface. You also can use for that purpose letsencrypt cert or purchased cert.

For example, this first config is for domain mail.don661.ru:

<code>nano /etc/nginx/conf.d/10-mail.don661.ru_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2;
 listen [::]:443 ssl http2;
 server_name mail.don661.ru;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/mail.don661.ru/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/mail.don661.ru/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}

 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>
 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }

 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }

 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 client_max_body_size 35M;
 client_body_timeout 300s;
 }

=== PHP ===
<code>systemctl enable php-fpm --now</code>

<code>systemctl restart nginx</code>

=== MariaDB ===
<code>dnf install -y mariadb-server</code>

<code>systemctl enable mariadb --now</code>

<code>mysqladmin -u root password</code>

<code>dnf install -y php-mysqli php-mbstring php-imap</code>

<code>systemctl restart php-fpm</code>

=== Postfixadmin ===
Installation

<code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

<code>mkdir /usr/share/nginx/html/postfixadmin/templates_c</code>

<code>chown -R apache:apache /usr/share/nginx/html/postfixadmin</code>

DB creating

<code>mysql -u root -p</code>

<code>> CREATE DATABASE postfix DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;</code>

<code>> GRANT ALL ON postfix.* TO 'postfix'@'localhost' IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Main config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
<?php
# configuring is finished maker
$CONF['configured'] = true;

# default_language
$CONF['default_language'] = 'en';

# database_password
$CONF['database_password'] = 'PassWord#1';

# app checks domain during domains and mailboxes
$CONF['emailcheck_resolve_domain']='NO';

# amount of records (mailboxes, aliases) per page
$CONF['page_size'] = '9999';

?>
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Enter Setup password, copy generated HASH of the Setup password to config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
...
$CONF['setup_password'] = '$2y$10$ZafzUSBaHy47kta5KfPAjF0aQBjH5i';
...
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Login with Setup password

Create new admin at the footer of the page
 Администратор admin@yourdomain.ru успешно добавлен!
You are done with your basic setup. You can now login to PostfixAdmin using the account you just created.

Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/login.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/login.php</nowiki></code>

=== Postfix ===
<code>dnf install -y postfix postfix-mysql</code>

User to work with mail services

<code>groupadd -g 1024 vmail</code>

<code>useradd -d /home/mail -g 1024 -u 1024 vmail -m</code>

<code>chown vmail:vmail /home/mail</code>

==== Main config ====
<code>nano /etc/postfix/main.cf</code>
# Edit parameters
...
# domain, that will be put in email during mail send if it doesn't point in mail's FROM

myhostname = mail02.yourdomain.ru
...
mydomain = mail02.yourdomain.ru
...
myorigin = mail02.yourdomain.ru
...
# domains for input emails
mydestination = $myhostname, localhost.$mydomain, localhost, localhost.localdomain
...
# where we can get local users
local_recipient_maps = unix:passwd.byname $alias_maps
...
# clients, that will send mail without auth at server. allow local server send emails
mynetworks = 127.0.0.0/8
...
inet_interfaces = all
...
inet_protocols = all
...

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/postfix/main.cf</code>

...

# COMMENT OLD PARAMETERS
#smtpd_tls_cert_file = <...>
#smtpd_tls_key_file = <...>
#smtp_tls_CApath = <...>
#smtp_tls_CAfile = <...>

<nowiki>#</nowiki> Add parameters

<nowiki>#</nowiki> self-signed certs
<nowiki>#</nowiki>smtpd_tls_cert_file = /etc/ssl/mail/public.pem
<nowiki>#</nowiki>smtpd_tls_key_file = /etc/ssl/mail/private.key

<nowiki>###</nowiki> OR

<nowiki>#</nowiki> letsencrypt certs
smtpd_tls_cert_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/cert.pem
smtpd_tls_key_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
smtp_tls_CApath = /etc/letsencrypt/live/ALL-MAIL-DOMAINS
smtp_tls_CAfile = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/chain.pem

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

https://serverfault.com/questions/928926/postfix-multi-domains-and-multi-certs-on-one-ip

<code>nano /etc/postfix/main.cf</code>

...
<nowiki>#</nowiki> Comment
<nowiki>#</nowiki> smtpd_tls_cert_file = /etc/pki/dovecot/certs/dovecot.pem
<nowiki>#</nowiki> smtpd_tls_key_file = /etc/pki/dovecot/private/dovecot.pem

<nowiki>#</nowiki> Provide the primary certificate for the server, to be used for outgoing connections
smtpd_tls_chain_files =
/etc/letsencrypt/live/servername.serverdom.com/privkey.pem,
/etc/letsencrypt/live/servername.serverdom.com/fullchain.pem

<nowiki>#</nowiki> Provide the map to be used when SNI support is enabled
tls_server_sni_maps = hash:/etc/postfix/vmail_ssl.map
...

nano /etc/postfix/vmail_ssl.map

<nowiki>#</nowiki> One host per line

mail.yourprimarymailserverdomain.com /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/fullchain.pem
mail.yoursecondarymailserverdomain.com /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/fullchain.pem

<nowiki>#</nowiki> add more domains with keys and certs as needed

postmap -F hash:/etc/postfix/vmail_ssl.map

systemctl restart postfix
==== Main config again ====
<code>nano /etc/postfix/main.cf</code><blockquote> virtual_mailbox_base — storage path for mailboxes

 virtual_alias_maps — format and path of the aliases for virtual users

 virtual_mailbox_domains — format and path of the virtual domains

 virtual_mailbox_maps — format and path of the mailboxes for virtual users

 virtual_minimum_uid — start UID number for users

 virtual_uid_maps — user id, which write messages

 virtual_gid_maps — group id, which write messages

 virtual_transport — message deliver

 dovecot_destination_recipient_limit — message transfer from Postfix to Dovecot in steps 1 (one) at a time

 smtpd_sasl_auth_enable — sasl auth enable

 smtpd_sasl_exceptions_networks — networks excepted from encryption

 smtpd_sasl_security_options — additional sasl settings

 broken_sasl_auth_clients — option for MS Outlook clients

 smtpd_sasl_type — auth type

 smtpd_sasl_path — Dovecot tmp files. Full or related (default /var/spool/postfix). Full path — /var/spool/postfix/private/auth

 smtp_use_tls — smtp transfer mandatory

 smtpd_use_tls — indicates to clients that TLS support is available

 smtpd_tls_auth_only — use TLS only

 smtpd_helo_required — request to start the session with a greeting</blockquote>
...
<nowiki>#</nowiki> Add parameters at the end of the file

virtual_mailbox_base = /home/mail
virtual_alias_maps = proxy:mysql:/etc/postfix/mysql_virtual_alias_maps.cf
virtual_mailbox_domains = proxy:mysql:/etc/postfix/mysql_virtual_domains_maps.cf
virtual_mailbox_maps = proxy:mysql:/etc/postfix/mysql_virtual_mailbox_maps.cf
'''### If you want to reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files), add the following option):'''
'''# ''smtpd_reject_unlisted_sender = yes''
'''### (You can try to send an email with non-existing user in field FROM, you will see a rejection in output:
'''### ''echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)'''''
virtual_minimum_uid = 1024
virtual_uid_maps = static:1024
virtual_gid_maps = static:1024
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
smtpd_sasl_auth_enable = yes
smtpd_sasl_exceptions_networks = $mynetworks
smtpd_sasl_security_options = noanonymous
broken_sasl_auth_clients = yes
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtp_use_tls = yes
smtpd_use_tls = yes
smtpd_tls_auth_only = yes
smtpd_helo_required = yes
Aliases config

<code>nano /etc/postfix/mysql_virtual_alias_maps.cf</code><blockquote> * '''user, password''' — MySQL DB login and password; '''hosts''' — MySQL hostname; '''dbname''' — Mysql DB name; '''query''' — DB request template</blockquote>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT goto FROM alias WHERE address='%s' AND active = '1'
Virtual domains config

<code>nano /etc/postfix/mysql_virtual_domains_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT domain FROM domain WHERE domain='%u'
Mailboxes config

<code>nano /etc/postfix/mysql_virtual_mailbox_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT CONCAT(domain,'/',maildir) FROM mailbox WHERE username='%s' AND active = '1'
<code>nano /etc/postfix/master.cf</code><blockquote>* you need to be sure that there's no any uncomment options for '''submission''', '''smtps''' и '''dovecot''' (by default there's no such uncomment options). In this config we configuring Postfix at ports 25, 465 и 587. In master.cf we configuring auxiliary services for Postfix:

 submission inet n - n - - smtpd:

 submission — service name. In this example '''submission''' is used for MUA at port 587 during message sending.

 inet — type of the service. Possible cases: inet (TCP/IP socket), unix (stream socket), unix-dgram (datagram socket), fifo (named queue channel), pass (stream socket UNIX).

 первый "n" — whether service private or limited. Possible cases: y or n. For inet service type it should be only n.

 первый "-" — whether service works with root rights. Possible cases: y, n or -. "-" means that this options doesn't applied to this service.

 второй "n" — whether the service should work in chroot. Possible cases: y или n.

 второй "-" — in what time the service should be awaked if one is inactive.

 третий "-" — the maximum number of child processes of this service.

 smtpd — running command.

 * the following are the arguments for running the command:

 smtpd_tls_security_level — TLS security level.

 smtpd_sasl_auth_enable — sasl auth enable.

 smtpd_sasl_type — sasl auth type.

 smtpd_sasl_path — temp files path.

 smtpd_sasl_security_options — additional sasl options.

 smtpd_sasl_local_domain — smtp-auth users' domain.

 syslog_name — log prefix of the service in the syslog.

 smtpd_tls_wrappermode — whether running service in custom mode (for TLS support).

 smtpd_client_restrictions — limit clients' connections. allow only authorized clients.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the file
submission inet n - n - - smtpd
-o smtpd_tls_security_level=may
-o smtpd_sasl_auth_enable=yes
-o smtpd_sasl_type=dovecot
-o smtpd_sasl_path=/var/spool/postfix/private/auth
-o smtpd_sasl_security_options=noanonymous
-o smtpd_sasl_local_domain=$myhostname
smtps inet n - n - - smtpd
-o syslog_name=postfix/smtps
-o smtpd_tls_wrappermode=yes
-o smtpd_sasl_auth_enable=yes
-o smtpd_client_restrictions=permit_sasl_authenticated,reject
dovecot unix - n n - - pipe
flags=DRhu user=vmail:vmail argv=/usr/libexec/dovecot/deliver -d ${recipient}

Log configure

<code>postconf maillog_file=/var/log/postfix.log</code>

<code>systemctl enable postfix --now</code>

<code>chmod 777 /var/log/postfix.log</code>

=== Dovecot ===

<code>dnf install -y dovecot dovecot-mysql</code>

Mailboxes path

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
...
mail_location = maildir:/home/mail/%d/%u/
mail_home = /home/mail/%d/%u
...
Listener for the auth

<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote>* auth service and 2 listeners:

'''/var/spool/postfix/private/auth''' for Dovecot auth ('''/var/spool/postfix/private/auth''' is a '''private/auth''' in Postfix),

'''auth-userdb''' - '''dovecot-lda''' auth socket, '''666''' means any user can use it, '''user and group''' - socket owner</blockquote>
...
<nowiki>#</nowiki> Edit parameters

service auth {
unix_listener /var/spool/postfix/private/auth {
 mode = 0666
 user = postfix
 group = postfix
}
unix_listener auth-userdb {
 mode = 0600
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote> * otherwise we will see an error: '''net_connect_unix(/var/run/dovecot/stats-writer) failed permission denied''', because vmail user doesn't has specific rights.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the conf

service stats {
 unix_listener stats-reader {
 user = vmail
 group = vmail
 mode = 0660
 }
 unix_listener stats-writer {
 user = vmail
 group = vmail
 mode = 0660
 }
}
Dovecot auth

<code>nano /etc/dovecot/conf.d/10-auth.conf</code><blockquote> * comment common auth and add sql-auth.</blockquote>
...
<nowiki>#</nowiki>!include auth-system.conf.ext
!include auth-sql.conf.ext
...
Encryption configure

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> self-signed
<nowiki>#</nowiki>ssl_cert = </etc/ssl/mail/public.pem
<nowiki>#</nowiki>ssl_key = </etc/ssl/mail/private.key

<nowiki>#</nowiki> letsencrypt
ssl_cert = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem
ssl_key = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
...

...
ssl_dh = </etc/dovecot/dh.pem
...

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> TLS SNI (Server Name Indication) support (https://doc.dovecot.org/configuration_manual/dovecot_ssl_configuration/)
<nowiki>#</nowiki> Individual cert for each domain
<nowiki>#</nowiki> It is important to note that having multiple SSL certificates per IP will not be compatible with all clients, especially mobile ones. It is a TLS SNI limitation.

<nowiki>#</nowiki> Default cert
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem

local_name mail.ladavoronezh.ru {
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem
}
local_name mail.don661.ru {
ssl_cert = </etc/letsencrypt/live/mail.don661.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.don661.ru/privkey.pem
}

...
ssl_dh = </etc/dovecot/dh.pem
...

Dirs autocreation during the first login a mailbox

<code>nano /etc/dovecot/conf.d/15-lda.conf</code>
...
<nowiki>#</nowiki> Edit parameters

lda_mailbox_autocreate = yes
...
Connect to DB configure

<code>nano /etc/dovecot/conf.d/auth-sql.conf.ext</code><blockquote> * config for getting users' name and password. It's a default config.</blockquote>
...
<nowiki>#</nowiki> Edit parameters

passdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
userdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
...
Connect to mysql configure<blockquote> * getting data from mysql (mariadb).

'''password_query''' — request for getting password from the '''mailbox''' table;

'''user_query''' — request for getting user's data (home dir, id 1024 (it's a '''vmail''' user id).</blockquote><code>nano /etc/dovecot/dovecot-sql.conf.ext</code>
driver = mysql
connect = host=localhost dbname=postfix user=postfix password=PassWord#1
default_pass_scheme = MD5-CRYPT
password_query = SELECT password FROM mailbox WHERE username = '%u'
user_query = SELECT maildir, 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
Interface for dovecot listening

<code>nano /etc/dovecot/dovecot.conf</code>
...
listen = *
...
log_path = /var/log/dovecot.log
info_log_path = /var/log/dovecot-info.log
debug_log_path = /var/log/dovecot-debug.log

# debug log (DON'T ENABLE IT BY DEFAULT, ONLY IN DEBUG CASES)
###mail_debug = yes
...
<code>systemctl enable dovecot --now</code>

<code>chmod 777 /var/log/dovecot*</code>

=== Postfixadmin. First domain and mailbox creating ===
Go to the Postfixadmin Web

<code><nowiki>http://mail02.yourdomain.ru/postfixadmin/public</nowiki></code>

* Create domain yourdomain.ru
* Create Mailbox cless@yourdomain.ru

=== Roundcube ===
<blockquote>Roundcube Webmail config defaults.inc.php default parameters:

https://github.com/roundcube/roundcubemail/blob/master/config/defaults.inc.php</blockquote><code>wget <nowiki>https://github.com/roundcube/roundcubemail/releases/download/1.6.1/roundcubemail-1.6.1-complete.tar.gz</nowiki></code>

<code>mkdir /usr/share/nginx/html/webmail</code>

<code>tar -C /usr/share/nginx/html/webmail -xvf roundcubemail-*.tar.gz --strip-components 1</code>

<code>cp /usr/share/nginx/html/webmail/config/config.inc.php.sample /usr/share/nginx/html/webmail/config/config.inc.php</code>

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
<nowiki>#</nowiki> Edit

$config['db_dsnw'] = 'mysql://roundcube:PassWord#1@localhost/roundcubemail';

<nowiki>#</nowiki> Add

$config['enable_installer'] = true;
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
// Comment

//$config['smtp_host'] = 'localhost:587';
//$config['smtp_user'] = '%u';
//$config['smtp_pass'] = <nowiki>''</nowiki>;
...

// Add

$config['smtp_host'] = 'tls://localhost';
$config['smtp_conn_options'] = array(
'ssl' => array(
'verify_peer' => false,
'verify_peer_name' => false,
),
);
...
# web session timeout (in minutes)
$config['session_lifetime'] = 1440;
...
// If true all folders will be checked during AUTO-REFRESH for recent messages (Otherwise only standard folders will be checked, like Inbox or SPAM)
$config['check_all_folders'] = true;

// default roundcube webmail interface language
$config['language'] = 'ru_RU';
...

// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote>'''$config['create_default_folders'] = true''' (creating dirs by default (if there's lack of ones)):

'''Drafts''' — Messages drafts.

'''Junk''' — SPAM.

'''Sent''' — Sent messages.

'''Trash''' — Trash bin for messages.

* It's necessary to avoid errors, for example during receiving or deleting messages.</blockquote><syntaxhighlight lang="ini">
...
# Add at the end of the file

$config['drafts_mbox'] = 'Drafts';
$config['junk_mbox'] = 'Junk';
$config['sent_mbox'] = 'Sent';
$config['trash_mbox'] = 'Trash';
$config['create_default_folders'] = true;
</syntaxhighlight><code>chown -R apache:apache /usr/share/nginx/html/webmail</code>

Create roundcubemail DB

<code>mysql -uroot -p</code>

<code>> CREATE DATABASE roundcubemail DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;</code>

<code>> GRANT ALL PRIVILEGES ON roundcubemail.* TO roundcube@localhost IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Apply template

<code>mysql -uroot -p roundcubemail < /usr/share/nginx/html/webmail/SQL/mysql.initial.sql</code>

<code>dnf install php php-common php-pear php-mcrypt php-intl php-ldap php-pear-Net-SMTP php-zip php-imagick php-gd php-fpm php php-pdo php-mysqli php-mbstring php-imap</code>

PHP configure<blockquote>* necessary to create message size limit</blockquote><code>nano /etc/php.ini</code>
...
# Edit

...
date.timezone = "Europe/Moscow"
...
post_max_size = 30M
...
upload_max_filesize = 30M
...
<code>systemctl restart php-fpm</code>

<code>nano /etc/nginx/nginx.conf</code>
...
# Edit

...
http {
 ...
 client_max_body_size 30M;
 ...
}
...
<code>systemctl restart nginx</code>

Go to web

<code><nowiki>http://mail02.yourdomain.ru/webmail/installer/</nowiki></code>

After web installation - disable installer

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['enable_installer'] = false;
...
Remove installer

<code>\rm -R /usr/share/nginx/html/webmail/installer</code>

=== Quota Dovecot + PostfixAdmin ===
https://www.dmosk.ru/miniinstruktions.php?mini=quota-dovecot-postfixadmin

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><blockquote> * plugin to create quotas.</blockquote>
...
<nowiki>#</nowiki> Edit

mail_plugins = $mail_plugins quota
...
<code>nano /etc/dovecot/conf.d/20-imap.conf</code><blockquote> * uncomment '''mail_plugins'''.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol imap {
mail_plugins = $mail_plugins imap_quota
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code>
...
<nowiki>#</nowiki> Edit

service dict {
 unix_listener dict {
 mode = 0660
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/90-quota.conf</code><blockquote> * uncomment '''quota = dict:User quota::proxy::quota'''.</blockquote>
...
<nowiki>#</nowiki> Add

plugin {
quota = dict:User quota::proxy::quota
}
...
<code>nano /etc/dovecot/dovecot.conf</code>
...
<nowiki>#</nowiki> Edit

dict {
quota = mysql:/etc/dovecot/dovecot-dict-sql.conf.ext
}
...
Create config file

<code>nano /etc/dovecot/dovecot-dict-sql.conf.ext</code><blockquote>Mysql connection

'''host''' — mysql server host;

'''dbname''' — db containing postfix users;

'''user''' — db user;

'''password''' — db password.</blockquote>
connect = '''host'''=localhost '''dbname'''=postfix '''user'''=postfix '''password'''=PassWord#1
map {
pattern = priv/quota/storage
table = quota2
username_field = username
value_field = bytes
}
map {
pattern = priv/quota/messages
table = quota2
username_field = username
value_field = messages
}
<code>nano /etc/dovecot/dovecot-sql.conf.ext</code><blockquote> *if you have several '''user_query''' in your config, create query for the last one.</blockquote>
...
<nowiki>#</nowiki> Find "user_query" and put into this line: '''CONCAT('*:bytes=', quota) AS quota_rule'''
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid, '''''CONCAT('*:bytes=', quota) AS quota_rule''''' FROM mailbox WHERE username = '%u'
...
Check dovecot config

<code>doveconf</code>

Restart

<code>systemctl restart dovecot</code>

Logout-Login into Roundcube webmail.

At the foot of the page there'll be a quota appear.

=== Clamav + Amavisd ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavisd-new clamd perl-Digest-SHA1 perl-IO-stringy</code>

Rsyslog is necessary to write SPAM and VIRUS log to /var/log/maillog

<code>dnf install -y rsyslog</code>

<code>systemctl enable --now rsyslog.service</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
<nowiki>#</nowiki> Edit

$mydomain = 'yourdomain.ru';
...

# Edit

$log_level = 0; # verbosity 0..5, -d
$log_recip_templ = undef; # disable by-recipient level-0 log entries
$do_syslog = 1; # log via syslogd (preferred)
$syslog_facility = 'mail'; # Syslog facility as a string
# e.g.: mail, daemon, user, local0, ... local7
...

<nowiki>#</nowiki> Edit

$myhostname = 'mail02.yourdomain.ru';

...
<nowiki>#</nowiki> Add before line "'''''1; # insure a defined return value'''''"

$allowed_header_tests{'multiple'} = 0;
$allowed_header_tests{'missing'} = 0;
...
<code>nano /etc/clamd.d/scan.conf</code>
...
<nowiki>#</nowiki> Uncomment
TCPSocket 3310
...
<code>systemctl enable clamd@scan --now</code>

<code>systemctl enable amavisd --now</code>

Postfix settings

<code>nano /etc/postfix/main.cf</code><blockquote>'''content_filter''' - point to application, which ьуфте to scan messages;

'''receive_override_options''' - allow you to see original email addresses with viruses.</blockquote>
...
<nowiki>#</nowiki> Add

content_filter = scan:[127.0.0.1]:10024
receive_override_options = no_address_mappings
<code>nano /etc/postfix/master.cf</code><blockquote> * итак, данной настройкой мы создадим два вспомогательных сервиса scan и 127.0.0.1:10025 (сервис без имени, он просто будет слушать на порту 10025 — это порт по умолчанию, на который отправляет сообщение amavis после выполнения проверки). Также, мы используем следующие опции:

 smtp_send_xforward_command — передавать ли в сканирование сообщение с исходными именем клиента и IP-адресом. В данном примере, да.

 smtp_enforce_tls — требовать ли TLS.

 content_filter — приложение для сканирования. В данном примере сканирование отключено.

 receive_override_options переопределяет опции в main.cf. В нашем случае, no_unknown_recipient_checks отключает попытки выяснить, является ли получатель неизвестным; no_header_body_checks отключает проверки заголовков и тала писем.

 пустые значения для smtpd_helo_restrictions, smtpd_client_restrictions, smtpd_sender_restrictions отключают ограничения для данных опций.

 smtpd_recipient_restrictions — контролирует ответ Postfix на SMTP-команду RCPT TO. Здесь мы разрешаем только соединения от узлов, перечисленных в mynetworks.

 mynetworks_style=host указывает postfix, что он должен пересылать почту только с локального компьютера.

 smtpd_authorized_xforward_hosts укажет, какие удаленные клиенты могут использовать XFORWARD. В данном случае локальный компьютер.</blockquote>
...
<nowiki>#</nowiki> Add at the end of the file

scan unix - - n - 16 smtp
-o smtp_send_xforward_command=yes
-o smtp_enforce_tls=no
127.0.0.1:10025 inet n - n - 16 smtpd
-o content_filter=
-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
# '''OR, if you want to restrict sending emails by users with inexistened local domains, etc.:'''
# '''(You can see logs of PASSED o DROPPED emails in ''/var/log/maillog'' after sending them''')
# '''-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject'''
-o mynetworks_style=host
-o smtpd_authorized_xforward_hosts=127.0.0.0/8
<code>systemctl restart postfix</code>

Clamd update

<code>dnf install -y clamav-update</code>

<code>nano /etc/freshclam.conf</code>
...
<nowiki>#</nowiki> Choose one of the update mirrors

<nowiki>#</nowiki>DatabaseMirror <nowiki>https://clamav.jinr.ru</nowiki>
<nowiki>#</nowiki>DatabaseMirror <nowiki>https://packages.microsoft.com/clamav/</nowiki>
DatabaseMirror pivotal-clamav-mirror.s3.amazonaws.com
...
Then remove the freshclam.dat file and restart the service

<code>rm -f /var/lib/clamav/freshclam.dat</code>

<code>systemctl restart clamav-freshclam</code>

Update

<code>freshclam</code>

Antispam DB update

<code>sa-update --nogpg --verbose</code>

Cron

<code>crontab -e</code>
...
15 3 * * * /bin/freshclam
30 3 * * * /bin/sa-update
Antivirus checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
The email will never come, and you will see the following in the logs:

<code>tail /var/log/postfix.log</code>

 -OR-

<code>tail /var/log/maillog</code>
 ...
 ... amavis[17688]: (17688-04) Blocked INFECTED (Eicar-Signature) {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... relay=127.0.0.1[127.0.0.1]:10024, delay=0.25, delays=0.19/0/0/0.06, dsn=2.7.0, status=sent (250 2.7.0 Ok, discarded, id=17688-04 - INFECTED: Eicar-Signature)
 ...

=== Redirect SPAM to user's SPAM-directory using Amavis service ===
<code>dnf install -y amavis dovecot-pigeonhole dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> * закомментированная строка указывала, что файл с настройками находится в домашней директории каждого пользователя. Мы же будем делать централизованный конфиг в файле /etc/dovecot/sieve/default.sieve.</blockquote>
...
<nowiki>#</nowiki> Comment

<nowiki>#</nowiki>sieve = file:~/sieve;active=~/.dovecot.sieve

<nowiki>#</nowiki> Add

sieve = /etc/dovecot/sieve/default.sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавили плагин sieve. Также необходимо со строки снять комментарий, если он был.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lda {
...
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-lmtp.conf</code><blockquote> * также мы добавили плагин sieve + необходимо со строки снять комментарий, если он есть.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lmtp {
...
mail_plugins = $mail_plugins sieve
}
...
<code>mkdir /etc/dovecot/sieve</code>

<code>nano /etc/dovecot/sieve/default.sieve</code><blockquote> * в данном примере мы ищем в заголовках X-Spam-Flag и отправляем такие письма в папку Junk.</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
<code>chown -R vmail:vmail /etc/dovecot/sieve</code>

<code>systemctl restart dovecot</code>

<code>nano /etc/amavisd/amavisd.conf</code><blockquote> * по умолчанию стоит значение D_DISCARD, что означает, что сообщения будут отклонятся. Нам же нужно D_PASS — пропускать.</blockquote>
...
<nowiki>#</nowiki> Edit

$final_spam_destiny = D_PASS;

...
<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

SPAM filter checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
The email will be appear inthe SPAM-directory, any you will see in the logs:
 ...
 ... amavis[17689]: (17689-04) Blocked SPAM {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... status=sent (250 2.7.0 Ok, discarded, id=17689-04 - spam)
 ...

=== Logrotate of mail logs ===
<code>nano /etc/logrotate.conf</code><syntaxhighlight lang="bash">
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# system-specific logs may be also be configured here.
</syntaxhighlight><code>nano /etc/logrotate.d/mail</code><syntaxhighlight lang="bash">
/var/log/dovecot-debug.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot-info.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/postfix.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/maillog {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}
</syntaxhighlight>Check a cron daily task. It should already exist

<code>nano /etc/cron.daily/logrotate</code><syntaxhighlight lang="bash">
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE
</syntaxhighlight>Wait for a daily task to complete

Or you can run the logrotate manually:

<code>logrotate -f /etc/logrotate.conf</code>

= Improving email deliverability (VERY IMPORTANT!) =
https://www.linuxbabe.com/mail-server/centos-7-iredmail-email-server

To prevent your emails from being flagged as spam, you should set PTR, SPF, DKIM and DMARC records.

=== PTR записи на DNS сервере ===

==== Описание ====
Запись PTR прописывается _НЕ_ в ресурсных записях днс-сервера, к которому привязан ваш почтовый домен, это делает именно регистратор ip-адреса (провайдер или хостер, предоставляющий внешний ip-адрес)! Если провайдер ростелеком, пишем на электронку support@tmb.ru с просьбой зарегистрировать ptr-запись, штатная техподдержка отказывается предоставлять такую услугу

Если у вас есть свой почтовый сервер, то необходимо, чтобы ваш провайдер (а точнее тот, кто выдал вам статические ip-адреса. если ваш внешний IP предоставил вам хостер, на котором у вас крутится VPS/VDS, то обращаемся в техподдержку хостера) зарегистрировал на своем DNS-сервере PTR записи для вашего почтового сервера (MX-записи). Иначе, подавляющая часть почтовых серверов интернета откажется принимать почту от вашего почтового сервера.

Так же, многие почтовые сервера отвергают письма, если при проверке адреса отправителя в строке им выдается "dynamicip" или "dsl" или подобные слова означающие, что ваш адрес не статический или не совпадает с именем вашего домена.

Если в ответе сервера на ваше отправленное письмо вы видите что-то типа:

mxs.mail.ru: 550 Sorry, we do not accept mail from hosts with dynamic IP or generic DNS PTR-records. Please get a custom reverse DNS name from your ISP for your host 215.54.54.54 or contact abuse@corp.mail.ru in case of error

это значит, что вам необходимо корректно зарегистрировать PTR запись на DNS-сервере для вашего доменного имени.

Для этого необходимо послать запрос тому, кто выдал вам статические ip-адреса (обычно, это ваш провайдер) с просьбой зарегистрировать PTR запись для вашего домена.

PTR запись должна быть одна для одного IP (не нужно создавать две записи для основного домена (mydomain.ru) и почтового домена (mail.mydomain.ru) если оба они привязаны А-записью к одному IP)

PTR запись должна быть создана именно для MX записи. То есть, если адреса домена и почтового обменника не совпадают, то PTR создаем именно для MX записи.

Например, если домен mydomain.ru находится по адресу 22.11.33.44, а почтовый обменник (MX запись) создана для хоста mail.mydomain.ru, расположенного по адресу 11.22.33.44, то и PTR запись нужно создавать для mail.mydomain.ru:
44.33.22.11.in-addr.arpa mail.mydomain.ru
Естественно, можно "до кучи" создать обратную запись и для самого домена mydomain.ru. Она так же не помешает:
44.33.11.22.in-addr.arpa mydomain.ru

==== Резюмируя, необходимо сделать следующее: ====
1. Необходимо прописать ресурсную запись MX (MX 10 mail.yourdomain.ru.) для основного домена "yourdomain.ru", указав что почтовым доменом MX-сервера является "mail.yourdomain.ru"

Это делаем мы.

Например, IP нашего yourdomain.ru - 1.2.3.4
A yourdomain.ru 1.2.3.4
MX 10 mail.yourdomain.ru.
2. Создать PTR-запись на DNS сервере регистратора

IP домена "mail.yourdomain.ru" необязательно должен совпадать с IP "yourdomain.ru", но PTR-запись должна быть создана регистратором IP-адреса (5.6.7.8) домена "mail.yourdomain.ru". Если у нас несколько почтовых доменов на одном почтовом сервере и все они выходят через единственный внешний IP, то PTR соответствие необходимо прописать для домена, которым именуется (hostname) сам физический почтовый сервер.

Например, сама физическая машина именуется mail.yourdomain.ru

(

Также для этого необходимо прописать "mail.yourdomain.ru" в следующих местах:

<code>hostnamectl set-hostname mail.yourdomain.ru</code>

Cоответствие внешнего IP, для которого создаем PTR-запись, и домена mail.yourdomain.ru прописываем в /etc/hosts)
...
45.67.59.224 mail.yourdomain.ru
Изменить настройки postfix

<code>nano /etc/postfix/main.cf</code>
...
myhostname = mail.yourdomain.ru
myorigin = mail.yourdomain.ru
mydomain = mail.yourdomain.ru
...
)

mail.yourdomain.ru не обязан вообще быть почтовым доменом, но он будет в поле "helo: mail.yourdomain.ru" при отправке письма с любого другого почтового домена, работающего на нашем почтовом сервере. поэтому создаем ptr-запись именно для mail.yourdomain.ru - "8.7.6.5.in-addr.arpa mail.yourdomain.ru"

Это делает регистратор внешнего IP

Например, IP нашего mail.yourdomain.ru 5.6.7.8
8.7.6.5.in-addr.arpa mail.yourdomain.ru

==== Проверки ====
1.

<code>host 5.6.7.8</code>
...
8.7.6.5.in-addr.arpa domain name pointer mail.yourdomain.ru.
...
Готово!

2.

Например, для домена mydomain.ru с адресом 215.54.54.54, необходимо зарегистрировать следующую запись:
54.54.54.215.in-addr.arpa name=mydomain.ru
А если почтовый сервер сидит на отдельном адресе, например, mail.mydomain.ru имеет адрес 215.54.54.55, то необходимо зарегистрировать еще одну PTR запись:
55.54.54.215.in-addr.arpa name=mail.mydomain.ru
Проверить наличие PTR записи на сервере DNS можно с помощью интерфейса команды NSLOOKUP:

<code>nslookup</code>

Теперь подключаемся к DNS-серверу провайдера:

<code>server 215.54.54.1</code>

Устанавливаем тип ресурсной записи:

<code>set type=PTR</code>

Делаем запрос на интересующий нас адрес:

<code>215.54.54.54</code>

В ответ мы должны получить имя своего домена mydomain.ru

=== SPF ===
SPF (Sender Policy Framework) record specifies which hosts or IP addresses are allowed to send emails on behalf of a domain. You should allow only your own email server or your ISP’s server to send emails for your domain. In your DNS management interface, create a new TXT record like below.

Add TXT-record to your main domain (for example "yourdomain.ru", _NOT_ subdomain "mail.yourdomain.ru"!)
A yourdomain.ru 45.67.59.224
MX 10 mail.yourdomain.ru.
TXT v=spf1 mx ~all
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig yourdomain.ru txt</code>
...
;; ANSWER SECTION:
yourdomain.ru. 10 IN TXT "v=spf1 mx ~all"
...

=== DKIM ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavis</code>

==== Add first mail domain ====
<blockquote>You have to add second and following as well as the first</blockquote><code>mkdir -p /var/lib/dkim</code>

Generate PEM for our domain<blockquote><nowiki>*</nowiki> domain.ru - the first domain, for wich we generated dkim</blockquote><code>amavisd genrsa /var/lib/dkim/dmosk.ru.pem 1024</code>

<code>chown amavis:amavis /var/lib/dkim/*.pem</code>

<code>chmod 0400 /var/lib/dkim/*.pem</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
# Comment

<nowiki>#</nowiki>$inet_socket_port = 10024;

# Add

$inet_socket_port = [10024,10026];

...

<nowiki>#</nowiki> Find this string (its value must be "1")
$enable_dkim_verification = 1; # enable DKIM signatures verification

<nowiki>#</nowiki> After the string above add following

dkim_key('yourdomain.ru', "dkim", "/var/lib/dkim/yourdomain.ru.pem");
@dkim_signature_options_bysender_maps = ( {
"yourdomain.ru" => { d => "yourdomain.ru", a => 'rsa-sha256', ttl => 10*24*3600 },
});

...

<nowiki>#</nowiki> FIND THIS STRING. ITS VALUE MUST BE "1"
$enable_dkim_signing = 1; # load DKIM signing code, keys defined by dkim_key

...

<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

Generate record for DNS server

<code>amavisd -c /etc/amavisd/amavisd.conf showkeys</code>
...
dkim._domainkey.yourdomain.ru. 3600 TXT (
"v=DKIM1; p="
"MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz"
"3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUg"
"jOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0J"
"xfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9O"
"YO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61N"
"rJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVh"
"kwIDAQAB")
...
Copy it from ""v=DKIM1..." to "...kwIDAQAB"

Remove all "" and line breaks

You'll get something like this (in one line):
v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Create subdomain "dkim._domainkey" for your main domain "yourdomain.ru"

Create TXT-record in "dkim._domainkey" subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
TXT v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Wait 5-10 minutes!

Test at mail server

<code>amavisd -c /etc/amavisd/amavisd.conf testkeys</code>
...
TESTING#1 yourdomain.ru: dkim._domainkey.yourdomain.ru => pass
...
Test on arbitrary server in internet:

<code>dig dkim._domainkey.yourdomain.ru txt</code>
...
;; ANSWER SECTION:
dkim._domainkey.yourdomain.ru. 10 IN TXT "v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjz" "zr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB"
...

=== DMARC ===
DMARC stands for Domain-based Message Authentication, Reporting and Conformance. DMARC can help receiving email servers to identify legitimate emails and prevent your domain name from being used by email spoofing.

To create a DMARC record, go to your DNS manager and add a TXT record. In the name field, enter _dmarc. In the value field, enter the following. (You should create the dmarc@your-domain.com email address.)

Create subdomain "_dmarc" for your main domain "yourdomain.ru"

Create TXT-record in "_dmarc" (_dmarc.yourdomain.ru) subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
A 45.67.59.224
TXT v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig _dmarc.yourdomain.ru txt</code>
...
�;; ANSWER SECTION:
_dmarc.yourdomain.ru. 10 IN TXT "v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>"
...
General deliverability test

Go to

<code><nowiki>https://www.mail-tester.com/</nowiki></code>

Send email from your mail account of your new mail server to randomly generated service's mail address (test-avlwah6p3@srv1.mail-tester.com, for example)

Then click "Затем проверьте оценку"

Wait for tests passed

If your score higher than 8, congratulations!

= Add additional mail domain =

=== DNS ===
Root domain and MX-record, which point to the for mail domain

<code>/ip dns static</code>

<code>add name=cless.pro mx-exchange=mail.cless.pro mx-preference=10 ttl=1m type=MX</code>

Mail domain

<code>/ip dns static</code>

<code>add name=mail.cless.pro address=185.225.35.200 ttl=1m</code>

=== SSL certs ===

==== Lentencrypt ====
<code>certbot certonly --webroot --agree-tos -d mail.cless.pro,mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

<code>systemctl restart nginx</code>

==== Purchased certs ====
Add additional cert configs for a new domain for '''Nginx''', '''Postfix''' and '''Dovecot'''.

=== Improving email deliverability ===
Check the '''Improving email deliverability''' section of this manual and do corresponding actions.

=== Postfixadmin web panel ===

* Create domain cless.pro
* Create mailbox cless@cless.pro

=== Roundcube webmail ===
Login to Roundcube webmail

Send/Receive email

= Autodiscover Mail Server settings for Mail Clients =

== Links ==
https://www.dmosk.ru/miniinstruktions.php?mini=autodiscover-mail

== Description ==
It provides mail clients Mail Server connection info during configuring Mail Client mailbox

=== Thinderbird ===
Механизм автонастройки от Mozilla похож на Microsoft. Необходимые настройки должны отдаваться веб-сервером в виде XML-документа. Однако запрос не https, а http; и не POST, а GET. Также обращение идет сначала в формате '''server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain''', и если ответ не будет получен — '''autoconfig.server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain'''.

==== DNS Server ====
<blockquote>You have to create following config for each mail domain at the server</blockquote>Create А-record (or CNAME) for root domain (example.com):<blockquote>''* где '''111.111.111.111''' — IP-address of web server, with XML.''</blockquote>
autoconfig IN A 111.111.111.111

==== Nginx config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>nano /etc/nginx/conf.d/910-autodiscover_example.ru.conf</code><syntaxhighlight lang="nginx">
# HTTP
server {
listen 80;
server_name autoconfig.example.com;
root /usr/share/nginx/html/autodiscover/example.com;
}
</syntaxhighlight>

==== Autodiscover config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>mkdir -p /usr/share/nginx/html/autodiscover/example.ru/mail</code>

<code>nano /usr/share/nginx/html/autodiscover/example.ru/mail/config-v1.1.xml</code><syntaxhighlight lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<clientConfig version="1.1">
<emailProvider id="example.com">
<domain>example.com</domain>
<displayName>Mail example.com</displayName>
<displayShortName>example.com</displayShortName>
<incomingServer type="imap">
<hostname>mail.example.com</hostname>
<port>143</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<incomingServer type="pop">
<hostname>pop.example.com</hostname>
<port>995</port>
<socketType>SSL</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<outgoingServer type="smtp">
<hostname>mail.example.com</hostname>
<port>587</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</outgoingServer>
</emailProvider>
</clientConfig>
</syntaxhighlight><code>systemctl restart nginx</code>

=== Simpliest method according to the RFC standard (I'm not sure that it works) ===
<blockquote>It works in unstable way. The mail client usually managed to get mail server info, but not everything. Mail client gets '''hosts''' (for example, imap.yourdomain.ru), but not the '''ports'''.</blockquote>

==== DNS Server ====
You need to add ''subdomains'' for your ''main domain'' '''yourdomain.ru''' and create '''SRV''' records

Templates
_<service name>._<protocol> <priority> <weight> <port> <host>
Examples
_smtp._tcp IN SRV 10 0 25 smtp.yourdomain.ru.
_pop3._tcp IN SRV 20 0 110 pop.yourdomain.ru.
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_smtps._tcp IN SRV 0 0 465 smtp.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.
_imaps._tcp IN SRV 0 0 993 imap.yourdomain.ru.
_pop3s._tcp IN SRV 10 0 995 pop.yourdomain.ru.
Example

To give your mail clients info about '''imap''' and '''smtp''' settings of your mail server:
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.

= Full-text search =

== Fts-xapian ('''It works good!''') ==

=== Links ===
[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://github.com/grosjo/fts-xapian]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/#community-developed-plugins]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/settings/plugin/fts-plugin/]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin]

=== Description ===
Dovecot has some problems with email searching if there's a huge amount of emails in the mailbox. It can perodically throw an error "Server error" during the search.

To avoid such problems we can use Full-text search.

=== Build plugin ===

==== Variant 1. Build plugin at the same machine ====

===== Mail server =====
<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

==== Variant 2. Build plugin at the another machine with the same arch and apps versions, and copy compiled plugin to the mail server ====

===== Another machine for building =====
Build plugin at the another machine

<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

Copy plugin to the mail server

<code>rsync -avPh /usr/lib64/dovecot/lib21_fts_xapian_plugin.* root@<mail-server-IP>:/usr/lib64/dovecot/</code>

===== Mail server =====
<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

=== Configure plugin at the mail server ===
Check the installed plugin

<code>ls -lh /usr/lib64/dovecot/lib21_fts_xapian_plugin.*</code>
 ...
 -rw-r--r-- 1 root root 2.9M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.a
 -rwxr-xr-x 1 root root 1.1K Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.la
 -rwxr-xr-x 1 root root 1.2M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.so
 ...
Add plugin to the common conf

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><syntaxhighlight lang="ini">
...
mail_plugins = $mail_plugins <...> fts fts_xapian
...
</syntaxhighlight>Add plugin config

<code>nano /etc/dovecot/conf.d/95-fts.conf</code><blockquote>partial=2 - the minimum length of the search string

fts_autoindex = yes/no - whether to run reindex in background or not. TAKES A LOT OF RESOURCES CONSTANTLY AND MIGHT FAIL USER SEARCH. BETTER RUN MANUAL REINDEX: '''doveadm index -u user@domain.ru \*'''

fts_enforced = yes/no - The system must use Xapian for full-text search. Alternative search backends are disabled or not permitted. All text indexing will be handled by Xapian</blockquote><syntaxhighlight lang="ini">
plugin {
fts = xapian
fts_xapian = partial=2 full=20 attachments=0 verbose=0

fts_autoindex = yes
fts_enforced = yes

fts_autoindex_exclude = \Trash

# Index attachements
fts_decoder = decode2text
}

service indexer-worker {
# Increase vsz_limit to 2GB or above.
# Or 0 if you have rather large memory usable on your server, which is preferred for performance)
vsz_limit = 2G
}

service decode2text {
executable = script /usr/libexec/dovecot/decode2text.sh
user = dovecot
unix_listener decode2text {
mode = 0666
}
}
</syntaxhighlight>Restart dovecot and check the service status. There shouldn't be errors or warnings in the output.

<code>systemctl restart dovecot</code>

<code>systemctl status dovecot</code>

It's necessary to index all the mailboxes if you have already had productive and filled mailboxes

<code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm index -u $i \*; done</code>

Or do it just for only one mailbox

<code>doveadm index -u user@domain.ru \*</code><blockquote> '''COMMANDS'''

 '''fts optimize'''

 doveadm fts optimize [-u user|-A|-F file] [-S socket_path] [namespace]

 Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.

 '''fts rescan'''

 doveadm fts rescan [-u user|-A|-F file] [-S socket_path] [namespace]

 Scan what mails exist in the full text search index and compare those to what actually exist in mailboxes. This removes mails from the index that have already been expunged and makes sure

 that the next doveadm index will index all the missing mails (if any). Note that currently most FTS backends do not implement this properly, but instead they delete all the FTS indexes.

 This may change in the future versions.</blockquote>Place the task to optimize your xapian indexes into the crontab

<code>crontab -e</code>
...
# Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.
0 4 * * * for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts optimize -u $i; done
...
Optionally<blockquote>I'm not sure this is really necessary

It takes a lot of time and during this process the search doesn't work

Also, after the rescan, the directories "/home/mail/<domain>/<user>/xapian-indexes/db_*" will be deleted, and they will be created only after a user will click on the directories in the web-interface. It takes also a lot of time

You can rescan indexes of your mailboxes</blockquote><code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts rescan -u $i; done</code>

Or do it just for only one mailbox

<code>doveadm fts rescan -u user@domain.ru</code>

Check the search in the console

<code>dnf install -y telnet</code>

<code>telnet localhost imap</code>

<code>a login user@don661.ru PassWord#1</code>

<code>a select Inbox</code>

<code>a SEARCH text "test"</code>

Check the search in the '''Roundcube Webmail'''<blockquote>In '''Roundcube Webmail''' for the searching of text in the message body it's necessary to click on the arrow right to the search field and to check "'''Message body'''" as a search source!</blockquote>

== SOLR ('''I didn't test it!''') ==
https://doc.dovecot.org/configuration_manual/fts/solr/

== Fts-elastic ('''I didn't test it!''') ==
https://github.com/filiphanes/fts-elastic

= Postfix limits (I didn't test it!) =
https://www.dmosk.ru/miniinstruktions.php?mini=postfix-limits#mailbox-size

= Desktop mail clients =

=== Thunderbird ===
'''IMAP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 143

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

'''SMTP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 587

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

= Hints =

== Mail queue check ==
<code>mailq</code>

== Show connected users ==
Users IMAP (via mail clients)

<code>doveadm who</code>

Users WEB Roundcube

<code>netstat -an | grep :443 | grep -v TIME_WAIT</code>

== Restrict sending emails by local users with non-existing local domains in the field ''FROM'' ==
<code>nano /etc/postfix/master.cf</code>
...
-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject
...
You can see logs of PASSED o DROPPED emails in '''/var/log/maillog''' after sending them.

== Reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files) ==
https://serverfault.com/questions/694511/postfix-how-to-reject-sender-addresses-that-dont-exist-only-for-local-domains

Add the following option to '''/etc/postfix/main.cf''':

<code>nano /etc/postfix/main.cf</code>
...
smtpd_reject_unlisted_sender = yes
...
You can try to send an email with non-existing user in field FROM, and you will see a rejection in output:

<code>echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)</code>
== Message size limit (message size itself + attached file size) ==
You have to set limits in the each following entity.

In this example we make limit at about ~30MB for attachment

==== Postfix limit ====
<code>nano /etc/postfix/main.cf</code>
...
message_size_limit = 46080000 # ~30MB (10240000 - ~10MB)
...
<code>systemctl restart postfix</code>

==== Roundcube limit ====
<blockquote>Roundcube preserves some percentage of the max message size (search 1.33 on this page, so if you set the max to 100M, it tells you only 75MB is allowed (100 / 1.33). This is better because email messsage will be encoded before sending to MTA and the encoded attachment is larger than the original file.</blockquote><code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['max_message_size'] = '40M'; # max summ message size (not file)
...

==== Nginx limit ====
<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>
...
server {
...
client_max_body_size 35M; # max size of a message
client_body_timeout 300s; # timeout while upload attachment, otherwise upload may be canceled by timeout in case of a low upload speed, for example
}
...
<code>systemctl restart nginx</code>

==== PHP limit ====
<code>nano /etc/php.ini</code>
...
post_max_size = 35M;
upload_max_filesize = 35M;
...
reboot

== Amount of attached files in an email ==
<code>nano /etc/php.ini</code>
...
; Maximum number of files that can be uploaded via a single request
max_file_uploads = 50
...
<code>systemctl restart nginx.service php-fpm.service</code>

== Creating users via CLI ==

=== A single mailbox creation ===
Postfixadmin-cli installation<blockquote><nowiki>*</nowiki>if you have already had installed postfixadmin, you don't have to do the following</blockquote><code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

Help

<code>/usr/share/nginx/html/postfixadmin/scripts</code>

Comment password validation limits (e.g. "# must contain at least 2 digits" or something you needed) in the array 'password_validation' of the postfix config

<code>nano /usr/share/nginx/html/postfixadmin/config.inc.php</code>
...
$CONF['password_validation'] = array(
...
# '/([0-9].*){2}/' => 'password_no_digits 2', # must contain at least 2 digits
...
Create user

<code>cd /usr/share/nginx/html/postfixadmin/scripts</code>

<code>./postfixadmin-cli mailbox add prod@domain123.ru --password "AlefStudioS*100" --password2 "AlefStudioS*100" --name "Компания AlefStudio" --quota "4096" --active --welcome-mail</code>

=== Mass mailboxes creation ===
Mailboxes list file

<code>nano ./mailboxes.txt</code>
john@domain.ru|pass1|John Smith
ann@domain.ru|pass2|Анна Паста Бродерик-Иванова
Milbox creation script

<code>nano ./postfixadmin-mass-mailboxes-create.sh</code><syntaxhighlight lang="bash">
#!/bin/bash

#####
#
# Mass postfixadmin mailboxes creation by @ClessAlvein
#
#####

# VARS

mailboxesListFile="./USERS_lada-tambovavtocity.ru.txt"
mailboxQuota="2048"
pfCli="/usr/share/nginx/html/postfixadmin/scripts/postfixadmin-cli"
dateTimeCurrent=`date +%Y-%m-%d_%H-%M-%S`

# SCRIPT START

# declare array with mailbox data in the each line
declare -A arrayMailboxes;

# getting each line from the file with each user's data
while IFS= read -r line || [[ "$line" ]];
do
# getting user, pass, name from the line and put it to the assoc array key=value
while IFS="|" read "mailboxUserFromFile" "mailboxPassFromFile" "mailboxNameFromFile";
do
# makeup
echo "";

# debug
#echo "${mailboxUser}, ${mailboxPass}, ${mailboxName}";

# declare assoc array with each key as a bit mailbox's data
declare -A arrayMailbox;

# each key is a bit of the mailbox's data
arrayMailbox[arrayMailboxUser]=${mailboxUserFromFile};
arrayMailbox[arrayMailboxPass]=${mailboxPassFromFile};
arrayMailbox[arrayMailboxName]=${mailboxNameFromFile};

# for each bit of mailbox's data create var (user,pass,name)
for key in "${!arrayMailbox[@]}";
do
case $key in
arrayMailboxUser)
mailboxUser=${arrayMailbox[${key}]};;
arrayMailboxPass)
mailboxPass=${arrayMailbox[${key}]};;
arrayMailboxName)
mailboxName=${arrayMailbox[${key}]};;
esac
done
done < <( echo ${line} )

# if ${mailboxName} is empty
if [ -z "${mailboxName}" ]; then
mailboxName=${mailboxUser}
fi

# debug
echo "mailboxUser: ${mailboxUser}";
echo "mailboxPass: ${mailboxPass}";
echo "mailboxName: ${mailboxName}";

# create each mailbox
${pfCli} mailbox add ${mailboxUser} \
--password "${mailboxPass}" \
--password2 "${mailboxPass}" \
--name "${mailboxName}" \
--quota "${mailboxQuota}" \
--active --welcome-mail \
| tee -a ./log_${dateTimeCurrent}

done < ${mailboxesListFile}
</syntaxhighlight>Create mailboxes

<code>./postfixadmin-mass-mailboxes-create.sh</code>

== Roundcube Filter plugin (for email forwarding, sending copy of emails to another email, and other actions) ==
https://www.dmosk.ru/miniinstruktions.php?mini=roundcube-managesieve

We will use '''Roundcube managesieve plugin''' for that purpose<blockquote>* First off, check that there's no directory "sieve" in the "/home/mail/<DOMAIN>/<USER>/"</blockquote><code>nano /etc/dovecot/conf.d/10-mail.conf</code>

 * if you have already had '''mail_home = /home/vmail/%d/%u''' in this config, you have to edit it as deliberately '''mail_home = /home/vmail/%d/%u/sieve'''

 * мы задаем опцию mail_home с путем до каталогов с почтой. Обратите внимание, что на вашем сервере настройка может быть другая и необходимо указать правильное значение. Переменные %d и %u указывают, соответственно, на имя домена и учетной записи.
...
mail_home = /home/vmail/%d/%u/sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавляем плагин sieve, который должен теперь использоваться локальным агентом доставки lda.</blockquote>
...
protocol lda {
# Space separated list of plugins to load (default is global mail_plugins).
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-managesieve.conf</code><blockquote> * по аналогии с protocol lda, мы указываем на необходимость использования sieve

 * мы указываем, что наш сервис будет работать на порту 4190</blockquote>
...
protocols = $protocols sieve
...
service managesieve-login {
inet_listener sieve {
 port = 4190
}
...
}
...
<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> *sieve — путь до файла с правилами. Указывается для каждого ящика с помощью переменных.

 *sieve_global_path — путь до общего файла с правилами. Используется, если отсутствует файл по пути sieve.

 *sieve_dir — путь до каталога с подключаемыми скриптами-правилами. Указывается для каждого почтового ящика.

 *sieve_global_dir — путь до общего каталога с подключаемыми правилами. Используется, если отсутствует sieve_dir.</blockquote>
...
plugin {
sieve = /home/mail/%d/%u/sieve/dovecot.sieve
sieve_global_path = /etc/dovecot/sieve/default.sieve
sieve_dir = /home/mail/%d/%u/sieve
sieve_global_dir = /etc/dovecot/sieve/global/
...
}
...
<blockquote>'''!!! I'm not sure that the following is necessary'''

'''!!! At first try not to make this actions'''

'''!!! If everything works without it - nevermind'''

 Create dir for global rules sieve_global_dir:

 mkdir -p /etc/dovecot/sieve/global

 Chown dir:

 chown dovecot:dovecot -R /etc/dovecot/sieve</blockquote>Restart dovecot

<code>systemctl restart dovecot</code>

Roundcube config edit

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote> * At first, check that there's the "managesieve" plugin in the plugin directoty: "/usr/share/nginx/html/webmail/plugins/"</blockquote>
...
$config['managesieve_host'] = 'localhost';
...
$config['plugins'] = [
 ...
 'managesieve',
];
...
// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
Go to Roundcube Webmail

Create test filter (for example), copy message to another email after it will be received
'''Settings''' - '''Filter''' - Filter "'''Roundcube'''" - "'''+'''"
 '''Filter name''': mail_forward
 '''Area''': ALL messages
 '''Action''': send copy to - xxx@mail.ru
 '''Save'''
Now you can see the brand new files in the directory "'''/home/mail/<DOMAIN>/<USER>/sieve/'''" (config '''roundcube.sieve''' and symlink '''dovecot.sieve''' (config '''/etc/dovecot/conf.d/90-sieve.conf''' point to '''dovecot.sieve'''))
 ...
 dovecot.sieve -> roundcube.sieve
 roundcube.sieve
 ...
Test it

Send email to yourself

The message will be received and will be sent to xxx@mail.ru as well

Now, in that case, if you have a private per-user sieve script ('''/home/mail/%d/%u/sieve/dovecot.sieve''', we have already configured it), the global sieve script '''WON'T WORK'''!

To make the private per-user script and the global script work at the same time, we need to do following.

In this example we will filter all mail for all users, and put SPAM to the Junk directory.

https://talk.plesk.com/threads/global-dovecot-sieve-rule.341552/

<code>mkdir /etc/dovecot/conf.d/custom-sieve</code>

<code>cd /etc/dovecot/conf.d/custom-sieve</code>

<code>nano /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code><blockquote>*This rule filter SPAM (we have already configured spamassasin above, right?) and put it to Junk dir</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
Create the new global sieve configuration directive for Dovecot

<code>nano /etc/dovecot/conf.d/37-custom-global-sieve.conf</code>
plugin {
# Make sure to run "sievec" on this file after creating it:
sieve_after = /etc/dovecot/conf.d/custom-sieve/global_after.sieve
}
Run this to compile the new sieve, it will create a binary rule in the same directory

<code>sievec /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code>

Restart the Dovecot services<blockquote>You don't have to start spamassasin service to make spam filter work. Amavisd does it!</blockquote><code>systemctl restart dovecot</code>

Test it

If you have already configured Spamassassin in this manual above - send email to yourself with following in the message body: '''XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X'''

The message wil be put in the Junk directory and the copy of this message will be sent to xxx@mail.ru

<code>tail /var/log/maillog</code>
 ...
 Apr 23 20:39:54 mail amavis[1696]: (01696-01) Passed SPAM {RelayedTaggedInternal,Quarantined}, MYNETS LOCAL [::1]:50042 <admin@alef-studio.ru> -> <admin@alef-studio.ru>, Queue-ID: BE39DE013B, Message-ID: <223db76d330a882501d9b6584e72e16b@alef-studio.ru>, mail_id: qx51q6idSWsl, Hits: 998.992, size: 1158, queued_as: 8850CE0A8A, 709 ms
 ...
Now we can configure the private filter rules for each user, and our global SPAM filter will work as well!

== Roundcube. Create new messages with HTML-EDITOR by default ==
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['htmleditor'] = 1;
...

== Roundcube Pugin. Viewer Office Docs (DOC, XLS, ODT, ODS, etc.) ==
https://github.com/jfcherng-roundcube/plugin-cloudview

== Roundcube. Address-book from Windows AD DC on-line ==

=== At Windows AD DC Server ===
Go to "'''Domain Users and Computers'''"

First off, you need to have a user "'''admin'''" with Administrator's permissions to connect to the AD DC from Roundcube

Create a user in group "'''Users'''" with an email in (! '''You won't see any user at all in Roundcube web-interface if you don't add an email address to the specific users's field !''')

Get a LDAP/AD Administartor's "'''admin'''" Distinguished Name for connect to AD from the Mail Server (we will use it later)

<code>C:\Users\Администратор.WIN-RMJC4R0JMJR> '''dsquery user -name admin'''</code>
...
'''"CN=admin,CN=Users,DC=alf,DC=local"'''
...

=== At Mail Server ===
Add to the Roundcube config

<code>vim /usr/share/nginx/html/webmail/config/config.inc.php</code><syntaxhighlight lang="ini">
//Разрешить поиск и автодополнение из массива AD
$rcmail_config['autocomplete_addressbooks'] = array('sql','AD');

$config['ldap_public'] = array(
//Имя массива, в котором выполняется поиск
'AD' =>array (
'name' => 'ALF', //Отображаемое имя в интерфейсе WEBMail Roundcube
'hosts' => array('10.100.199.21'), //IP адрес или ДНС имя AD DC
'sizelimit' => 600,
'port' => 389,
'use_tls' => false,
'user_specific' => false,
'base_dn' => 'DC=alf,DC=local', //Где выполнять поиск
'bind_dn' => 'admin@alf.local', //Авторизация admin@alf.local на контроллере домена
'bind_pass' => 'PassWord#1', //Авторизация admin@alf.local на контроллере домена
'writable' => false,
'ldap_version' => 3,
'search_fields' => array(
'mail',
'cn',
),
'name_field' => 'cn',
'email_field' => 'mail',
'surname_field' => 'sn',
'firstname_field' => 'givenName',
//Можно добавить немного дополнительной информации в адресной книге
'organization_field' => 'company',
'jobtitle_field' => 'title',
'department_field' => 'department',
//Порядок сортировки
'sort' => 'sn',
'scope' => 'sub', //Выполнять поиск по всему каталогу LDAP // search mode: sub|base|list
'filter' => '(&(mail=*)(|(&(objectClass=user)(!(objectClass=computer)))(objectClass=group)))',
//'filter' => '(&(mail=*)(|(&(objectcategory=person)(!(objectClass=computer)))(objectClass=group)))',
'global_search' => true,
'fuzzy_search' => true
),
);

// ----------------------------------
// LDAP
// ----------------------------------
// Type of LDAP cache. Supported values: 'db', 'apc' and 'memcache'.
$config['ldap_cache'] = 'db';
// Lifetime of LDAP cache. Possible units: s, m, h, d, w
</syntaxhighlight>Go to Roundcube web-interface - Contacts

You will see new section "ALF" and contact in there

You can debug if something goes wrong:

<code>cat /usr/share/nginx/html/webmail/logs/errors.log</code>

== Amavis blocks some inbound emails addresses with error "'''Blocked BAD-HEADER-0'''" ==

=== Links ===
https://sourceforge.net/p/amavis/mailman/message/16755074/

https://www.habibza.in/amavisd-whitelist-or-allowed-mail-from-blocked-bad-header/

https://forum.iredmail.org/topic4681-solved-how-to-bypass-amavisd-for-some-senders.html

=== Solution 1 ===
<code>nano /etc/amavisd/amavisd.conf</code>
...
$final_bad_header_destiny = D_PASS;
...
<code>systemctl restart amavisd postfix</code>

=== ??? Solution 2. DOESN'T WORK ??? ===
Create whitelist of emails or even domains, which you want to allow

<code>nano /etc/amavisd/whitelist-badheader</code>
user@somedomain.com
somedomain.com
Edit amavis config

<code>nano /etc/amavisd/amavisd.conf</code>
...
# white list, which will allow inbound emails with BAD-HEADER-0
@bypass_header_checks_maps = (
read_hash("/etc/amavisd/whitelist-badheader"),
);
...
Restart services

<code>systemctl restart amavisd postfix</code>

== Logging users' action (e.g. copying, erasing users' emails), which users perform via any IMAP/POP3 mail clients, via Dovecot MDA logging ==
Enable mail plugins in Dovecot config

<code>vim /etc/dovecot/dovecot.conf</code>
...
mail_plugins = $mail_plugins mail_log notify
...
Enable plugins '''mail_log_events, mail_log_fields'''

<code>vim /etc/dovecot/conf.d/90-plugin.conf</code><syntaxhighlight>
...
plugin {
#setting_name = value

# Events to log. Defined in src/plugins/mail-log/mail-log-plugin.c - also available: flag_change save mailbox_create
# autoexpunge is included in expunge
mail_log_events = delete undelete expunge copy mailbox_delete mailbox_rename

# Also available: Defined in src/plugins/mail-log/mail-log-plugin.c - flags vsize from subject
mail_log_fields = uid box msgid from subject

# Don't log fields that require opening the email (v2.2.28+).
#mail_log_cached_only = yes
}
...
</syntaxhighlight>Restart dovecot

<code>systemctl restart dovecot</code>

Make some actions in the user's mailbox (e.g. move email to the Trash and then delete it completely)

Now you can look in the logs ('''expunge = delete''')

<code>cat '''/var/log/dovecot-info.log''' | grep "'''Info: expunge'''\|'''Info: copy'''"</code>
May 11 10:53:56 imap(admin@don661.ru)<259523><aw5K9CgY6oN/AAAB>: Info: '''copy''' from INBOX: box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 10:54:13 imap(admin@don661.ru)<259531><JGZG9SgYLKZ/AAAB>: Info: '''expunge''': box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 11:08:21 pop3(admin@don661.ru)<259979><Mz/SJykYIdpOhIjD>: Info: '''expunge''': box=INBOX, uid=10, msgid=<65e7897f-b08d-4f13-8655-73d08485b2f2@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

== Block particular senders (emails, domains) - inbox mail (Заблокировать конкретные ящики-отправители или домены - входящую почту) ==
<code>vim /etc/postfix/header_checks</code>
...
/^From:.*baduser@example.com/ REJECT
/^From:.*@spamdomain.com/ REJECT
/^From:.*@scientamicron.com/ REJECT
/^From:.*@ip-223-6.dataclub.info/ REJECT
<code>vim /etc/postfix/main.cf</code>
...
<nowiki>#</nowiki> BLOCK SENDERS LIST
header_checks = regexp:/etc/postfix/header_checks
<code>systemctl restart postfix.service</code>

Send an email from the blocked user (user01@gmail.com)

Check logs

<code>cat /var/log/postfix.log</code>
...
Mar 16 22:11:27 mail postfix/cleanup[3119]: 0D83BE1E24: reject: header From: "user01@gmail.com" <user01@gmail.com> from mail-lj1-f176.google.com[209.85.208.176]; from=<user01@gmail.com> to=<call.center2@lada-tambovavtocity.ru> proto=ESMTP helo=<mail-lj1-f176.google.com>: 5.7.1 message content rejected
...

= Errors =

=== Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database ===
ERROR

<code>cat ./dovecot.log</code>
 ...
 Feb 16 16:18:17 lda(cless@yourdomain.ru)<2571><B0HqGhkt7mMLCgAA1XGFgw>: Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database
 ...
SOLUTION

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
 ...
 mail_location = maildir:/home/mail/%d/%u/
 mail_home = /home/mail/%d/%u
 ...
<code>systemctl restart dovecot</code>

=== Error: imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem ===
ERROR

<code>cat /var/log/dovecot.log</code>
 ...
 Feb 27 00:56:40 imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem
 ...
SOLUTION

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>
...
ssl_dh = </etc/dovecot/dh.pem
...
<code>systemctl restart dovecot</code>

=== Error: '''"Connection error (failed to reach the server) roundcube"''' at Roundcube Webmail web-interface during sending a message, if the size of the message is 10MB+ (a huge sign with pictures, for example) ===
SOLUTION

The update from '''PHP-7.3''' to '''PHP-7.4''' has solved the issue.

=== ERROR: PHP-ImageMagick module creates huge files, which use all disk space in / partition ===
https://github.com/ImageMagick/ImageMagick/issues/395

PHP-ImageMagick module creates huge files, which use all disk space in / partition
/tmp/systemd-private-78b2a42fd129405aa1e735b61bf8fb72-php-fpm.service-Icx1Wg/tmp/magick-*
??? SOLUTION ???

Variant 1:

<code>nano /etc/ImageMagick-7/policy.xml</code>
...
<policymap>
...
<policy domain="resource" name="memory" value="2GiB"/>
<policy domain="resource" name="disk" value="1GiB"/>
<policy domain="cache" name="synchronize" value="True"/>
...
</policymap>
...
<code>systemctl restart nginx php-fpm</code>

Variant 2:

Using the following cron jobs for automatic cleanup. The first 2 lines will clean up old files based on their age.

In one case this was still insufficient, since a user was uploading a lot of very large images within a short time, causing the /tmp folder to fill up very quickly. Therefore the last line removes images which are at a certain filesize treshold. I picked a treshold just below the usual size of the magick-* files (see list in first post).

<code>crontab -e</code>
# Temporary solution to prevent /tmp from being filled with 200+ MB ImageMagick files
0 * * * * find /tmp/ -mmin +119 -type f -name 'magick-*' -delete
0 * * * * find /tmp/ -mmin +119 -type f -name 'php*' -delete
*/5 * * * * find /tmp/ -mmin +5 -type f -name 'magick-*' -size +200M -delete

=== Error in '''Roundcube Webmail during the searching for emails''': '''(Server error)''' ===
SOLUTION

It's necessary to Install Full-text search.

Proceed to the according section of this manual: '''Fts-xapian'''.

Kubernetes. PV. Постоянный том. Хранилище для монтирования в контейнеры

2025-03-20T03:51:28Z

Cless:

= Описание =
Создание и подключение постоянного тома (PV) к POD

= Ссылки =
https://habr.com/ru/company/southbridge/blog/519642/

https://kb.selectel.ru/docs/solutions-and-partner-services/file-storage/sfs-to-kubernetes/sfs-to-kubernetes-cifs/

= Описание =
Постоянный том (Persistent Volume, PV) — это блочное хранилище заданного размера, которое существует независимо от жизненного цикла пода.

Использование постоянного тома позволит вам управлять или обновлять поды, не беспокоясь о потере кода приложения.

Доступ к постоянному тому можно получить с помощью PersistentVolumeClaim, или PVC, который монтирует постоянный том по требуемому пути.

= Настройка =

== SMB ==

=== Установка CSI-драйвера для Samba ===
Для установки драйвера нужен пакетный менеджер helm.

Скачайте пакетный менеджер helm chart и CSI-драйвер с GitHub Kubernetes CSI.

Установите последнюю версию драйвера

<code>helm repo add csi-driver-smb <nowiki>https://raw.githubusercontent.com/kubernetes-csi/csi-driver-smb/master/charts</nowiki></code>

<code>helm install csi-driver-smb csi-driver-smb/csi-driver-smb --namespace kube-system --version v1.4.0</code>

Проверьте, что поды установлены и запущены:

<code>kubectl --namespace=kube-system get pods --selector="app=csi-smb-controller"</code>

=== Создание секрета для доступа к SMB ресурсу ===
Создайте секрет для хранения логина и пароля на сервере SMB (по умолчанию guest/guest)

<code>kubectl create secret generic smbcreds --from-literal username='''user1''' --from-literal password='''PassWord'''</code>

=== Создать манифест для StorageClass ===
<code>nano ./sfs_storage_class.yaml</code>
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: smb
provisioner: smb.csi.k8s.io
parameters:
'''source: "//192.168.1.1/share/code"'''
csi.storage.k8s.io/provisioner-secret-name: "smbcreds"
csi.storage.k8s.io/provisioner-secret-namespace: "default"
csi.storage.k8s.io/node-stage-secret-name: "smbcreds"
csi.storage.k8s.io/node-stage-secret-namespace: "default"
reclaimPolicy: Delete
volumeBindingMode: Immediate
mountOptions:
'''- dir_mode=0777'''
'''- file_mode=0777'''
Примените манифест

<code>kubectl apply -f ./sfs_storage_class.yaml</code>

Проверьте, что StorageClass создался:

<code>kubectl get storageclass</code>

Создать манифест для PersistentVolumeClaim<blockquote>storage: 10Gi — размер файлового хранилища</blockquote><code>nano ./sfs_persistent_volume_claim.yaml:</code>
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: code
annotations:
 volume.beta.kubernetes.io/storage-class: smb
spec:
accessModes: ["ReadWriteMany"]
resources:
 requests:
 storage: 10Gi
Примените манифест в кластер

<code>kubectl apply -f ./sfs_persistent_volume_claim.yaml</code>

Проверьте, что PersistentVolumeClaim создался:

<code>kubectl get pvc</code>
 ...
 NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
 '''code''' Bound pvc-bf00cd44-2c4e-4be0-a588-277c9ff62307 1Gi RWX smb 66m
 ...
<code>kubectl get pv</code>
 ...
 NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
 pvc-bf00cd44-2c4e-4be0-a588-277c9ff62307 1Gi RWX Delete Bound default/code smb 67m
 ...
Смотрим что на шаре создалась директория
\\192.168.199.174\share\code\pvc-480016f0-1351-42c9-ba4e-146397c7cd1d\
Подключить хранилище PV в POD (через Deployment)

<code>nano nginx02.yaml</code>
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx02
spec:
replicas: 2
selector:
 matchLabels:
 app: nginx02
strategy:
 rollingUpdate:
 maxSurge: 1
 maxUnavailable: 1
 type: RollingUpdate
template:
 metadata:
 labels:
 app: nginx02
 spec:
 volumes:
 - name: '''code'''
 persistentVolumeClaim:
 claimName: '''code'''
 containers:
 - image: nginx:1.16
 name: nginx02
 volumeMounts:
 - name: '''code'''
 mountPath: '''/code'''
Применяем

<code>kubectl apply -f nginx02.yaml</code>

Смотрим

<code>kubectl get pods -o wide</code>
 ...
 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
 nginx02-69bc47fc78-k6gpz 1/1 Running 0 3s 172.16.213.219 kub-node-3 <none> <none>
 nginx02-69bc47fc78-zq6q4 1/1 Running 0 3s 172.16.213.187 kub-node-1 <none> <none>
 ...
Можно зайти в контейнер и убедиться что директория "'''code'''" примонтировалась

<code>kubectl exec -i -t pods/nginx02-69bc47fc78-k6gpz -- /bin/bash</code>

<code> root@php-58bd8849c6-bgxz2:/var/www/html# ls -lh '''/code/'''</code>

А также создать файл посмотреть что на шаре он появился

 <code>root@php-58bd8849c6-bgxz2:/var/www/html# echo 123 > /code/test.txt</code>

Смотрим шару

<code>\\192.168.199.174\share\code\pvc-480016f0-1351-42c9-ba4e-146397c7cd1d\test.txt</code>

Таким образом мы создали постоянное хранилище SMB для контейнеров

== CephFS ==

=== CEPH сервер ===
Получаем ключ админа

<code>ceph auth get-key client.admin</code>
 ...
 AQAvoRlj44oJDhAApP3iMHMRBCdvh5Xr7346Jg==
 ...
Получаем ID кластера и IP хостов

<code>ceph mon dump</code>
 ...
 fsid 33f476b0-2f4c-11ed-896a-00505682bc3e
 ...
 0: [v2:192.168.199.122:3300/0,v1:192.168.199.122:6789/0] mon.ceph02
 1: [v2:192.168.199.123:3300/0,v1:192.168.199.123:6789/0] mon.ceph03
 2: [v2:192.168.199.121:3300/0,v1:192.168.199.121:6789/0] mon.ceph01
 ...

=== KUBERNETES сервер управления ===
Устанавливаем csi драйвер для работы с ceph

<code>helm repo add ceph-csi <nowiki>https://ceph.github.io/csi-charts</nowiki></code>

Генерируем файл настройки

<code>helm inspect values ceph-csi/ceph-csi-cephfs > '''cephfs.yml'''</code>

Меняем значения в файле cephfs.yml

<code>nano cephfs.yml</code>
...
csiConfig:
- clusterID: "33f476b0-2f4c-11ed-896a-00505682bc3e"
monitors:
- "192.168.199.121:6789"
- "192.168.199.122:6789"
- "192.168.199.123:6789"
...
nodeplugin:
httpMetrics:
 enabled: true
 containerPort: 8091
...
podSecurityPolicy:
 enabled: true
...
provisioner:
replicaCount: 1
...
podSecurityPolicy:
 enabled: true
...
Устанавливаем чарт

<code>helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f '''cephfs.yml'''</code>

Создаем secret

<code>nano secret.yaml</code>
---
apiVersion: v1
kind: Secret
metadata:
name: csi-cephfs-secret
stringData:
# Required for dynamically provisioned volumes
adminID: '''admin'''
adminKey: '''AQAvoRlj44oJDhAApP3iMHMRBCdvh5Xr7346Jg=='''
Применяем

<code>kubectl create -f secret.yaml</code>

Создаем storageClass

<code>nano storageclass.yaml</code>
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: '''csi-cephfs-sc'''
provisioner: cephfs.csi.ceph.com
parameters:
clusterID: '''33f476b0-2f4c-11ed-896a-00505682bc3e'''
fsName: '''cephfs01'''
csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
csi.storage.k8s.io/provisioner-secret-namespace: default
csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
csi.storage.k8s.io/controller-expand-secret-namespace: default
csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
csi.storage.k8s.io/node-stage-secret-namespace: default
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
- debug
Применяем

<code>kubectl create -f storageclass.yaml</code>

Создаем PVC

<code>nano pvc.yaml</code>
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: '''csi-cephfs-pvc'''
spec:
accessModes:
- ReadWriteMany
resources:
 requests:
 storage: '''1Gi'''
storageClassName: '''csi-cephfs-sc'''
Применяем

<code>kubectl create -f pvc.yaml</code>

Проверяем

<code>kubectl get pvc</code>
 ...
 NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
 csi-cephfs-pvc Bound pvc-02520c2a-d5e9-40b6-ae96-5501bcee1c38 1Gi RWX csi-cephfs-sc 3m38s
 ...
<code>kubectl get pv</code>
 ...
 NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
 pvc-02520c2a-d5e9-40b6-ae96-5501bcee1c38 1Gi RWX Delete Bound default/csi-cephfs-pvc csi-cephfs-sc 3m33s
 ...
Разворачиваем deployment

Деплоим тестовый деплой с подами<blockquote>Монтировать cephfs01 внутри пода будем по пути /code</blockquote><code>nano nginx02.yaml</code>
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx02
spec:
replicas: 2
selector:
 matchLabels:
 app: nginx02
strategy:
 rollingUpdate:
 maxSurge: 1
 maxUnavailable: 1
 type: RollingUpdate
template:
 metadata:
 labels:
 app: nginx02
 spec:
 volumes:
 - name: '''csi-cephfs-pvc'''
 persistentVolumeClaim:
 claimName: '''csi-cephfs-pvc'''
 containers:
 - image: nginx:1.16
 name: nginx02
 volumeMounts:
 - name: '''csi-cephfs-pvc'''
 mountPath: '''/code'''
Применяем

<code>kubectl apply -f nginx02.yaml</code>

Зайдем в деплоймент и убедимся что /code смонтирован

<code>kubectl exec -i -t deployments/nginx02 -- /bin/bash</code>

Запишем что-нибудь в /code

<code>echo test > /code/123.txt</code>

Теперь смонтируем на какой-нибудь машине нашу cephfs01 в /mnt/cephfs/ и увидим что по пути
/mnt/cephfs/volumes/csi/csi-vol-b2af5ccc-53c5-11ed-9c10-3ef262910d56/5ba704e9-db75-4143-be0d-e621cbfd0064/
появился файл:

<code>ls -lh /mnt/cephfs/volumes/csi/csi-vol-b2af5ccc-53c5-11ed-9c10-3ef262910d56/5ba704e9-db75-4143-be0d-e621cbfd0064/</code>
 ...
 -rw-r--r-- 1 root root 4 Oct 24 21:08 '''test.txt'''
 ...
Удалим и снова создадим деплоймент nginx02

<code>kubectl delete deployments.apps nginx02</code>

<code>kubectl apply -f nginx02.yaml</code>

Зайдем в контейнер и убедимся что наш файл на месте

<code>kubectl exec -i -t deployments/nginx02 -- /bin/bash</code>

<code> ls -lh /code/</code>
 ...
 -rw-r--r-- 1 root root 4 Oct 24 18:08 test.txt
 ...
Таким образом мы создали постоянное хранилище CephFS для контейнеров

== EMPTYDIR ==
<syntaxhighlight lang="yaml">
apiVersion: v1
kind: Pod
metadata:
name: redis
spec:
containers:
- name: redis
image: redis
volumeMounts:
- name: redis-storage
mountPath: /data/redis
volumes:
- name: redis-storage
emptyDir: {}
</syntaxhighlight>

=== Где именно хранятся данные: ===

* Если не указано <code>medium: Memory</code>, данные хранятся в директории на файловой системе ноды, обычно в <code>/var/lib/kubelet/pods/<pod-uid>/volumes/kubernetes.io~empty-dir/<volume-name></code>.
* Если используется <code>medium: Memory</code>, данные хранятся в tmpfs, который монтируется в память.

[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__
[[Категория:Ceph]]
[[Категория:Samba]]

Mail Server. AlmaLinux 8. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

2025-03-16T19:30:24Z

Cless:

[[Категория:Mail]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Opensource Mail Server. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

= Links =
https://www.dmosk.ru/instruktions.php?object=mailserver-centos8

= Installation =

== DNS Server Global ==
<blockquote>Add resource records to the dns server, which is serving your domains (at mikrotik, for example, but it can be any dns-record manager of the registrar, which provides you your new domain)</blockquote><blockquote>'''''185.225.35.200''''' - public external IP of the mail server</blockquote><blockquote>'''''192.168.199.40''''' - local IP of this mail server in you local network</blockquote>

=== Root domain MX-record, which point to the mail domain ===
<code>/ip dns static</code>

<code>add name=yourdomain.ru mx-exchange=mail.yourdomain.ru. mx-preference=10 ttl=1m type=MX</code>

=== Domain for administration - mail02.yourdomain.ru ===
<blockquote>This should be the hostname of your physical mail server

It's not your domain for mail, just for management

If there will be other mail domains on that server, all emails still will be sended with source-host "mail02.yourdomain.ru" as mail sender

This domain needs to be added to ISP's PTR-record as well</blockquote><code>/ip dns static</code>

<code>add name=mail02.yourdomain.ru address=185.225.35.200 ttl=1m</code>

=== Mail domain - mail.yourdomain.ru ===
<blockquote>This is your first mail domain</blockquote><code>/ip dns static</code>

<code>add name=mail.yourdomain.ru address=185.225.35.200 ttl=1m</code>

== DNS Server Local ==
At the local '''DNS server''' (whose IP is registred in the file '''/etc/resolv.conf''' of this mail server) you have to register accordance of '''your domains''' and '''local IP''' in you local network of this server:
...
192.168.199.42 mail.yourdomain.ru
192.168.199.42 mail02.yourdomain.ru
...

== Mail server ==

=== General configuration ===
System update

<code>dnf -y update</code>

<code>reboot</code>

Hostname<blockquote>'''''mail02.yourdomain.ru''''' - mail server hostname</blockquote><blockquote>'''''185.225.35.200''''' - mail server public external IP</blockquote><code>hostnamectl set-hostname mail02.yourdomain.ru</code>

<code>nano /etc/hosts</code>
...
185.225.35.200 mail02.yourdomain.ru
...
Check

<code>host mail02.yourdomain.ru</code>

<code>dig A mail02.yourdomain.ru</code>

Utils, firewall, etc.

<code>dnf install -y chrony wget</code>

<code>timedatectl set-timezone Europe/Moscow</code>

<code>systemctl enable chronyd --now</code>

<code>firewall-cmd --permanent --add-port=25/tcp --add-port=80/tcp --add-port=110/tcp --add-port=143/tcp --add-port=443/tcp --add-port=465/tcp --add-port=587/tcp --add-port=993/tcp --add-port=995/tcp --add-port=22/tcp --add-port=10050/tcp</code>

<code>firewall-cmd --reload</code>

<code>setenforce 0</code>

<code>sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config</code>

=== SSL Certs ===
<blockquote>You have to choose whether you will use self-signed certs or letsencrypt certs or purchased certs. We will use it later for Webmail Interface (nginx), and for Mail Desktop Clients (postfix, dovecot)</blockquote>

==== Purchased certificates ====
''If you're going to purchase SSL certificates from CA:''

* You have to purchase '''a few wildcard certs''' with main domain and wildcard subdomains (e.g., '''example.com''' and '''*.example.com''') for '''each mail domain'''.

or

* You have to purchase '''the only ONE''' multidomain certificate with '''ALL main domain certs and wildcard certificates of your main domain ('''e.g., '''example.com''' and '''*.example.com''' for each domain''')'''.

==== Self-signed ====
Generate certs

<code>mkdir -p /etc/ssl/mail</code>

<code>openssl req -new -x509 -days 1461 -nodes -out /etc/ssl/mail/public.pem -keyout /etc/ssl/mail/private.key -subj "/C=RU/ST=SPb/L=SPb/O=Global Security/OU=IT Department/CN=mail02.yourdomain.ru"</code>

==== Letsencrypt ====
Nginx will create /usr/share/nginx/html directory for letsencrypt challenges

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y certbot</code>

You don't have to create cert for each domain. You can put all certs into one file

<code>certbot certonly --webroot --agree-tos -d mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

=== Nginx ===
Installation

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y <nowiki>http://rpms.remirepo.net/enterprise/remi-release-8.rpm</nowiki></code>

<code>dnf module install -y php:remi-7.4</code>

<code>dnf install -y php-fpm</code>

<code>mv /etc/nginx/nginx.conf /etc/nginx/nginx.conf.ORIG</code>

Main config

<code>nano /etc/nginx/nginx.conf</code>
# For more information on configuration, see:
# * Official English Documentation: <nowiki>http://nginx.org/en/docs/</nowiki>
# * Official Russian Documentation: <nowiki>http://nginx.org/ru/docs/</nowiki>
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Load modular configuration files from the /etc/nginx/conf.d directory.
# See <nowiki>http://nginx.org/en/docs/ngx_core_module.html#include</nowiki>
# for more information.
include /etc/nginx/conf.d/*.conf;
}
Redirect all HTTP-requests to HTTPS

<code>nano /etc/nginx/conf.d/00-default.conf</code>
#
# Note: This file must be loaded before other virtual host config files,
#
# HTTP
server {
# Listen on ipv4
listen 80;
listen [::]:80;
server_name _;
# Redirect all insecure http:// requests to https://
return 301 <nowiki>https://$host$request_uri</nowiki>;
}

====HTTPS configuring====

=====Case 1. If you are going to use self-signed or letsencrypt multidomain certificate (all domains and subdomains in one cert)=====

Create a general config for HTTPS traffic (in order to use it with Roundcube Webmail and Postfixadmin)

<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2 default_server;
 listen [::]:443 ssl http2 default_server;
 server_name _;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}
 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>

 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }
 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 }

=====Case 2. If you are going to use separate certificates, purchased from official CA or letsencrypt certs (separate cert for every mail domain)=====

Backup /etc/nginx/conf.d/00-default_ssl.conf (or don't create it at all)

<code>mv /etc/nginx/conf.d/00-default_ssl.conf /etc/nginx/conf.d/00-default_ssl.conf.ORIG</code>

Create separate config for each mail domain (in order to use it with Roundcube Webmail), and put in it the corresponding certificate path.

Also you can create separate config for you management domain (in order to use it with Postfixadmin web-interface) in the same way (in our case mail02.yourdomain.ru). Or you can use any of our mail domains in order to get access to Postfixadmin web-interface. You also can use for that purpose letsencrypt cert or purchased cert.

For example, this first config is for domain mail.don661.ru:

<code>nano /etc/nginx/conf.d/10-mail.don661.ru_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2;
 listen [::]:443 ssl http2;
 server_name mail.don661.ru;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/mail.don661.ru/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/mail.don661.ru/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}

 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>
 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }

 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }

 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 client_max_body_size 35M;
 client_body_timeout 300s;
 }

=== PHP ===
<code>systemctl enable php-fpm --now</code>

<code>systemctl restart nginx</code>

=== MariaDB ===
<code>dnf install -y mariadb-server</code>

<code>systemctl enable mariadb --now</code>

<code>mysqladmin -u root password</code>

<code>dnf install -y php-mysqli php-mbstring php-imap</code>

<code>systemctl restart php-fpm</code>

=== Postfixadmin ===
Installation

<code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

<code>mkdir /usr/share/nginx/html/postfixadmin/templates_c</code>

<code>chown -R apache:apache /usr/share/nginx/html/postfixadmin</code>

DB creating

<code>mysql -u root -p</code>

<code>> CREATE DATABASE postfix DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;</code>

<code>> GRANT ALL ON postfix.* TO 'postfix'@'localhost' IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Main config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
<?php
# configuring is finished maker
$CONF['configured'] = true;

# default_language
$CONF['default_language'] = 'en';

# database_password
$CONF['database_password'] = 'PassWord#1';

# app checks domain during domains and mailboxes
$CONF['emailcheck_resolve_domain']='NO';

# amount of records (mailboxes, aliases) per page
$CONF['page_size'] = '9999';

?>
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Enter Setup password, copy generated HASH of the Setup password to config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
...
$CONF['setup_password'] = '$2y$10$ZafzUSBaHy47kta5KfPAjF0aQBjH5i';
...
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Login with Setup password

Create new admin at the footer of the page
 Администратор admin@yourdomain.ru успешно добавлен!
You are done with your basic setup. You can now login to PostfixAdmin using the account you just created.

Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/login.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/login.php</nowiki></code>

=== Postfix ===
<code>dnf install -y postfix postfix-mysql</code>

User to work with mail services

<code>groupadd -g 1024 vmail</code>

<code>useradd -d /home/mail -g 1024 -u 1024 vmail -m</code>

<code>chown vmail:vmail /home/mail</code>

==== Main config ====
<code>nano /etc/postfix/main.cf</code>
# Edit parameters
...
# domain, that will be put in email during mail send if it doesn't point in mail's FROM

myhostname = mail02.yourdomain.ru
...
mydomain = mail02.yourdomain.ru
...
myorigin = mail02.yourdomain.ru
...
# domains for input emails
mydestination = $myhostname, localhost.$mydomain, localhost, localhost.localdomain
...
# where we can get local users
local_recipient_maps = unix:passwd.byname $alias_maps
...
# clients, that will send mail without auth at server. allow local server send emails
mynetworks = 127.0.0.0/8
...
inet_interfaces = all
...
inet_protocols = all
...

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/postfix/main.cf</code>

...

# COMMENT OLD PARAMETERS
#smtpd_tls_cert_file = <...>
#smtpd_tls_key_file = <...>
#smtp_tls_CApath = <...>
#smtp_tls_CAfile = <...>

<nowiki>#</nowiki> Add parameters

<nowiki>#</nowiki> self-signed certs
<nowiki>#</nowiki>smtpd_tls_cert_file = /etc/ssl/mail/public.pem
<nowiki>#</nowiki>smtpd_tls_key_file = /etc/ssl/mail/private.key

<nowiki>###</nowiki> OR

<nowiki>#</nowiki> letsencrypt certs
smtpd_tls_cert_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/cert.pem
smtpd_tls_key_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
smtp_tls_CApath = /etc/letsencrypt/live/ALL-MAIL-DOMAINS
smtp_tls_CAfile = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/chain.pem

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

https://serverfault.com/questions/928926/postfix-multi-domains-and-multi-certs-on-one-ip

<code>nano /etc/postfix/main.cf</code>

...
<nowiki>#</nowiki> Comment
<nowiki>#</nowiki> smtpd_tls_cert_file = /etc/pki/dovecot/certs/dovecot.pem
<nowiki>#</nowiki> smtpd_tls_key_file = /etc/pki/dovecot/private/dovecot.pem

<nowiki>#</nowiki> Provide the primary certificate for the server, to be used for outgoing connections
smtpd_tls_chain_files =
/etc/letsencrypt/live/servername.serverdom.com/privkey.pem,
/etc/letsencrypt/live/servername.serverdom.com/fullchain.pem

<nowiki>#</nowiki> Provide the map to be used when SNI support is enabled
tls_server_sni_maps = hash:/etc/postfix/vmail_ssl.map
...

nano /etc/postfix/vmail_ssl.map

<nowiki>#</nowiki> One host per line

mail.yourprimarymailserverdomain.com /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/fullchain.pem
mail.yoursecondarymailserverdomain.com /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/fullchain.pem

<nowiki>#</nowiki> add more domains with keys and certs as needed

postmap -F hash:/etc/postfix/vmail_ssl.map

systemctl restart postfix
==== Main config again ====
<code>nano /etc/postfix/main.cf</code><blockquote> virtual_mailbox_base — storage path for mailboxes

 virtual_alias_maps — format and path of the aliases for virtual users

 virtual_mailbox_domains — format and path of the virtual domains

 virtual_mailbox_maps — format and path of the mailboxes for virtual users

 virtual_minimum_uid — start UID number for users

 virtual_uid_maps — user id, which write messages

 virtual_gid_maps — group id, which write messages

 virtual_transport — message deliver

 dovecot_destination_recipient_limit — message transfer from Postfix to Dovecot in steps 1 (one) at a time

 smtpd_sasl_auth_enable — sasl auth enable

 smtpd_sasl_exceptions_networks — networks excepted from encryption

 smtpd_sasl_security_options — additional sasl settings

 broken_sasl_auth_clients — option for MS Outlook clients

 smtpd_sasl_type — auth type

 smtpd_sasl_path — Dovecot tmp files. Full or related (default /var/spool/postfix). Full path — /var/spool/postfix/private/auth

 smtp_use_tls — smtp transfer mandatory

 smtpd_use_tls — indicates to clients that TLS support is available

 smtpd_tls_auth_only — use TLS only

 smtpd_helo_required — request to start the session with a greeting</blockquote>
...
<nowiki>#</nowiki> Add parameters at the end of the file

virtual_mailbox_base = /home/mail
virtual_alias_maps = proxy:mysql:/etc/postfix/mysql_virtual_alias_maps.cf
virtual_mailbox_domains = proxy:mysql:/etc/postfix/mysql_virtual_domains_maps.cf
virtual_mailbox_maps = proxy:mysql:/etc/postfix/mysql_virtual_mailbox_maps.cf
'''### If you want to reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files), add the following option):'''
'''# ''smtpd_reject_unlisted_sender = yes''
'''### (You can try to send an email with non-existing user in field FROM, you will see a rejection in output:
'''### ''echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)'''''
virtual_minimum_uid = 1024
virtual_uid_maps = static:1024
virtual_gid_maps = static:1024
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
smtpd_sasl_auth_enable = yes
smtpd_sasl_exceptions_networks = $mynetworks
smtpd_sasl_security_options = noanonymous
broken_sasl_auth_clients = yes
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtp_use_tls = yes
smtpd_use_tls = yes
smtpd_tls_auth_only = yes
smtpd_helo_required = yes
Aliases config

<code>nano /etc/postfix/mysql_virtual_alias_maps.cf</code><blockquote> * '''user, password''' — MySQL DB login and password; '''hosts''' — MySQL hostname; '''dbname''' — Mysql DB name; '''query''' — DB request template</blockquote>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT goto FROM alias WHERE address='%s' AND active = '1'
Virtual domains config

<code>nano /etc/postfix/mysql_virtual_domains_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT domain FROM domain WHERE domain='%u'
Mailboxes config

<code>nano /etc/postfix/mysql_virtual_mailbox_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT CONCAT(domain,'/',maildir) FROM mailbox WHERE username='%s' AND active = '1'
<code>nano /etc/postfix/master.cf</code><blockquote>* you need to be sure that there's no any uncomment options for '''submission''', '''smtps''' и '''dovecot''' (by default there's no such uncomment options). In this config we configuring Postfix at ports 25, 465 и 587. In master.cf we configuring auxiliary services for Postfix:

 submission inet n - n - - smtpd:

 submission — service name. In this example '''submission''' is used for MUA at port 587 during message sending.

 inet — type of the service. Possible cases: inet (TCP/IP socket), unix (stream socket), unix-dgram (datagram socket), fifo (named queue channel), pass (stream socket UNIX).

 первый "n" — whether service private or limited. Possible cases: y or n. For inet service type it should be only n.

 первый "-" — whether service works with root rights. Possible cases: y, n or -. "-" means that this options doesn't applied to this service.

 второй "n" — whether the service should work in chroot. Possible cases: y или n.

 второй "-" — in what time the service should be awaked if one is inactive.

 третий "-" — the maximum number of child processes of this service.

 smtpd — running command.

 * the following are the arguments for running the command:

 smtpd_tls_security_level — TLS security level.

 smtpd_sasl_auth_enable — sasl auth enable.

 smtpd_sasl_type — sasl auth type.

 smtpd_sasl_path — temp files path.

 smtpd_sasl_security_options — additional sasl options.

 smtpd_sasl_local_domain — smtp-auth users' domain.

 syslog_name — log prefix of the service in the syslog.

 smtpd_tls_wrappermode — whether running service in custom mode (for TLS support).

 smtpd_client_restrictions — limit clients' connections. allow only authorized clients.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the file
submission inet n - n - - smtpd
-o smtpd_tls_security_level=may
-o smtpd_sasl_auth_enable=yes
-o smtpd_sasl_type=dovecot
-o smtpd_sasl_path=/var/spool/postfix/private/auth
-o smtpd_sasl_security_options=noanonymous
-o smtpd_sasl_local_domain=$myhostname
smtps inet n - n - - smtpd
-o syslog_name=postfix/smtps
-o smtpd_tls_wrappermode=yes
-o smtpd_sasl_auth_enable=yes
-o smtpd_client_restrictions=permit_sasl_authenticated,reject
dovecot unix - n n - - pipe
flags=DRhu user=vmail:vmail argv=/usr/libexec/dovecot/deliver -d ${recipient}

Log configure

<code>postconf maillog_file=/var/log/postfix.log</code>

<code>systemctl enable postfix --now</code>

<code>chmod 777 /var/log/postfix.log</code>

=== Dovecot ===

<code>dnf install -y dovecot dovecot-mysql</code>

Mailboxes path

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
...
mail_location = maildir:/home/mail/%d/%u/
mail_home = /home/mail/%d/%u
...
Listener for the auth

<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote>* auth service and 2 listeners:

'''/var/spool/postfix/private/auth''' for Dovecot auth ('''/var/spool/postfix/private/auth''' is a '''private/auth''' in Postfix),

'''auth-userdb''' - '''dovecot-lda''' auth socket, '''666''' means any user can use it, '''user and group''' - socket owner</blockquote>
...
<nowiki>#</nowiki> Edit parameters

service auth {
unix_listener /var/spool/postfix/private/auth {
 mode = 0666
 user = postfix
 group = postfix
}
unix_listener auth-userdb {
 mode = 0600
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote> * otherwise we will see an error: '''net_connect_unix(/var/run/dovecot/stats-writer) failed permission denied''', because vmail user doesn't has specific rights.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the conf

service stats {
 unix_listener stats-reader {
 user = vmail
 group = vmail
 mode = 0660
 }
 unix_listener stats-writer {
 user = vmail
 group = vmail
 mode = 0660
 }
}
Dovecot auth

<code>nano /etc/dovecot/conf.d/10-auth.conf</code><blockquote> * comment common auth and add sql-auth.</blockquote>
...
<nowiki>#</nowiki>!include auth-system.conf.ext
!include auth-sql.conf.ext
...
Encryption configure

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> self-signed
<nowiki>#</nowiki>ssl_cert = </etc/ssl/mail/public.pem
<nowiki>#</nowiki>ssl_key = </etc/ssl/mail/private.key

<nowiki>#</nowiki> letsencrypt
ssl_cert = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem
ssl_key = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
...

...
ssl_dh = </etc/dovecot/dh.pem
...

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> TLS SNI (Server Name Indication) support (https://doc.dovecot.org/configuration_manual/dovecot_ssl_configuration/)
<nowiki>#</nowiki> Individual cert for each domain
<nowiki>#</nowiki> It is important to note that having multiple SSL certificates per IP will not be compatible with all clients, especially mobile ones. It is a TLS SNI limitation.

<nowiki>#</nowiki> Default cert
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem

local_name mail.ladavoronezh.ru {
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem
}
local_name mail.don661.ru {
ssl_cert = </etc/letsencrypt/live/mail.don661.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.don661.ru/privkey.pem
}

...
ssl_dh = </etc/dovecot/dh.pem
...

Dirs autocreation during the first login a mailbox

<code>nano /etc/dovecot/conf.d/15-lda.conf</code>
...
<nowiki>#</nowiki> Edit parameters

lda_mailbox_autocreate = yes
...
Connect to DB configure

<code>nano /etc/dovecot/conf.d/auth-sql.conf.ext</code><blockquote> * config for getting users' name and password. It's a default config.</blockquote>
...
<nowiki>#</nowiki> Edit parameters

passdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
userdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
...
Connect to mysql configure<blockquote> * getting data from mysql (mariadb).

'''password_query''' — request for getting password from the '''mailbox''' table;

'''user_query''' — request for getting user's data (home dir, id 1024 (it's a '''vmail''' user id).</blockquote><code>nano /etc/dovecot/dovecot-sql.conf.ext</code>
driver = mysql
connect = host=localhost dbname=postfix user=postfix password=PassWord#1
default_pass_scheme = MD5-CRYPT
password_query = SELECT password FROM mailbox WHERE username = '%u'
user_query = SELECT maildir, 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
Interface for dovecot listening

<code>nano /etc/dovecot/dovecot.conf</code>
...
listen = *
...
log_path = /var/log/dovecot.log
info_log_path = /var/log/dovecot-info.log
debug_log_path = /var/log/dovecot-debug.log

# debug log (DON'T ENABLE IT BY DEFAULT, ONLY IN DEBUG CASES)
###mail_debug = yes
...
<code>systemctl enable dovecot --now</code>

<code>chmod 777 /var/log/dovecot*</code>

=== Postfixadmin. First domain and mailbox creating ===
Go to the Postfixadmin Web

<code><nowiki>http://mail02.yourdomain.ru/postfixadmin/public</nowiki></code>

* Create domain yourdomain.ru
* Create Mailbox cless@yourdomain.ru

=== Roundcube ===
<blockquote>Roundcube Webmail config defaults.inc.php default parameters:

https://github.com/roundcube/roundcubemail/blob/master/config/defaults.inc.php</blockquote><code>wget <nowiki>https://github.com/roundcube/roundcubemail/releases/download/1.6.1/roundcubemail-1.6.1-complete.tar.gz</nowiki></code>

<code>mkdir /usr/share/nginx/html/webmail</code>

<code>tar -C /usr/share/nginx/html/webmail -xvf roundcubemail-*.tar.gz --strip-components 1</code>

<code>cp /usr/share/nginx/html/webmail/config/config.inc.php.sample /usr/share/nginx/html/webmail/config/config.inc.php</code>

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
<nowiki>#</nowiki> Edit

$config['db_dsnw'] = 'mysql://roundcube:PassWord#1@localhost/roundcubemail';

<nowiki>#</nowiki> Add

$config['enable_installer'] = true;
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
// Comment

//$config['smtp_host'] = 'localhost:587';
//$config['smtp_user'] = '%u';
//$config['smtp_pass'] = <nowiki>''</nowiki>;
...

// Add

$config['smtp_host'] = 'tls://localhost';
$config['smtp_conn_options'] = array(
'ssl' => array(
'verify_peer' => false,
'verify_peer_name' => false,
),
);
...
# web session timeout (in minutes)
$config['session_lifetime'] = 1440;
...
// If true all folders will be checked during AUTO-REFRESH for recent messages (Otherwise only standard folders will be checked, like Inbox or SPAM)
$config['check_all_folders'] = true;

// default roundcube webmail interface language
$config['language'] = 'ru_RU';
...

// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote>'''$config['create_default_folders'] = true''' (creating dirs by default (if there's lack of ones)):

'''Drafts''' — Messages drafts.

'''Junk''' — SPAM.

'''Sent''' — Sent messages.

'''Trash''' — Trash bin for messages.

* It's necessary to avoid errors, for example during receiving or deleting messages.</blockquote><syntaxhighlight lang="ini">
...
# Add at the end of the file

$config['drafts_mbox'] = 'Drafts';
$config['junk_mbox'] = 'Junk';
$config['sent_mbox'] = 'Sent';
$config['trash_mbox'] = 'Trash';
$config['create_default_folders'] = true;
</syntaxhighlight><code>chown -R apache:apache /usr/share/nginx/html/webmail</code>

Create roundcubemail DB

<code>mysql -uroot -p</code>

<code>> CREATE DATABASE roundcubemail DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;</code>

<code>> GRANT ALL PRIVILEGES ON roundcubemail.* TO roundcube@localhost IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Apply template

<code>mysql -uroot -p roundcubemail < /usr/share/nginx/html/webmail/SQL/mysql.initial.sql</code>

<code>dnf install php php-common php-pear php-mcrypt php-intl php-ldap php-pear-Net-SMTP php-zip php-imagick php-gd php-fpm php php-pdo php-mysqli php-mbstring php-imap</code>

PHP configure<blockquote>* necessary to create message size limit</blockquote><code>nano /etc/php.ini</code>
...
# Edit

...
date.timezone = "Europe/Moscow"
...
post_max_size = 30M
...
upload_max_filesize = 30M
...
<code>systemctl restart php-fpm</code>

<code>nano /etc/nginx/nginx.conf</code>
...
# Edit

...
http {
 ...
 client_max_body_size 30M;
 ...
}
...
<code>systemctl restart nginx</code>

Go to web

<code><nowiki>http://mail02.yourdomain.ru/webmail/installer/</nowiki></code>

After web installation - disable installer

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['enable_installer'] = false;
...
Remove installer

<code>\rm -R /usr/share/nginx/html/webmail/installer</code>

=== Quota Dovecot + PostfixAdmin ===
https://www.dmosk.ru/miniinstruktions.php?mini=quota-dovecot-postfixadmin

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><blockquote> * plugin to create quotas.</blockquote>
...
<nowiki>#</nowiki> Edit

mail_plugins = $mail_plugins quota
...
<code>nano /etc/dovecot/conf.d/20-imap.conf</code><blockquote> * uncomment '''mail_plugins'''.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol imap {
mail_plugins = $mail_plugins imap_quota
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code>
...
<nowiki>#</nowiki> Edit

service dict {
 unix_listener dict {
 mode = 0660
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/90-quota.conf</code><blockquote> * uncomment '''quota = dict:User quota::proxy::quota'''.</blockquote>
...
<nowiki>#</nowiki> Add

plugin {
quota = dict:User quota::proxy::quota
}
...
<code>nano /etc/dovecot/dovecot.conf</code>
...
<nowiki>#</nowiki> Edit

dict {
quota = mysql:/etc/dovecot/dovecot-dict-sql.conf.ext
}
...
Create config file

<code>nano /etc/dovecot/dovecot-dict-sql.conf.ext</code><blockquote>Mysql connection

'''host''' — mysql server host;

'''dbname''' — db containing postfix users;

'''user''' — db user;

'''password''' — db password.</blockquote>
connect = '''host'''=localhost '''dbname'''=postfix '''user'''=postfix '''password'''=PassWord#1
map {
pattern = priv/quota/storage
table = quota2
username_field = username
value_field = bytes
}
map {
pattern = priv/quota/messages
table = quota2
username_field = username
value_field = messages
}
<code>nano /etc/dovecot/dovecot-sql.conf.ext</code><blockquote> *if you have several '''user_query''' in your config, create query for the last one.</blockquote>
...
<nowiki>#</nowiki> Find "user_query" and put into this line: '''CONCAT('*:bytes=', quota) AS quota_rule'''
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid, '''''CONCAT('*:bytes=', quota) AS quota_rule''''' FROM mailbox WHERE username = '%u'
...
Check dovecot config

<code>doveconf</code>

Restart

<code>systemctl restart dovecot</code>

Logout-Login into Roundcube webmail.

At the foot of the page there'll be a quota appear.

=== Clamav + Amavisd ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavisd-new clamd perl-Digest-SHA1 perl-IO-stringy</code>

Rsyslog is necessary to write SPAM and VIRUS log to /var/log/maillog

<code>dnf install -y rsyslog</code>

<code>systemctl enable --now rsyslog.service</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
<nowiki>#</nowiki> Edit

$mydomain = 'yourdomain.ru';
...

# Edit

$log_level = 0; # verbosity 0..5, -d
$log_recip_templ = undef; # disable by-recipient level-0 log entries
$do_syslog = 1; # log via syslogd (preferred)
$syslog_facility = 'mail'; # Syslog facility as a string
# e.g.: mail, daemon, user, local0, ... local7
...

<nowiki>#</nowiki> Edit

$myhostname = 'mail02.yourdomain.ru';

...
<nowiki>#</nowiki> Add before line "'''''1; # insure a defined return value'''''"

$allowed_header_tests{'multiple'} = 0;
$allowed_header_tests{'missing'} = 0;
...
<code>nano /etc/clamd.d/scan.conf</code>
...
<nowiki>#</nowiki> Uncomment
TCPSocket 3310
...
<code>systemctl enable clamd@scan --now</code>

<code>systemctl enable amavisd --now</code>

Postfix settings

<code>nano /etc/postfix/main.cf</code><blockquote>'''content_filter''' - point to application, which ьуфте to scan messages;

'''receive_override_options''' - allow you to see original email addresses with viruses.</blockquote>
...
<nowiki>#</nowiki> Add

content_filter = scan:[127.0.0.1]:10024
receive_override_options = no_address_mappings
<code>nano /etc/postfix/master.cf</code><blockquote> * итак, данной настройкой мы создадим два вспомогательных сервиса scan и 127.0.0.1:10025 (сервис без имени, он просто будет слушать на порту 10025 — это порт по умолчанию, на который отправляет сообщение amavis после выполнения проверки). Также, мы используем следующие опции:

 smtp_send_xforward_command — передавать ли в сканирование сообщение с исходными именем клиента и IP-адресом. В данном примере, да.

 smtp_enforce_tls — требовать ли TLS.

 content_filter — приложение для сканирования. В данном примере сканирование отключено.

 receive_override_options переопределяет опции в main.cf. В нашем случае, no_unknown_recipient_checks отключает попытки выяснить, является ли получатель неизвестным; no_header_body_checks отключает проверки заголовков и тала писем.

 пустые значения для smtpd_helo_restrictions, smtpd_client_restrictions, smtpd_sender_restrictions отключают ограничения для данных опций.

 smtpd_recipient_restrictions — контролирует ответ Postfix на SMTP-команду RCPT TO. Здесь мы разрешаем только соединения от узлов, перечисленных в mynetworks.

 mynetworks_style=host указывает postfix, что он должен пересылать почту только с локального компьютера.

 smtpd_authorized_xforward_hosts укажет, какие удаленные клиенты могут использовать XFORWARD. В данном случае локальный компьютер.</blockquote>
...
<nowiki>#</nowiki> Add at the end of the file

scan unix - - n - 16 smtp
-o smtp_send_xforward_command=yes
-o smtp_enforce_tls=no
127.0.0.1:10025 inet n - n - 16 smtpd
-o content_filter=
-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
# '''OR, if you want to restrict sending emails by users with inexistened local domains, etc.:'''
# '''(You can see logs of PASSED o DROPPED emails in ''/var/log/maillog'' after sending them''')
# '''-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject'''
-o mynetworks_style=host
-o smtpd_authorized_xforward_hosts=127.0.0.0/8
<code>systemctl restart postfix</code>

Clamd update

<code>dnf install -y clamav-update</code>

<code>nano /etc/freshclam.conf</code>
...
<nowiki>#</nowiki> Choose one of the update mirrors

<nowiki>#</nowiki>DatabaseMirror <nowiki>https://clamav.jinr.ru</nowiki>
<nowiki>#</nowiki>DatabaseMirror <nowiki>https://packages.microsoft.com/clamav/</nowiki>
DatabaseMirror pivotal-clamav-mirror.s3.amazonaws.com
...
Then remove the freshclam.dat file and restart the service

<code>rm -f /var/lib/clamav/freshclam.dat</code>

<code>systemctl restart clamav-freshclam</code>

Update

<code>freshclam</code>

Antispam DB update

<code>sa-update --nogpg --verbose</code>

Cron

<code>crontab -e</code>
...
15 3 * * * /bin/freshclam
30 3 * * * /bin/sa-update
Antivirus checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
The email will never come, and you will see the following in the logs:

<code>tail /var/log/postfix.log</code>

 -OR-

<code>tail /var/log/maillog</code>
 ...
 ... amavis[17688]: (17688-04) Blocked INFECTED (Eicar-Signature) {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... relay=127.0.0.1[127.0.0.1]:10024, delay=0.25, delays=0.19/0/0/0.06, dsn=2.7.0, status=sent (250 2.7.0 Ok, discarded, id=17688-04 - INFECTED: Eicar-Signature)
 ...

=== Redirect SPAM to user's SPAM-directory using Amavis service ===
<code>dnf install -y amavis dovecot-pigeonhole dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> * закомментированная строка указывала, что файл с настройками находится в домашней директории каждого пользователя. Мы же будем делать централизованный конфиг в файле /etc/dovecot/sieve/default.sieve.</blockquote>
...
<nowiki>#</nowiki> Comment

<nowiki>#</nowiki>sieve = file:~/sieve;active=~/.dovecot.sieve

<nowiki>#</nowiki> Add

sieve = /etc/dovecot/sieve/default.sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавили плагин sieve. Также необходимо со строки снять комментарий, если он был.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lda {
...
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-lmtp.conf</code><blockquote> * также мы добавили плагин sieve + необходимо со строки снять комментарий, если он есть.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lmtp {
...
mail_plugins = $mail_plugins sieve
}
...
<code>mkdir /etc/dovecot/sieve</code>

<code>nano /etc/dovecot/sieve/default.sieve</code><blockquote> * в данном примере мы ищем в заголовках X-Spam-Flag и отправляем такие письма в папку Junk.</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
<code>chown -R vmail:vmail /etc/dovecot/sieve</code>

<code>systemctl restart dovecot</code>

<code>nano /etc/amavisd/amavisd.conf</code><blockquote> * по умолчанию стоит значение D_DISCARD, что означает, что сообщения будут отклонятся. Нам же нужно D_PASS — пропускать.</blockquote>
...
<nowiki>#</nowiki> Edit

$final_spam_destiny = D_PASS;

...
<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

SPAM filter checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
The email will be appear inthe SPAM-directory, any you will see in the logs:
 ...
 ... amavis[17689]: (17689-04) Blocked SPAM {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... status=sent (250 2.7.0 Ok, discarded, id=17689-04 - spam)
 ...

=== Logrotate of mail logs ===
<code>nano /etc/logrotate.conf</code><syntaxhighlight lang="bash">
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# system-specific logs may be also be configured here.
</syntaxhighlight><code>nano /etc/logrotate.d/mail</code><syntaxhighlight lang="bash">
/var/log/dovecot-debug.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot-info.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/postfix.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/maillog {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}
</syntaxhighlight>Check a cron daily task. It should already exist

<code>nano /etc/cron.daily/logrotate</code><syntaxhighlight lang="bash">
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE
</syntaxhighlight>Wait for a daily task to complete

Or you can run the logrotate manually:

<code>logrotate -f /etc/logrotate.conf</code>

= Improving email deliverability (VERY IMPORTANT!) =
https://www.linuxbabe.com/mail-server/centos-7-iredmail-email-server

To prevent your emails from being flagged as spam, you should set PTR, SPF, DKIM and DMARC records.

=== PTR записи на DNS сервере ===

==== Описание ====
Запись PTR прописывается _НЕ_ в ресурсных записях днс-сервера, к которому привязан ваш почтовый домен, это делает именно регистратор ip-адреса (провайдер или хостер, предоставляющий внешний ip-адрес)! Если провайдер ростелеком, пишем на электронку support@tmb.ru с просьбой зарегистрировать ptr-запись, штатная техподдержка отказывается предоставлять такую услугу

Если у вас есть свой почтовый сервер, то необходимо, чтобы ваш провайдер (а точнее тот, кто выдал вам статические ip-адреса. если ваш внешний IP предоставил вам хостер, на котором у вас крутится VPS/VDS, то обращаемся в техподдержку хостера) зарегистрировал на своем DNS-сервере PTR записи для вашего почтового сервера (MX-записи). Иначе, подавляющая часть почтовых серверов интернета откажется принимать почту от вашего почтового сервера.

Так же, многие почтовые сервера отвергают письма, если при проверке адреса отправителя в строке им выдается "dynamicip" или "dsl" или подобные слова означающие, что ваш адрес не статический или не совпадает с именем вашего домена.

Если в ответе сервера на ваше отправленное письмо вы видите что-то типа:

mxs.mail.ru: 550 Sorry, we do not accept mail from hosts with dynamic IP or generic DNS PTR-records. Please get a custom reverse DNS name from your ISP for your host 215.54.54.54 or contact abuse@corp.mail.ru in case of error

это значит, что вам необходимо корректно зарегистрировать PTR запись на DNS-сервере для вашего доменного имени.

Для этого необходимо послать запрос тому, кто выдал вам статические ip-адреса (обычно, это ваш провайдер) с просьбой зарегистрировать PTR запись для вашего домена.

PTR запись должна быть одна для одного IP (не нужно создавать две записи для основного домена (mydomain.ru) и почтового домена (mail.mydomain.ru) если оба они привязаны А-записью к одному IP)

PTR запись должна быть создана именно для MX записи. То есть, если адреса домена и почтового обменника не совпадают, то PTR создаем именно для MX записи.

Например, если домен mydomain.ru находится по адресу 22.11.33.44, а почтовый обменник (MX запись) создана для хоста mail.mydomain.ru, расположенного по адресу 11.22.33.44, то и PTR запись нужно создавать для mail.mydomain.ru:
44.33.22.11.in-addr.arpa mail.mydomain.ru
Естественно, можно "до кучи" создать обратную запись и для самого домена mydomain.ru. Она так же не помешает:
44.33.11.22.in-addr.arpa mydomain.ru

==== Резюмируя, необходимо сделать следующее: ====
1. Необходимо прописать ресурсную запись MX (MX 10 mail.yourdomain.ru.) для основного домена "yourdomain.ru", указав что почтовым доменом MX-сервера является "mail.yourdomain.ru"

Это делаем мы.

Например, IP нашего yourdomain.ru - 1.2.3.4
A yourdomain.ru 1.2.3.4
MX 10 mail.yourdomain.ru.
2. Создать PTR-запись на DNS сервере регистратора

IP домена "mail.yourdomain.ru" необязательно должен совпадать с IP "yourdomain.ru", но PTR-запись должна быть создана регистратором IP-адреса (5.6.7.8) домена "mail.yourdomain.ru". Если у нас несколько почтовых доменов на одном почтовом сервере и все они выходят через единственный внешний IP, то PTR соответствие необходимо прописать для домена, которым именуется (hostname) сам физический почтовый сервер.

Например, сама физическая машина именуется mail.yourdomain.ru

(

Также для этого необходимо прописать "mail.yourdomain.ru" в следующих местах:

<code>hostnamectl set-hostname mail.yourdomain.ru</code>

Cоответствие внешнего IP, для которого создаем PTR-запись, и домена mail.yourdomain.ru прописываем в /etc/hosts)
...
45.67.59.224 mail.yourdomain.ru
Изменить настройки postfix

<code>nano /etc/postfix/main.cf</code>
...
myhostname = mail.yourdomain.ru
myorigin = mail.yourdomain.ru
mydomain = mail.yourdomain.ru
...
)

mail.yourdomain.ru не обязан вообще быть почтовым доменом, но он будет в поле "helo: mail.yourdomain.ru" при отправке письма с любого другого почтового домена, работающего на нашем почтовом сервере. поэтому создаем ptr-запись именно для mail.yourdomain.ru - "8.7.6.5.in-addr.arpa mail.yourdomain.ru"

Это делает регистратор внешнего IP

Например, IP нашего mail.yourdomain.ru 5.6.7.8
8.7.6.5.in-addr.arpa mail.yourdomain.ru

==== Проверки ====
1.

<code>host 5.6.7.8</code>
...
8.7.6.5.in-addr.arpa domain name pointer mail.yourdomain.ru.
...
Готово!

2.

Например, для домена mydomain.ru с адресом 215.54.54.54, необходимо зарегистрировать следующую запись:
54.54.54.215.in-addr.arpa name=mydomain.ru
А если почтовый сервер сидит на отдельном адресе, например, mail.mydomain.ru имеет адрес 215.54.54.55, то необходимо зарегистрировать еще одну PTR запись:
55.54.54.215.in-addr.arpa name=mail.mydomain.ru
Проверить наличие PTR записи на сервере DNS можно с помощью интерфейса команды NSLOOKUP:

<code>nslookup</code>

Теперь подключаемся к DNS-серверу провайдера:

<code>server 215.54.54.1</code>

Устанавливаем тип ресурсной записи:

<code>set type=PTR</code>

Делаем запрос на интересующий нас адрес:

<code>215.54.54.54</code>

В ответ мы должны получить имя своего домена mydomain.ru

=== SPF ===
SPF (Sender Policy Framework) record specifies which hosts or IP addresses are allowed to send emails on behalf of a domain. You should allow only your own email server or your ISP’s server to send emails for your domain. In your DNS management interface, create a new TXT record like below.

Add TXT-record to your main domain (for example "yourdomain.ru", _NOT_ subdomain "mail.yourdomain.ru"!)
A yourdomain.ru 45.67.59.224
MX 10 mail.yourdomain.ru.
TXT v=spf1 mx ~all
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig yourdomain.ru txt</code>
...
;; ANSWER SECTION:
yourdomain.ru. 10 IN TXT "v=spf1 mx ~all"
...

=== DKIM ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavis</code>

==== Add first mail domain ====
<blockquote>You have to add second and following as well as the first</blockquote><code>mkdir -p /var/lib/dkim</code>

Generate PEM for our domain<blockquote><nowiki>*</nowiki> domain.ru - the first domain, for wich we generated dkim</blockquote><code>amavisd genrsa /var/lib/dkim/dmosk.ru.pem 1024</code>

<code>chown amavis:amavis /var/lib/dkim/*.pem</code>

<code>chmod 0400 /var/lib/dkim/*.pem</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
# Comment

<nowiki>#</nowiki>$inet_socket_port = 10024;

# Add

$inet_socket_port = [10024,10026];

...

<nowiki>#</nowiki> Find this string (its value must be "1")
$enable_dkim_verification = 1; # enable DKIM signatures verification

<nowiki>#</nowiki> After the string above add following

dkim_key('yourdomain.ru', "dkim", "/var/lib/dkim/yourdomain.ru.pem");
@dkim_signature_options_bysender_maps = ( {
"yourdomain.ru" => { d => "yourdomain.ru", a => 'rsa-sha256', ttl => 10*24*3600 },
});

...

<nowiki>#</nowiki> FIND THIS STRING. ITS VALUE MUST BE "1"
$enable_dkim_signing = 1; # load DKIM signing code, keys defined by dkim_key

...

<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

Generate record for DNS server

<code>amavisd -c /etc/amavisd/amavisd.conf showkeys</code>
...
dkim._domainkey.yourdomain.ru. 3600 TXT (
"v=DKIM1; p="
"MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz"
"3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUg"
"jOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0J"
"xfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9O"
"YO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61N"
"rJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVh"
"kwIDAQAB")
...
Copy it from ""v=DKIM1..." to "...kwIDAQAB"

Remove all "" and line breaks

You'll get something like this (in one line):
v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Create subdomain "dkim._domainkey" for your main domain "yourdomain.ru"

Create TXT-record in "dkim._domainkey" subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
TXT v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Wait 5-10 minutes!

Test at mail server

<code>amavisd -c /etc/amavisd/amavisd.conf testkeys</code>
...
TESTING#1 yourdomain.ru: dkim._domainkey.yourdomain.ru => pass
...
Test on arbitrary server in internet:

<code>dig dkim._domainkey.yourdomain.ru txt</code>
...
;; ANSWER SECTION:
dkim._domainkey.yourdomain.ru. 10 IN TXT "v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjz" "zr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB"
...

=== DMARC ===
DMARC stands for Domain-based Message Authentication, Reporting and Conformance. DMARC can help receiving email servers to identify legitimate emails and prevent your domain name from being used by email spoofing.

To create a DMARC record, go to your DNS manager and add a TXT record. In the name field, enter _dmarc. In the value field, enter the following. (You should create the dmarc@your-domain.com email address.)

Create subdomain "_dmarc" for your main domain "yourdomain.ru"

Create TXT-record in "_dmarc" (_dmarc.yourdomain.ru) subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
A 45.67.59.224
TXT v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig _dmarc.yourdomain.ru txt</code>
...
�;; ANSWER SECTION:
_dmarc.yourdomain.ru. 10 IN TXT "v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>"
...
General deliverability test

Go to

<code><nowiki>https://www.mail-tester.com/</nowiki></code>

Send email from your mail account of your new mail server to randomly generated service's mail address (test-avlwah6p3@srv1.mail-tester.com, for example)

Then click "Затем проверьте оценку"

Wait for tests passed

If your score higher than 8, congratulations!

= Add additional mail domain =

=== DNS ===
Root domain and MX-record, which point to the for mail domain

<code>/ip dns static</code>

<code>add name=cless.pro mx-exchange=mail.cless.pro mx-preference=10 ttl=1m type=MX</code>

Mail domain

<code>/ip dns static</code>

<code>add name=mail.cless.pro address=185.225.35.200 ttl=1m</code>

=== SSL certs ===

==== Lentencrypt ====
<code>certbot certonly --webroot --agree-tos -d mail.cless.pro,mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

<code>systemctl restart nginx</code>

==== Purchased certs ====
Add additional cert configs for a new domain for '''Nginx''', '''Postfix''' and '''Dovecot'''.

=== Improving email deliverability ===
Check the '''Improving email deliverability''' section of this manual and do corresponding actions.

=== Postfixadmin web panel ===

* Create domain cless.pro
* Create mailbox cless@cless.pro

=== Roundcube webmail ===
Login to Roundcube webmail

Send/Receive email

= Autodiscover Mail Server settings for Mail Clients =

== Links ==
https://www.dmosk.ru/miniinstruktions.php?mini=autodiscover-mail

== Description ==
It provides mail clients Mail Server connection info during configuring Mail Client mailbox

=== Thinderbird ===
Механизм автонастройки от Mozilla похож на Microsoft. Необходимые настройки должны отдаваться веб-сервером в виде XML-документа. Однако запрос не https, а http; и не POST, а GET. Также обращение идет сначала в формате '''server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain''', и если ответ не будет получен — '''autoconfig.server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain'''.

==== DNS Server ====
<blockquote>You have to create following config for each mail domain at the server</blockquote>Create А-record (or CNAME) for root domain (example.com):<blockquote>''* где '''111.111.111.111''' — IP-address of web server, with XML.''</blockquote>
autoconfig IN A 111.111.111.111

==== Nginx config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>nano /etc/nginx/conf.d/910-autodiscover_example.ru.conf</code><syntaxhighlight lang="nginx">
# HTTP
server {
listen 80;
server_name autoconfig.example.com;
root /usr/share/nginx/html/autodiscover/example.com;
}
</syntaxhighlight>

==== Autodiscover config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>mkdir -p /usr/share/nginx/html/autodiscover/example.ru/mail</code>

<code>nano /usr/share/nginx/html/autodiscover/example.ru/mail/config-v1.1.xml</code><syntaxhighlight lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<clientConfig version="1.1">
<emailProvider id="example.com">
<domain>example.com</domain>
<displayName>Mail example.com</displayName>
<displayShortName>example.com</displayShortName>
<incomingServer type="imap">
<hostname>mail.example.com</hostname>
<port>143</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<incomingServer type="pop">
<hostname>pop.example.com</hostname>
<port>995</port>
<socketType>SSL</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<outgoingServer type="smtp">
<hostname>mail.example.com</hostname>
<port>587</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</outgoingServer>
</emailProvider>
</clientConfig>
</syntaxhighlight><code>systemctl restart nginx</code>

=== Simpliest method according to the RFC standard (I'm not sure that it works) ===
<blockquote>It works in unstable way. The mail client usually managed to get mail server info, but not everything. Mail client gets '''hosts''' (for example, imap.yourdomain.ru), but not the '''ports'''.</blockquote>

==== DNS Server ====
You need to add ''subdomains'' for your ''main domain'' '''yourdomain.ru''' and create '''SRV''' records

Templates
_<service name>._<protocol> <priority> <weight> <port> <host>
Examples
_smtp._tcp IN SRV 10 0 25 smtp.yourdomain.ru.
_pop3._tcp IN SRV 20 0 110 pop.yourdomain.ru.
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_smtps._tcp IN SRV 0 0 465 smtp.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.
_imaps._tcp IN SRV 0 0 993 imap.yourdomain.ru.
_pop3s._tcp IN SRV 10 0 995 pop.yourdomain.ru.
Example

To give your mail clients info about '''imap''' and '''smtp''' settings of your mail server:
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.

= Full-text search =

== Fts-xapian ('''It works good!''') ==

=== Links ===
[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://github.com/grosjo/fts-xapian]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/#community-developed-plugins]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/settings/plugin/fts-plugin/]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin]

=== Description ===
Dovecot has some problems with email searching if there's a huge amount of emails in the mailbox. It can perodically throw an error "Server error" during the search.

To avoid such problems we can use Full-text search.

=== Build plugin ===

==== Variant 1. Build plugin at the same machine ====

===== Mail server =====
<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

==== Variant 2. Build plugin at the another machine with the same arch and apps versions, and copy compiled plugin to the mail server ====

===== Another machine for building =====
Build plugin at the another machine

<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

Copy plugin to the mail server

<code>rsync -avPh /usr/lib64/dovecot/lib21_fts_xapian_plugin.* root@<mail-server-IP>:/usr/lib64/dovecot/</code>

===== Mail server =====
<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

=== Configure plugin at the mail server ===
Check the installed plugin

<code>ls -lh /usr/lib64/dovecot/lib21_fts_xapian_plugin.*</code>
 ...
 -rw-r--r-- 1 root root 2.9M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.a
 -rwxr-xr-x 1 root root 1.1K Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.la
 -rwxr-xr-x 1 root root 1.2M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.so
 ...
Add plugin to the common conf

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><syntaxhighlight lang="ini">
...
mail_plugins = $mail_plugins <...> fts fts_xapian
...
</syntaxhighlight>Add plugin config

<code>nano /etc/dovecot/conf.d/95-fts.conf</code><blockquote>partial=2 - the minimum length of the search string</blockquote><syntaxhighlight lang="ini">
plugin {
fts = xapian
fts_xapian = partial=2 full=20 attachments=0 verbose=0

fts_autoindex = yes
fts_enforced = yes

fts_autoindex_exclude = \Trash

# Index attachements
fts_decoder = decode2text
}

service indexer-worker {
# Increase vsz_limit to 2GB or above.
# Or 0 if you have rather large memory usable on your server, which is preferred for performance)
vsz_limit = 2G
}

service decode2text {
executable = script /usr/libexec/dovecot/decode2text.sh
user = dovecot
unix_listener decode2text {
mode = 0666
}
}
</syntaxhighlight>Restart dovecot and check the service status. There shouldn't be errors or warnings in the output.

<code>systemctl restart dovecot</code>

<code>systemctl status dovecot</code>

It's necessary to index all the mailboxes if you have already had productive and filled mailboxes

<code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm index -u $i \*; done</code>

Or do it just for only one mailbox

<code>doveadm index -u user@domain.ru \*</code><blockquote> '''COMMANDS'''

 '''fts optimize'''

 doveadm fts optimize [-u user|-A|-F file] [-S socket_path] [namespace]

 Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.

 '''fts rescan'''

 doveadm fts rescan [-u user|-A|-F file] [-S socket_path] [namespace]

 Scan what mails exist in the full text search index and compare those to what actually exist in mailboxes. This removes mails from the index that have already been expunged and makes sure

 that the next doveadm index will index all the missing mails (if any). Note that currently most FTS backends do not implement this properly, but instead they delete all the FTS indexes.

 This may change in the future versions.</blockquote>Place the task to optimize your xapian indexes into the crontab

<code>crontab -e</code>
...
# Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.
0 4 * * * for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts optimize -u $i; done
...
Optionally<blockquote>I'm not sure this is really necessary

It takes a lot of time and during this process the search doesn't work

Also, after the rescan, the directories "/home/mail/<domain>/<user>/xapian-indexes/db_*" will be deleted, and they will be created only after a user will click on the directories in the web-interface. It takes also a lot of time

You can rescan indexes of your mailboxes</blockquote><code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts rescan -u $i; done</code>

Or do it just for only one mailbox

<code>doveadm fts rescan -u user@domain.ru</code>

Check the search in the console

<code>dnf install -y telnet</code>

<code>telnet localhost imap</code>

<code>a login user@don661.ru PassWord#1</code>

<code>a select Inbox</code>

<code>a SEARCH text "test"</code>

Check the search in the '''Roundcube Webmail'''<blockquote>In '''Roundcube Webmail''' for the searching of text in the message body it's necessary to click on the arrow right to the search field and to check "'''Message body'''" as a search source!</blockquote>

== SOLR ('''I didn't test it!''') ==
https://doc.dovecot.org/configuration_manual/fts/solr/

== Fts-elastic ('''I didn't test it!''') ==
https://github.com/filiphanes/fts-elastic

= Postfix limits (I didn't test it!) =
https://www.dmosk.ru/miniinstruktions.php?mini=postfix-limits#mailbox-size

= Desktop mail clients =

=== Thunderbird ===
'''IMAP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 143

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

'''SMTP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 587

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

= Hints =

== Mail queue check ==
<code>mailq</code>

== Show connected users ==
Users IMAP (via mail clients)

<code>doveadm who</code>

Users WEB Roundcube

<code>netstat -an | grep :443 | grep -v TIME_WAIT</code>

== Restrict sending emails by local users with non-existing local domains in the field ''FROM'' ==
<code>nano /etc/postfix/master.cf</code>
...
-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject
...
You can see logs of PASSED o DROPPED emails in '''/var/log/maillog''' after sending them.

== Reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files) ==
https://serverfault.com/questions/694511/postfix-how-to-reject-sender-addresses-that-dont-exist-only-for-local-domains

Add the following option to '''/etc/postfix/main.cf''':

<code>nano /etc/postfix/main.cf</code>
...
smtpd_reject_unlisted_sender = yes
...
You can try to send an email with non-existing user in field FROM, and you will see a rejection in output:

<code>echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)</code>
== Message size limit (message size itself + attached file size) ==
You have to set limits in the each following entity.

In this example we make limit at about ~30MB for attachment

==== Postfix limit ====
<code>nano /etc/postfix/main.cf</code>
...
message_size_limit = 46080000 # ~30MB (10240000 - ~10MB)
...
<code>systemctl restart postfix</code>

==== Roundcube limit ====
<blockquote>Roundcube preserves some percentage of the max message size (search 1.33 on this page, so if you set the max to 100M, it tells you only 75MB is allowed (100 / 1.33). This is better because email messsage will be encoded before sending to MTA and the encoded attachment is larger than the original file.</blockquote><code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['max_message_size'] = '40M'; # max summ message size (not file)
...

==== Nginx limit ====
<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>
...
server {
...
client_max_body_size 35M; # max size of a message
client_body_timeout 300s; # timeout while upload attachment, otherwise upload may be canceled by timeout in case of a low upload speed, for example
}
...
<code>systemctl restart nginx</code>

==== PHP limit ====
<code>nano /etc/php.ini</code>
...
post_max_size = 35M;
upload_max_filesize = 35M;
...
reboot

== Amount of attached files in an email ==
<code>nano /etc/php.ini</code>
...
; Maximum number of files that can be uploaded via a single request
max_file_uploads = 50
...
<code>systemctl restart nginx.service php-fpm.service</code>

== Creating users via CLI ==

=== A single mailbox creation ===
Postfixadmin-cli installation<blockquote><nowiki>*</nowiki>if you have already had installed postfixadmin, you don't have to do the following</blockquote><code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

Help

<code>/usr/share/nginx/html/postfixadmin/scripts</code>

Comment password validation limits (e.g. "# must contain at least 2 digits" or something you needed) in the array 'password_validation' of the postfix config

<code>nano /usr/share/nginx/html/postfixadmin/config.inc.php</code>
...
$CONF['password_validation'] = array(
...
# '/([0-9].*){2}/' => 'password_no_digits 2', # must contain at least 2 digits
...
Create user

<code>cd /usr/share/nginx/html/postfixadmin/scripts</code>

<code>./postfixadmin-cli mailbox add prod@domain123.ru --password "AlefStudioS*100" --password2 "AlefStudioS*100" --name "Компания AlefStudio" --quota "4096" --active --welcome-mail</code>

=== Mass mailboxes creation ===
Mailboxes list file

<code>nano ./mailboxes.txt</code>
john@domain.ru|pass1|John Smith
ann@domain.ru|pass2|Анна Паста Бродерик-Иванова
Milbox creation script

<code>nano ./postfixadmin-mass-mailboxes-create.sh</code><syntaxhighlight lang="bash">
#!/bin/bash

#####
#
# Mass postfixadmin mailboxes creation by @ClessAlvein
#
#####

# VARS

mailboxesListFile="./USERS_lada-tambovavtocity.ru.txt"
mailboxQuota="2048"
pfCli="/usr/share/nginx/html/postfixadmin/scripts/postfixadmin-cli"
dateTimeCurrent=`date +%Y-%m-%d_%H-%M-%S`

# SCRIPT START

# declare array with mailbox data in the each line
declare -A arrayMailboxes;

# getting each line from the file with each user's data
while IFS= read -r line || [[ "$line" ]];
do
# getting user, pass, name from the line and put it to the assoc array key=value
while IFS="|" read "mailboxUserFromFile" "mailboxPassFromFile" "mailboxNameFromFile";
do
# makeup
echo "";

# debug
#echo "${mailboxUser}, ${mailboxPass}, ${mailboxName}";

# declare assoc array with each key as a bit mailbox's data
declare -A arrayMailbox;

# each key is a bit of the mailbox's data
arrayMailbox[arrayMailboxUser]=${mailboxUserFromFile};
arrayMailbox[arrayMailboxPass]=${mailboxPassFromFile};
arrayMailbox[arrayMailboxName]=${mailboxNameFromFile};

# for each bit of mailbox's data create var (user,pass,name)
for key in "${!arrayMailbox[@]}";
do
case $key in
arrayMailboxUser)
mailboxUser=${arrayMailbox[${key}]};;
arrayMailboxPass)
mailboxPass=${arrayMailbox[${key}]};;
arrayMailboxName)
mailboxName=${arrayMailbox[${key}]};;
esac
done
done < <( echo ${line} )

# if ${mailboxName} is empty
if [ -z "${mailboxName}" ]; then
mailboxName=${mailboxUser}
fi

# debug
echo "mailboxUser: ${mailboxUser}";
echo "mailboxPass: ${mailboxPass}";
echo "mailboxName: ${mailboxName}";

# create each mailbox
${pfCli} mailbox add ${mailboxUser} \
--password "${mailboxPass}" \
--password2 "${mailboxPass}" \
--name "${mailboxName}" \
--quota "${mailboxQuota}" \
--active --welcome-mail \
| tee -a ./log_${dateTimeCurrent}

done < ${mailboxesListFile}
</syntaxhighlight>Create mailboxes

<code>./postfixadmin-mass-mailboxes-create.sh</code>

== Roundcube Filter plugin (for email forwarding, sending copy of emails to another email, and other actions) ==
https://www.dmosk.ru/miniinstruktions.php?mini=roundcube-managesieve

We will use '''Roundcube managesieve plugin''' for that purpose<blockquote>* First off, check that there's no directory "sieve" in the "/home/mail/<DOMAIN>/<USER>/"</blockquote><code>nano /etc/dovecot/conf.d/10-mail.conf</code>

 * if you have already had '''mail_home = /home/vmail/%d/%u''' in this config, you have to edit it as deliberately '''mail_home = /home/vmail/%d/%u/sieve'''

 * мы задаем опцию mail_home с путем до каталогов с почтой. Обратите внимание, что на вашем сервере настройка может быть другая и необходимо указать правильное значение. Переменные %d и %u указывают, соответственно, на имя домена и учетной записи.
...
mail_home = /home/vmail/%d/%u/sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавляем плагин sieve, который должен теперь использоваться локальным агентом доставки lda.</blockquote>
...
protocol lda {
# Space separated list of plugins to load (default is global mail_plugins).
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-managesieve.conf</code><blockquote> * по аналогии с protocol lda, мы указываем на необходимость использования sieve

 * мы указываем, что наш сервис будет работать на порту 4190</blockquote>
...
protocols = $protocols sieve
...
service managesieve-login {
inet_listener sieve {
 port = 4190
}
...
}
...
<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> *sieve — путь до файла с правилами. Указывается для каждого ящика с помощью переменных.

 *sieve_global_path — путь до общего файла с правилами. Используется, если отсутствует файл по пути sieve.

 *sieve_dir — путь до каталога с подключаемыми скриптами-правилами. Указывается для каждого почтового ящика.

 *sieve_global_dir — путь до общего каталога с подключаемыми правилами. Используется, если отсутствует sieve_dir.</blockquote>
...
plugin {
sieve = /home/mail/%d/%u/sieve/dovecot.sieve
sieve_global_path = /etc/dovecot/sieve/default.sieve
sieve_dir = /home/mail/%d/%u/sieve
sieve_global_dir = /etc/dovecot/sieve/global/
...
}
...
<blockquote>'''!!! I'm not sure that the following is necessary'''

'''!!! At first try not to make this actions'''

'''!!! If everything works without it - nevermind'''

 Create dir for global rules sieve_global_dir:

 mkdir -p /etc/dovecot/sieve/global

 Chown dir:

 chown dovecot:dovecot -R /etc/dovecot/sieve</blockquote>Restart dovecot

<code>systemctl restart dovecot</code>

Roundcube config edit

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote> * At first, check that there's the "managesieve" plugin in the plugin directoty: "/usr/share/nginx/html/webmail/plugins/"</blockquote>
...
$config['managesieve_host'] = 'localhost';
...
$config['plugins'] = [
 ...
 'managesieve',
];
...
// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
Go to Roundcube Webmail

Create test filter (for example), copy message to another email after it will be received
'''Settings''' - '''Filter''' - Filter "'''Roundcube'''" - "'''+'''"
 '''Filter name''': mail_forward
 '''Area''': ALL messages
 '''Action''': send copy to - xxx@mail.ru
 '''Save'''
Now you can see the brand new files in the directory "'''/home/mail/<DOMAIN>/<USER>/sieve/'''" (config '''roundcube.sieve''' and symlink '''dovecot.sieve''' (config '''/etc/dovecot/conf.d/90-sieve.conf''' point to '''dovecot.sieve'''))
 ...
 dovecot.sieve -> roundcube.sieve
 roundcube.sieve
 ...
Test it

Send email to yourself

The message will be received and will be sent to xxx@mail.ru as well

Now, in that case, if you have a private per-user sieve script ('''/home/mail/%d/%u/sieve/dovecot.sieve''', we have already configured it), the global sieve script '''WON'T WORK'''!

To make the private per-user script and the global script work at the same time, we need to do following.

In this example we will filter all mail for all users, and put SPAM to the Junk directory.

https://talk.plesk.com/threads/global-dovecot-sieve-rule.341552/

<code>mkdir /etc/dovecot/conf.d/custom-sieve</code>

<code>cd /etc/dovecot/conf.d/custom-sieve</code>

<code>nano /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code><blockquote>*This rule filter SPAM (we have already configured spamassasin above, right?) and put it to Junk dir</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
Create the new global sieve configuration directive for Dovecot

<code>nano /etc/dovecot/conf.d/37-custom-global-sieve.conf</code>
plugin {
# Make sure to run "sievec" on this file after creating it:
sieve_after = /etc/dovecot/conf.d/custom-sieve/global_after.sieve
}
Run this to compile the new sieve, it will create a binary rule in the same directory

<code>sievec /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code>

Restart the Dovecot services<blockquote>You don't have to start spamassasin service to make spam filter work. Amavisd does it!</blockquote><code>systemctl restart dovecot</code>

Test it

If you have already configured Spamassassin in this manual above - send email to yourself with following in the message body: '''XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X'''

The message wil be put in the Junk directory and the copy of this message will be sent to xxx@mail.ru

<code>tail /var/log/maillog</code>
 ...
 Apr 23 20:39:54 mail amavis[1696]: (01696-01) Passed SPAM {RelayedTaggedInternal,Quarantined}, MYNETS LOCAL [::1]:50042 <admin@alef-studio.ru> -> <admin@alef-studio.ru>, Queue-ID: BE39DE013B, Message-ID: <223db76d330a882501d9b6584e72e16b@alef-studio.ru>, mail_id: qx51q6idSWsl, Hits: 998.992, size: 1158, queued_as: 8850CE0A8A, 709 ms
 ...
Now we can configure the private filter rules for each user, and our global SPAM filter will work as well!

== Roundcube. Create new messages with HTML-EDITOR by default ==
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['htmleditor'] = 1;
...

== Roundcube Pugin. Viewer Office Docs (DOC, XLS, ODT, ODS, etc.) ==
https://github.com/jfcherng-roundcube/plugin-cloudview

== Roundcube. Address-book from Windows AD DC on-line ==

=== At Windows AD DC Server ===
Go to "'''Domain Users and Computers'''"

First off, you need to have a user "'''admin'''" with Administrator's permissions to connect to the AD DC from Roundcube

Create a user in group "'''Users'''" with an email in (! '''You won't see any user at all in Roundcube web-interface if you don't add an email address to the specific users's field !''')

Get a LDAP/AD Administartor's "'''admin'''" Distinguished Name for connect to AD from the Mail Server (we will use it later)

<code>C:\Users\Администратор.WIN-RMJC4R0JMJR> '''dsquery user -name admin'''</code>
...
'''"CN=admin,CN=Users,DC=alf,DC=local"'''
...

=== At Mail Server ===
Add to the Roundcube config

<code>vim /usr/share/nginx/html/webmail/config/config.inc.php</code><syntaxhighlight lang="ini">
//Разрешить поиск и автодополнение из массива AD
$rcmail_config['autocomplete_addressbooks'] = array('sql','AD');

$config['ldap_public'] = array(
//Имя массива, в котором выполняется поиск
'AD' =>array (
'name' => 'ALF', //Отображаемое имя в интерфейсе WEBMail Roundcube
'hosts' => array('10.100.199.21'), //IP адрес или ДНС имя AD DC
'sizelimit' => 600,
'port' => 389,
'use_tls' => false,
'user_specific' => false,
'base_dn' => 'DC=alf,DC=local', //Где выполнять поиск
'bind_dn' => 'admin@alf.local', //Авторизация admin@alf.local на контроллере домена
'bind_pass' => 'PassWord#1', //Авторизация admin@alf.local на контроллере домена
'writable' => false,
'ldap_version' => 3,
'search_fields' => array(
'mail',
'cn',
),
'name_field' => 'cn',
'email_field' => 'mail',
'surname_field' => 'sn',
'firstname_field' => 'givenName',
//Можно добавить немного дополнительной информации в адресной книге
'organization_field' => 'company',
'jobtitle_field' => 'title',
'department_field' => 'department',
//Порядок сортировки
'sort' => 'sn',
'scope' => 'sub', //Выполнять поиск по всему каталогу LDAP // search mode: sub|base|list
'filter' => '(&(mail=*)(|(&(objectClass=user)(!(objectClass=computer)))(objectClass=group)))',
//'filter' => '(&(mail=*)(|(&(objectcategory=person)(!(objectClass=computer)))(objectClass=group)))',
'global_search' => true,
'fuzzy_search' => true
),
);

// ----------------------------------
// LDAP
// ----------------------------------
// Type of LDAP cache. Supported values: 'db', 'apc' and 'memcache'.
$config['ldap_cache'] = 'db';
// Lifetime of LDAP cache. Possible units: s, m, h, d, w
</syntaxhighlight>Go to Roundcube web-interface - Contacts

You will see new section "ALF" and contact in there

You can debug if something goes wrong:

<code>cat /usr/share/nginx/html/webmail/logs/errors.log</code>

== Amavis blocks some inbound emails addresses with error "'''Blocked BAD-HEADER-0'''" ==

=== Links ===
https://sourceforge.net/p/amavis/mailman/message/16755074/

https://www.habibza.in/amavisd-whitelist-or-allowed-mail-from-blocked-bad-header/

https://forum.iredmail.org/topic4681-solved-how-to-bypass-amavisd-for-some-senders.html

=== Solution 1 ===
<code>nano /etc/amavisd/amavisd.conf</code>
...
$final_bad_header_destiny = D_PASS;
...
<code>systemctl restart amavisd postfix</code>

=== ??? Solution 2. DOESN'T WORK ??? ===
Create whitelist of emails or even domains, which you want to allow

<code>nano /etc/amavisd/whitelist-badheader</code>
user@somedomain.com
somedomain.com
Edit amavis config

<code>nano /etc/amavisd/amavisd.conf</code>
...
# white list, which will allow inbound emails with BAD-HEADER-0
@bypass_header_checks_maps = (
read_hash("/etc/amavisd/whitelist-badheader"),
);
...
Restart services

<code>systemctl restart amavisd postfix</code>

== Logging users' action (e.g. copying, erasing users' emails), which users perform via any IMAP/POP3 mail clients, via Dovecot MDA logging ==
Enable mail plugins in Dovecot config

<code>vim /etc/dovecot/dovecot.conf</code>
...
mail_plugins = $mail_plugins mail_log notify
...
Enable plugins '''mail_log_events, mail_log_fields'''

<code>vim /etc/dovecot/conf.d/90-plugin.conf</code><syntaxhighlight>
...
plugin {
#setting_name = value

# Events to log. Defined in src/plugins/mail-log/mail-log-plugin.c - also available: flag_change save mailbox_create
# autoexpunge is included in expunge
mail_log_events = delete undelete expunge copy mailbox_delete mailbox_rename

# Also available: Defined in src/plugins/mail-log/mail-log-plugin.c - flags vsize from subject
mail_log_fields = uid box msgid from subject

# Don't log fields that require opening the email (v2.2.28+).
#mail_log_cached_only = yes
}
...
</syntaxhighlight>Restart dovecot

<code>systemctl restart dovecot</code>

Make some actions in the user's mailbox (e.g. move email to the Trash and then delete it completely)

Now you can look in the logs ('''expunge = delete''')

<code>cat '''/var/log/dovecot-info.log''' | grep "'''Info: expunge'''\|'''Info: copy'''"</code>
May 11 10:53:56 imap(admin@don661.ru)<259523><aw5K9CgY6oN/AAAB>: Info: '''copy''' from INBOX: box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 10:54:13 imap(admin@don661.ru)<259531><JGZG9SgYLKZ/AAAB>: Info: '''expunge''': box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 11:08:21 pop3(admin@don661.ru)<259979><Mz/SJykYIdpOhIjD>: Info: '''expunge''': box=INBOX, uid=10, msgid=<65e7897f-b08d-4f13-8655-73d08485b2f2@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

== Block particular senders (emails, domains) - inbox mail (Заблокировать конкретные ящики-отправители или домены - входящую почту) ==
<code>vim /etc/postfix/header_checks</code>
...
/^From:.*baduser@example.com/ REJECT
/^From:.*@spamdomain.com/ REJECT
/^From:.*@scientamicron.com/ REJECT
/^From:.*@ip-223-6.dataclub.info/ REJECT
<code>vim /etc/postfix/main.cf</code>
...
<nowiki>#</nowiki> BLOCK SENDERS LIST
header_checks = regexp:/etc/postfix/header_checks
<code>systemctl restart postfix.service</code>

Send an email from the blocked user (user01@gmail.com)

Check logs

<code>cat /var/log/postfix.log</code>
...
Mar 16 22:11:27 mail postfix/cleanup[3119]: 0D83BE1E24: reject: header From: "user01@gmail.com" <user01@gmail.com> from mail-lj1-f176.google.com[209.85.208.176]; from=<user01@gmail.com> to=<call.center2@lada-tambovavtocity.ru> proto=ESMTP helo=<mail-lj1-f176.google.com>: 5.7.1 message content rejected
...

= Errors =

=== Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database ===
ERROR

<code>cat ./dovecot.log</code>
 ...
 Feb 16 16:18:17 lda(cless@yourdomain.ru)<2571><B0HqGhkt7mMLCgAA1XGFgw>: Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database
 ...
SOLUTION

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
 ...
 mail_location = maildir:/home/mail/%d/%u/
 mail_home = /home/mail/%d/%u
 ...
<code>systemctl restart dovecot</code>

=== Error: imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem ===
ERROR

<code>cat /var/log/dovecot.log</code>
 ...
 Feb 27 00:56:40 imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem
 ...
SOLUTION

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>
...
ssl_dh = </etc/dovecot/dh.pem
...
<code>systemctl restart dovecot</code>

=== Error: '''"Connection error (failed to reach the server) roundcube"''' at Roundcube Webmail web-interface during sending a message, if the size of the message is 10MB+ (a huge sign with pictures, for example) ===
SOLUTION

The update from '''PHP-7.3''' to '''PHP-7.4''' has solved the issue.

=== ERROR: PHP-ImageMagick module creates huge files, which use all disk space in / partition ===
https://github.com/ImageMagick/ImageMagick/issues/395

PHP-ImageMagick module creates huge files, which use all disk space in / partition
/tmp/systemd-private-78b2a42fd129405aa1e735b61bf8fb72-php-fpm.service-Icx1Wg/tmp/magick-*
??? SOLUTION ???

Variant 1:

<code>nano /etc/ImageMagick-7/policy.xml</code>
...
<policymap>
...
<policy domain="resource" name="memory" value="2GiB"/>
<policy domain="resource" name="disk" value="1GiB"/>
<policy domain="cache" name="synchronize" value="True"/>
...
</policymap>
...
<code>systemctl restart nginx php-fpm</code>

Variant 2:

Using the following cron jobs for automatic cleanup. The first 2 lines will clean up old files based on their age.

In one case this was still insufficient, since a user was uploading a lot of very large images within a short time, causing the /tmp folder to fill up very quickly. Therefore the last line removes images which are at a certain filesize treshold. I picked a treshold just below the usual size of the magick-* files (see list in first post).

<code>crontab -e</code>
# Temporary solution to prevent /tmp from being filled with 200+ MB ImageMagick files
0 * * * * find /tmp/ -mmin +119 -type f -name 'magick-*' -delete
0 * * * * find /tmp/ -mmin +119 -type f -name 'php*' -delete
*/5 * * * * find /tmp/ -mmin +5 -type f -name 'magick-*' -size +200M -delete

=== Error in '''Roundcube Webmail during the searching for emails''': '''(Server error)''' ===
SOLUTION

It's necessary to Install Full-text search.

Proceed to the according section of this manual: '''Fts-xapian'''.

Mail Server. AlmaLinux 8. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

2025-03-16T19:28:13Z

Cless:

[[Категория:Mail]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Description =
Opensource Mail Server. Postfix + Dovecot + Postfixadmin + Roundcube Webmail

= Links =
https://www.dmosk.ru/instruktions.php?object=mailserver-centos8

= Installation =

== DNS Server Global ==
<blockquote>Add resource records to the dns server, which is serving your domains (at mikrotik, for example, but it can be any dns-record manager of the registrar, which provides you your new domain)</blockquote><blockquote>'''''185.225.35.200''''' - public external IP of the mail server</blockquote><blockquote>'''''192.168.199.40''''' - local IP of this mail server in you local network</blockquote>

=== Root domain MX-record, which point to the mail domain ===
<code>/ip dns static</code>

<code>add name=yourdomain.ru mx-exchange=mail.yourdomain.ru. mx-preference=10 ttl=1m type=MX</code>

=== Domain for administration - mail02.yourdomain.ru ===
<blockquote>This should be the hostname of your physical mail server

It's not your domain for mail, just for management

If there will be other mail domains on that server, all emails still will be sended with source-host "mail02.yourdomain.ru" as mail sender

This domain needs to be added to ISP's PTR-record as well</blockquote><code>/ip dns static</code>

<code>add name=mail02.yourdomain.ru address=185.225.35.200 ttl=1m</code>

=== Mail domain - mail.yourdomain.ru ===
<blockquote>This is your first mail domain</blockquote><code>/ip dns static</code>

<code>add name=mail.yourdomain.ru address=185.225.35.200 ttl=1m</code>

== DNS Server Local ==
At the local '''DNS server''' (whose IP is registred in the file '''/etc/resolv.conf''' of this mail server) you have to register accordance of '''your domains''' and '''local IP''' in you local network of this server:
...
192.168.199.42 mail.yourdomain.ru
192.168.199.42 mail02.yourdomain.ru
...

== Mail server ==

=== General configuration ===
System update

<code>dnf -y update</code>

<code>reboot</code>

Hostname<blockquote>'''''mail02.yourdomain.ru''''' - mail server hostname</blockquote><blockquote>'''''185.225.35.200''''' - mail server public external IP</blockquote><code>hostnamectl set-hostname mail02.yourdomain.ru</code>

<code>nano /etc/hosts</code>
...
185.225.35.200 mail02.yourdomain.ru
...
Check

<code>host mail02.yourdomain.ru</code>

<code>dig A mail02.yourdomain.ru</code>

Utils, firewall, etc.

<code>dnf install -y chrony wget</code>

<code>timedatectl set-timezone Europe/Moscow</code>

<code>systemctl enable chronyd --now</code>

<code>firewall-cmd --permanent --add-port=25/tcp --add-port=80/tcp --add-port=110/tcp --add-port=143/tcp --add-port=443/tcp --add-port=465/tcp --add-port=587/tcp --add-port=993/tcp --add-port=995/tcp --add-port=22/tcp --add-port=10050/tcp</code>

<code>firewall-cmd --reload</code>

<code>setenforce 0</code>

<code>sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config</code>

=== SSL Certs ===
<blockquote>You have to choose whether you will use self-signed certs or letsencrypt certs or purchased certs. We will use it later for Webmail Interface (nginx), and for Mail Desktop Clients (postfix, dovecot)</blockquote>

==== Purchased certificates ====
''If you're going to purchase SSL certificates from CA:''

* You have to purchase '''a few wildcard certs''' with main domain and wildcard subdomains (e.g., '''example.com''' and '''*.example.com''') for '''each mail domain'''.

or

* You have to purchase '''the only ONE''' multidomain certificate with '''ALL main domain certs and wildcard certificates of your main domain ('''e.g., '''example.com''' and '''*.example.com''' for each domain''')'''.

==== Self-signed ====
Generate certs

<code>mkdir -p /etc/ssl/mail</code>

<code>openssl req -new -x509 -days 1461 -nodes -out /etc/ssl/mail/public.pem -keyout /etc/ssl/mail/private.key -subj "/C=RU/ST=SPb/L=SPb/O=Global Security/OU=IT Department/CN=mail02.yourdomain.ru"</code>

==== Letsencrypt ====
Nginx will create /usr/share/nginx/html directory for letsencrypt challenges

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y certbot</code>

You don't have to create cert for each domain. You can put all certs into one file

<code>certbot certonly --webroot --agree-tos -d mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

=== Nginx ===
Installation

<code>dnf install -y nginx</code>

<code>systemctl enable nginx --now</code>

<code>dnf install -y epel-release</code>

<code>dnf install -y <nowiki>http://rpms.remirepo.net/enterprise/remi-release-8.rpm</nowiki></code>

<code>dnf module install -y php:remi-7.4</code>

<code>dnf install -y php-fpm</code>

<code>mv /etc/nginx/nginx.conf /etc/nginx/nginx.conf.ORIG</code>

Main config

<code>nano /etc/nginx/nginx.conf</code>
# For more information on configuration, see:
# * Official English Documentation: <nowiki>http://nginx.org/en/docs/</nowiki>
# * Official Russian Documentation: <nowiki>http://nginx.org/ru/docs/</nowiki>
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Load modular configuration files from the /etc/nginx/conf.d directory.
# See <nowiki>http://nginx.org/en/docs/ngx_core_module.html#include</nowiki>
# for more information.
include /etc/nginx/conf.d/*.conf;
}
Redirect all HTTP-requests to HTTPS

<code>nano /etc/nginx/conf.d/00-default.conf</code>
#
# Note: This file must be loaded before other virtual host config files,
#
# HTTP
server {
# Listen on ipv4
listen 80;
listen [::]:80;
server_name _;
# Redirect all insecure http:// requests to https://
return 301 <nowiki>https://$host$request_uri</nowiki>;
}

====HTTPS configuring====

=====Case 1. If you are going to use self-signed or letsencrypt multidomain certificate (all domains and subdomains in one cert)=====

Create a general config for HTTPS traffic (in order to use it with Roundcube Webmail and Postfixadmin)

<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2 default_server;
 listen [::]:443 ssl http2 default_server;
 server_name _;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}
 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>

 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }
 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 }

=====Case 2. If you are going to use separate certificates, purchased from official CA or letsencrypt certs (separate cert for every mail domain)=====

Backup /etc/nginx/conf.d/00-default_ssl.conf (or don't create it at all)

<code>mv /etc/nginx/conf.d/00-default_ssl.conf /etc/nginx/conf.d/00-default_ssl.conf.ORIG</code>

Create separate config for each mail domain (in order to use it with Roundcube Webmail), and put in it the corresponding certificate path.

Also you can create separate config for you management domain (in order to use it with Postfixadmin web-interface) in the same way (in our case mail02.yourdomain.ru). Or you can use any of our mail domains in order to get access to Postfixadmin web-interface. You also can use for that purpose letsencrypt cert or purchased cert.

For example, this first config is for domain mail.don661.ru:

<code>nano /etc/nginx/conf.d/10-mail.don661.ru_ssl.conf</code>

<nowiki>#</nowiki> Settings for a TLS enabled server.
 server {
 listen 443 ssl http2;
 listen [::]:443 ssl http2;
 server_name mail.don661.ru;
 root /usr/share/nginx/html;

 # CERTS. SELF-SIGNED OR LETSENCRYPT

 # self-signed
 #ssl_certificate "/etc/pki/nginx/server.crt";
 #ssl_certificate_key "/etc/pki/nginx/private/server.key";

 # letsencrypt
 ssl_certificate "/etc/letsencrypt/live/mail.don661.ru/fullchain.pem";
 ssl_certificate_key "/etc/letsencrypt/live/mail.don661.ru/privkey.pem";

 ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 10m;
 ssl_ciphers PROFILE=SYSTEM;
 ssl_prefer_server_ciphers on;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 #location / {
 #}

 # REDIRECT *.*.ru (ROOT SUBDOMAIN) TO *.*.ru/webmail (ROUNDCUBE).
 # FOR EXAMPLE: <nowiki>https://mail.domain123.ru</nowiki> TO <nowiki>https://mail.domain123.ru/webmail</nowiki>
 location = / {
 return 301 <nowiki>https://$host/webmail</nowiki>;
 }
 error_page 404 /404.html;
 location = /40x.html {
 }

 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 }

 # PHP
 location ~ \.php$ {
 set $root_path /usr/share/nginx/html;
 fastcgi_pass unix:/run/php-fpm/www.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME $root_path$fastcgi_script_name;
 include fastcgi_params;
 fastcgi_param DOCUMENT_ROOT $root_path;
 }
 client_max_body_size 35M;
 client_body_timeout 300s;
 }

=== PHP ===
<code>systemctl enable php-fpm --now</code>

<code>systemctl restart nginx</code>

=== MariaDB ===
<code>dnf install -y mariadb-server</code>

<code>systemctl enable mariadb --now</code>

<code>mysqladmin -u root password</code>

<code>dnf install -y php-mysqli php-mbstring php-imap</code>

<code>systemctl restart php-fpm</code>

=== Postfixadmin ===
Installation

<code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

<code>mkdir /usr/share/nginx/html/postfixadmin/templates_c</code>

<code>chown -R apache:apache /usr/share/nginx/html/postfixadmin</code>

DB creating

<code>mysql -u root -p</code>

<code>> CREATE DATABASE postfix DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;</code>

<code>> GRANT ALL ON postfix.* TO 'postfix'@'localhost' IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Main config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
<?php
# configuring is finished maker
$CONF['configured'] = true;

# default_language
$CONF['default_language'] = 'en';

# database_password
$CONF['database_password'] = 'PassWord#1';

# app checks domain during domains and mailboxes
$CONF['emailcheck_resolve_domain']='NO';

# amount of records (mailboxes, aliases) per page
$CONF['page_size'] = '9999';

?>
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Enter Setup password, copy generated HASH of the Setup password to config

<code>nano /usr/share/nginx/html/postfixadmin/config.local.php</code>
...
$CONF['setup_password'] = '$2y$10$ZafzUSBaHy47kta5KfPAjF0aQBjH5i';
...
Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/setup.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/setup.php</nowiki></code>

Login with Setup password

Create new admin at the footer of the page
 Администратор admin@yourdomain.ru успешно добавлен!
You are done with your basic setup. You can now login to PostfixAdmin using the account you just created.

Go to web

<code><nowiki>http://192.168.199.42/postfixadmin/public/login.php</nowiki></code>

 -OR-

<code><nowiki>https://mail02.yourdomain.ru/postfixadmin/public/login.php</nowiki></code>

=== Postfix ===
<code>dnf install -y postfix postfix-mysql</code>

User to work with mail services

<code>groupadd -g 1024 vmail</code>

<code>useradd -d /home/mail -g 1024 -u 1024 vmail -m</code>

<code>chown vmail:vmail /home/mail</code>

==== Main config ====
<code>nano /etc/postfix/main.cf</code>
# Edit parameters
...
# domain, that will be put in email during mail send if it doesn't point in mail's FROM

myhostname = mail02.yourdomain.ru
...
mydomain = mail02.yourdomain.ru
...
myorigin = mail02.yourdomain.ru
...
# domains for input emails
mydestination = $myhostname, localhost.$mydomain, localhost, localhost.localdomain
...
# where we can get local users
local_recipient_maps = unix:passwd.byname $alias_maps
...
# clients, that will send mail without auth at server. allow local server send emails
mynetworks = 127.0.0.0/8
...
inet_interfaces = all
...
inet_protocols = all
...

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/postfix/main.cf</code>

...

# COMMENT OLD PARAMETERS
#smtpd_tls_cert_file = <...>
#smtpd_tls_key_file = <...>
#smtp_tls_CApath = <...>
#smtp_tls_CAfile = <...>

<nowiki>#</nowiki> Add parameters

<nowiki>#</nowiki> self-signed certs
<nowiki>#</nowiki>smtpd_tls_cert_file = /etc/ssl/mail/public.pem
<nowiki>#</nowiki>smtpd_tls_key_file = /etc/ssl/mail/private.key

<nowiki>###</nowiki> OR

<nowiki>#</nowiki> letsencrypt certs
smtpd_tls_cert_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/cert.pem
smtpd_tls_key_file = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
smtp_tls_CApath = /etc/letsencrypt/live/ALL-MAIL-DOMAINS
smtp_tls_CAfile = /etc/letsencrypt/live/ALL-MAIL-DOMAINS/chain.pem

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

https://serverfault.com/questions/928926/postfix-multi-domains-and-multi-certs-on-one-ip

<code>nano /etc/postfix/main.cf</code>

...
<nowiki>#</nowiki> Comment
<nowiki>#</nowiki> smtpd_tls_cert_file = /etc/pki/dovecot/certs/dovecot.pem
<nowiki>#</nowiki> smtpd_tls_key_file = /etc/pki/dovecot/private/dovecot.pem

<nowiki>#</nowiki> Provide the primary certificate for the server, to be used for outgoing connections
smtpd_tls_chain_files =
/etc/letsencrypt/live/servername.serverdom.com/privkey.pem,
/etc/letsencrypt/live/servername.serverdom.com/fullchain.pem

<nowiki>#</nowiki> Provide the map to be used when SNI support is enabled
tls_server_sni_maps = hash:/etc/postfix/vmail_ssl.map
...

nano /etc/postfix/vmail_ssl.map

<nowiki>#</nowiki> One host per line

mail.yourprimarymailserverdomain.com /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yourprimarymailserverdomain.com/fullchain.pem
mail.yoursecondarymailserverdomain.com /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/privkey.pem /etc/letsencrypt/live/mail.yoursecondarymailserverdomain.com/fullchain.pem

<nowiki>#</nowiki> add more domains with keys and certs as needed

postmap -F hash:/etc/postfix/vmail_ssl.map

systemctl restart postfix
==== Main config again ====
<code>nano /etc/postfix/main.cf</code><blockquote> virtual_mailbox_base — storage path for mailboxes

 virtual_alias_maps — format and path of the aliases for virtual users

 virtual_mailbox_domains — format and path of the virtual domains

 virtual_mailbox_maps — format and path of the mailboxes for virtual users

 virtual_minimum_uid — start UID number for users

 virtual_uid_maps — user id, which write messages

 virtual_gid_maps — group id, which write messages

 virtual_transport — message deliver

 dovecot_destination_recipient_limit — message transfer from Postfix to Dovecot in steps 1 (one) at a time

 smtpd_sasl_auth_enable — sasl auth enable

 smtpd_sasl_exceptions_networks — networks excepted from encryption

 smtpd_sasl_security_options — additional sasl settings

 broken_sasl_auth_clients — option for MS Outlook clients

 smtpd_sasl_type — auth type

 smtpd_sasl_path — Dovecot tmp files. Full or related (default /var/spool/postfix). Full path — /var/spool/postfix/private/auth

 smtp_use_tls — smtp transfer mandatory

 smtpd_use_tls — indicates to clients that TLS support is available

 smtpd_tls_auth_only — use TLS only

 smtpd_helo_required — request to start the session with a greeting</blockquote>
...
<nowiki>#</nowiki> Add parameters at the end of the file

virtual_mailbox_base = /home/mail
virtual_alias_maps = proxy:mysql:/etc/postfix/mysql_virtual_alias_maps.cf
virtual_mailbox_domains = proxy:mysql:/etc/postfix/mysql_virtual_domains_maps.cf
virtual_mailbox_maps = proxy:mysql:/etc/postfix/mysql_virtual_mailbox_maps.cf
'''### If you want to reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files), add the following option):'''
'''# ''smtpd_reject_unlisted_sender = yes''
'''### (You can try to send an email with non-existing user in field FROM, you will see a rejection in output:
'''### ''echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)'''''
virtual_minimum_uid = 1024
virtual_uid_maps = static:1024
virtual_gid_maps = static:1024
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
smtpd_sasl_auth_enable = yes
smtpd_sasl_exceptions_networks = $mynetworks
smtpd_sasl_security_options = noanonymous
broken_sasl_auth_clients = yes
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtp_use_tls = yes
smtpd_use_tls = yes
smtpd_tls_auth_only = yes
smtpd_helo_required = yes
Aliases config

<code>nano /etc/postfix/mysql_virtual_alias_maps.cf</code><blockquote> * '''user, password''' — MySQL DB login and password; '''hosts''' — MySQL hostname; '''dbname''' — Mysql DB name; '''query''' — DB request template</blockquote>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT goto FROM alias WHERE address='%s' AND active = '1'
Virtual domains config

<code>nano /etc/postfix/mysql_virtual_domains_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT domain FROM domain WHERE domain='%u'
Mailboxes config

<code>nano /etc/postfix/mysql_virtual_mailbox_maps.cf</code>
user = postfix
password = PassWord#1
hosts = localhost
dbname = postfix
query = SELECT CONCAT(domain,'/',maildir) FROM mailbox WHERE username='%s' AND active = '1'
<code>nano /etc/postfix/master.cf</code><blockquote>* you need to be sure that there's no any uncomment options for '''submission''', '''smtps''' и '''dovecot''' (by default there's no such uncomment options). In this config we configuring Postfix at ports 25, 465 и 587. In master.cf we configuring auxiliary services for Postfix:

 submission inet n - n - - smtpd:

 submission — service name. In this example '''submission''' is used for MUA at port 587 during message sending.

 inet — type of the service. Possible cases: inet (TCP/IP socket), unix (stream socket), unix-dgram (datagram socket), fifo (named queue channel), pass (stream socket UNIX).

 первый "n" — whether service private or limited. Possible cases: y or n. For inet service type it should be only n.

 первый "-" — whether service works with root rights. Possible cases: y, n or -. "-" means that this options doesn't applied to this service.

 второй "n" — whether the service should work in chroot. Possible cases: y или n.

 второй "-" — in what time the service should be awaked if one is inactive.

 третий "-" — the maximum number of child processes of this service.

 smtpd — running command.

 * the following are the arguments for running the command:

 smtpd_tls_security_level — TLS security level.

 smtpd_sasl_auth_enable — sasl auth enable.

 smtpd_sasl_type — sasl auth type.

 smtpd_sasl_path — temp files path.

 smtpd_sasl_security_options — additional sasl options.

 smtpd_sasl_local_domain — smtp-auth users' domain.

 syslog_name — log prefix of the service in the syslog.

 smtpd_tls_wrappermode — whether running service in custom mode (for TLS support).

 smtpd_client_restrictions — limit clients' connections. allow only authorized clients.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the file
submission inet n - n - - smtpd
-o smtpd_tls_security_level=may
-o smtpd_sasl_auth_enable=yes
-o smtpd_sasl_type=dovecot
-o smtpd_sasl_path=/var/spool/postfix/private/auth
-o smtpd_sasl_security_options=noanonymous
-o smtpd_sasl_local_domain=$myhostname
smtps inet n - n - - smtpd
-o syslog_name=postfix/smtps
-o smtpd_tls_wrappermode=yes
-o smtpd_sasl_auth_enable=yes
-o smtpd_client_restrictions=permit_sasl_authenticated,reject
dovecot unix - n n - - pipe
flags=DRhu user=vmail:vmail argv=/usr/libexec/dovecot/deliver -d ${recipient}

Log configure

<code>postconf maillog_file=/var/log/postfix.log</code>

<code>systemctl enable postfix --now</code>

<code>chmod 777 /var/log/postfix.log</code>

=== Dovecot ===

<code>dnf install -y dovecot dovecot-mysql</code>

Mailboxes path

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
...
mail_location = maildir:/home/mail/%d/%u/
mail_home = /home/mail/%d/%u
...
Listener for the auth

<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote>* auth service and 2 listeners:

'''/var/spool/postfix/private/auth''' for Dovecot auth ('''/var/spool/postfix/private/auth''' is a '''private/auth''' in Postfix),

'''auth-userdb''' - '''dovecot-lda''' auth socket, '''666''' means any user can use it, '''user and group''' - socket owner</blockquote>
...
<nowiki>#</nowiki> Edit parameters

service auth {
unix_listener /var/spool/postfix/private/auth {
 mode = 0666
 user = postfix
 group = postfix
}
unix_listener auth-userdb {
 mode = 0600
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code><blockquote> * otherwise we will see an error: '''net_connect_unix(/var/run/dovecot/stats-writer) failed permission denied''', because vmail user doesn't has specific rights.</blockquote>
...
<nowiki>#</nowiki> Add to the end of the conf

service stats {
 unix_listener stats-reader {
 user = vmail
 group = vmail
 mode = 0660
 }
 unix_listener stats-writer {
 user = vmail
 group = vmail
 mode = 0660
 }
}
Dovecot auth

<code>nano /etc/dovecot/conf.d/10-auth.conf</code><blockquote> * comment common auth and add sql-auth.</blockquote>
...
<nowiki>#</nowiki>!include auth-system.conf.ext
!include auth-sql.conf.ext
...
Encryption configure

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

=====Case 1. If you are going to use the only one certificate for all mail domains (multidomain cert)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> self-signed
<nowiki>#</nowiki>ssl_cert = </etc/ssl/mail/public.pem
<nowiki>#</nowiki>ssl_key = </etc/ssl/mail/private.key

<nowiki>#</nowiki> letsencrypt
ssl_cert = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/fullchain.pem
ssl_key = </etc/letsencrypt/live/ALL-MAIL-DOMAINS/privkey.pem
...

...
ssl_dh = </etc/dovecot/dh.pem
...

=====Case 2. If you are going to use separate cert for each domain (TLS SNI (Server Name Indication) support)=====

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>

...
<nowiki>#</nowiki> Edit parameters

ssl = required

<nowiki>#</nowiki> TLS SNI (Server Name Indication) support (https://doc.dovecot.org/configuration_manual/dovecot_ssl_configuration/)
<nowiki>#</nowiki> Individual cert for each domain
<nowiki>#</nowiki> It is important to note that having multiple SSL certificates per IP will not be compatible with all clients, especially mobile ones. It is a TLS SNI limitation.

<nowiki>#</nowiki> Default cert
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem

local_name mail.ladavoronezh.ru {
ssl_cert = </etc/letsencrypt/live/mail.ladavoronezh.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.ladavoronezh.ru/privkey.pem
}
local_name mail.don661.ru {
ssl_cert = </etc/letsencrypt/live/mail.don661.ru/fullchain.pem
ssl_key = </etc/letsencrypt/live/mail.don661.ru/privkey.pem
}

...
ssl_dh = </etc/dovecot/dh.pem
...

Dirs autocreation during the first login a mailbox

<code>nano /etc/dovecot/conf.d/15-lda.conf</code>
...
<nowiki>#</nowiki> Edit parameters

lda_mailbox_autocreate = yes
...
Connect to DB configure

<code>nano /etc/dovecot/conf.d/auth-sql.conf.ext</code><blockquote> * config for getting users' name and password. It's a default config.</blockquote>
...
<nowiki>#</nowiki> Edit parameters

passdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
userdb {
...
args = /etc/dovecot/dovecot-sql.conf.ext
}
...
Connect to mysql configure<blockquote> * getting data from mysql (mariadb).

'''password_query''' — request for getting password from the '''mailbox''' table;

'''user_query''' — request for getting user's data (home dir, id 1024 (it's a '''vmail''' user id).</blockquote><code>nano /etc/dovecot/dovecot-sql.conf.ext</code>
driver = mysql
connect = host=localhost dbname=postfix user=postfix password=PassWord#1
default_pass_scheme = MD5-CRYPT
password_query = SELECT password FROM mailbox WHERE username = '%u'
user_query = SELECT maildir, 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid FROM mailbox WHERE username = '%u'
Interface for dovecot listening

<code>nano /etc/dovecot/dovecot.conf</code>
...
listen = *
...
log_path = /var/log/dovecot.log
info_log_path = /var/log/dovecot-info.log
debug_log_path = /var/log/dovecot-debug.log

# debug log (DON'T ENABLE IT BY DEFAULT, ONLY IN DEBUG CASES)
###mail_debug = yes
...
<code>systemctl enable dovecot --now</code>

<code>chmod 777 /var/log/dovecot*</code>

=== Postfixadmin. First domain and mailbox creating ===
Go to the Postfixadmin Web

<code><nowiki>http://mail02.yourdomain.ru/postfixadmin/public</nowiki></code>

* Create domain yourdomain.ru
* Create Mailbox cless@yourdomain.ru

=== Roundcube ===
<blockquote>Roundcube Webmail config defaults.inc.php default parameters:

https://github.com/roundcube/roundcubemail/blob/master/config/defaults.inc.php</blockquote><code>wget <nowiki>https://github.com/roundcube/roundcubemail/releases/download/1.6.1/roundcubemail-1.6.1-complete.tar.gz</nowiki></code>

<code>mkdir /usr/share/nginx/html/webmail</code>

<code>tar -C /usr/share/nginx/html/webmail -xvf roundcubemail-*.tar.gz --strip-components 1</code>

<code>cp /usr/share/nginx/html/webmail/config/config.inc.php.sample /usr/share/nginx/html/webmail/config/config.inc.php</code>

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
<nowiki>#</nowiki> Edit

$config['db_dsnw'] = 'mysql://roundcube:PassWord#1@localhost/roundcubemail';

<nowiki>#</nowiki> Add

$config['enable_installer'] = true;
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
// Comment

//$config['smtp_host'] = 'localhost:587';
//$config['smtp_user'] = '%u';
//$config['smtp_pass'] = <nowiki>''</nowiki>;
...

// Add

$config['smtp_host'] = 'tls://localhost';
$config['smtp_conn_options'] = array(
'ssl' => array(
'verify_peer' => false,
'verify_peer_name' => false,
),
);
...
# web session timeout (in minutes)
$config['session_lifetime'] = 1440;
...
// If true all folders will be checked during AUTO-REFRESH for recent messages (Otherwise only standard folders will be checked, like Inbox or SPAM)
$config['check_all_folders'] = true;

// default roundcube webmail interface language
$config['language'] = 'ru_RU';
...

// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote>'''$config['create_default_folders'] = true''' (creating dirs by default (if there's lack of ones)):

'''Drafts''' — Messages drafts.

'''Junk''' — SPAM.

'''Sent''' — Sent messages.

'''Trash''' — Trash bin for messages.

* It's necessary to avoid errors, for example during receiving or deleting messages.</blockquote><syntaxhighlight lang="ini">
...
# Add at the end of the file

$config['drafts_mbox'] = 'Drafts';
$config['junk_mbox'] = 'Junk';
$config['sent_mbox'] = 'Sent';
$config['trash_mbox'] = 'Trash';
$config['create_default_folders'] = true;
</syntaxhighlight><code>chown -R apache:apache /usr/share/nginx/html/webmail</code>

Create roundcubemail DB

<code>mysql -uroot -p</code>

<code>> CREATE DATABASE roundcubemail DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;</code>

<code>> GRANT ALL PRIVILEGES ON roundcubemail.* TO roundcube@localhost IDENTIFIED BY 'PassWord#1';</code>

<code>> \q</code>

Apply template

<code>mysql -uroot -p roundcubemail < /usr/share/nginx/html/webmail/SQL/mysql.initial.sql</code>

<code>dnf install php php-common php-pear php-mcrypt php-intl php-ldap php-pear-Net-SMTP php-zip php-imagick php-gd php-fpm php php-pdo php-mysqli php-mbstring php-imap</code>

PHP configure<blockquote>* necessary to create message size limit</blockquote><code>nano /etc/php.ini</code>
...
# Edit

...
date.timezone = "Europe/Moscow"
...
post_max_size = 30M
...
upload_max_filesize = 30M
...
<code>systemctl restart php-fpm</code>

<code>nano /etc/nginx/nginx.conf</code>
...
# Edit

...
http {
 ...
 client_max_body_size 30M;
 ...
}
...
<code>systemctl restart nginx</code>

Go to web

<code><nowiki>http://mail02.yourdomain.ru/webmail/installer/</nowiki></code>

After web installation - disable installer

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['enable_installer'] = false;
...
Remove installer

<code>\rm -R /usr/share/nginx/html/webmail/installer</code>

=== Quota Dovecot + PostfixAdmin ===
https://www.dmosk.ru/miniinstruktions.php?mini=quota-dovecot-postfixadmin

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><blockquote> * plugin to create quotas.</blockquote>
...
<nowiki>#</nowiki> Edit

mail_plugins = $mail_plugins quota
...
<code>nano /etc/dovecot/conf.d/20-imap.conf</code><blockquote> * uncomment '''mail_plugins'''.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol imap {
mail_plugins = $mail_plugins imap_quota
}
...
<code>nano /etc/dovecot/conf.d/10-master.conf</code>
...
<nowiki>#</nowiki> Edit

service dict {
 unix_listener dict {
 mode = 0660
 user = vmail
 group = vmail
}
}
...
<code>nano /etc/dovecot/conf.d/90-quota.conf</code><blockquote> * uncomment '''quota = dict:User quota::proxy::quota'''.</blockquote>
...
<nowiki>#</nowiki> Add

plugin {
quota = dict:User quota::proxy::quota
}
...
<code>nano /etc/dovecot/dovecot.conf</code>
...
<nowiki>#</nowiki> Edit

dict {
quota = mysql:/etc/dovecot/dovecot-dict-sql.conf.ext
}
...
Create config file

<code>nano /etc/dovecot/dovecot-dict-sql.conf.ext</code><blockquote>Mysql connection

'''host''' — mysql server host;

'''dbname''' — db containing postfix users;

'''user''' — db user;

'''password''' — db password.</blockquote>
connect = '''host'''=localhost '''dbname'''=postfix '''user'''=postfix '''password'''=PassWord#1
map {
pattern = priv/quota/storage
table = quota2
username_field = username
value_field = bytes
}
map {
pattern = priv/quota/messages
table = quota2
username_field = username
value_field = messages
}
<code>nano /etc/dovecot/dovecot-sql.conf.ext</code><blockquote> *if you have several '''user_query''' in your config, create query for the last one.</blockquote>
...
<nowiki>#</nowiki> Find "user_query" and put into this line: '''CONCAT('*:bytes=', quota) AS quota_rule'''
user_query = SELECT CONCAT('/home/mail/',LCASE(`domain`),'/',LCASE(`maildir`)), 1024 AS uid, 1024 AS gid, '''''CONCAT('*:bytes=', quota) AS quota_rule''''' FROM mailbox WHERE username = '%u'
...
Check dovecot config

<code>doveconf</code>

Restart

<code>systemctl restart dovecot</code>

Logout-Login into Roundcube webmail.

At the foot of the page there'll be a quota appear.

=== Clamav + Amavisd ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavisd-new clamd perl-Digest-SHA1 perl-IO-stringy</code>

Rsyslog is necessary to write SPAM and VIRUS log to /var/log/maillog

<code>dnf install -y rsyslog</code>

<code>systemctl enable --now rsyslog.service</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
<nowiki>#</nowiki> Edit

$mydomain = 'yourdomain.ru';
...

# Edit

$log_level = 0; # verbosity 0..5, -d
$log_recip_templ = undef; # disable by-recipient level-0 log entries
$do_syslog = 1; # log via syslogd (preferred)
$syslog_facility = 'mail'; # Syslog facility as a string
# e.g.: mail, daemon, user, local0, ... local7
...

<nowiki>#</nowiki> Edit

$myhostname = 'mail02.yourdomain.ru';

...
<nowiki>#</nowiki> Add before line "'''''1; # insure a defined return value'''''"

$allowed_header_tests{'multiple'} = 0;
$allowed_header_tests{'missing'} = 0;
...
<code>nano /etc/clamd.d/scan.conf</code>
...
<nowiki>#</nowiki> Uncomment
TCPSocket 3310
...
<code>systemctl enable clamd@scan --now</code>

<code>systemctl enable amavisd --now</code>

Postfix settings

<code>nano /etc/postfix/main.cf</code><blockquote>'''content_filter''' - point to application, which ьуфте to scan messages;

'''receive_override_options''' - allow you to see original email addresses with viruses.</blockquote>
...
<nowiki>#</nowiki> Add

content_filter = scan:[127.0.0.1]:10024
receive_override_options = no_address_mappings
<code>nano /etc/postfix/master.cf</code><blockquote> * итак, данной настройкой мы создадим два вспомогательных сервиса scan и 127.0.0.1:10025 (сервис без имени, он просто будет слушать на порту 10025 — это порт по умолчанию, на который отправляет сообщение amavis после выполнения проверки). Также, мы используем следующие опции:

 smtp_send_xforward_command — передавать ли в сканирование сообщение с исходными именем клиента и IP-адресом. В данном примере, да.

 smtp_enforce_tls — требовать ли TLS.

 content_filter — приложение для сканирования. В данном примере сканирование отключено.

 receive_override_options переопределяет опции в main.cf. В нашем случае, no_unknown_recipient_checks отключает попытки выяснить, является ли получатель неизвестным; no_header_body_checks отключает проверки заголовков и тала писем.

 пустые значения для smtpd_helo_restrictions, smtpd_client_restrictions, smtpd_sender_restrictions отключают ограничения для данных опций.

 smtpd_recipient_restrictions — контролирует ответ Postfix на SMTP-команду RCPT TO. Здесь мы разрешаем только соединения от узлов, перечисленных в mynetworks.

 mynetworks_style=host указывает postfix, что он должен пересылать почту только с локального компьютера.

 smtpd_authorized_xforward_hosts укажет, какие удаленные клиенты могут использовать XFORWARD. В данном случае локальный компьютер.</blockquote>
...
<nowiki>#</nowiki> Add at the end of the file

scan unix - - n - 16 smtp
-o smtp_send_xforward_command=yes
-o smtp_enforce_tls=no
127.0.0.1:10025 inet n - n - 16 smtpd
-o content_filter=
-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
# '''OR, if you want to restrict sending emails by users with inexistened local domains, etc.:'''
# '''(You can see logs of PASSED o DROPPED emails in ''/var/log/maillog'' after sending them''')
# '''-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject'''
-o mynetworks_style=host
-o smtpd_authorized_xforward_hosts=127.0.0.0/8
<code>systemctl restart postfix</code>

Clamd update

<code>dnf install -y clamav-update</code>

<code>nano /etc/freshclam.conf</code>
...
<nowiki>#</nowiki> Choose one of the update mirrors

<nowiki>#</nowiki>DatabaseMirror <nowiki>https://clamav.jinr.ru</nowiki>
<nowiki>#</nowiki>DatabaseMirror <nowiki>https://packages.microsoft.com/clamav/</nowiki>
DatabaseMirror pivotal-clamav-mirror.s3.amazonaws.com
...
Then remove the freshclam.dat file and restart the service

<code>rm -f /var/lib/clamav/freshclam.dat</code>

<code>systemctl restart clamav-freshclam</code>

Update

<code>freshclam</code>

Antispam DB update

<code>sa-update --nogpg --verbose</code>

Cron

<code>crontab -e</code>
...
15 3 * * * /bin/freshclam
30 3 * * * /bin/sa-update
Antivirus checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
The email will never come, and you will see the following in the logs:

<code>tail /var/log/postfix.log</code>

 -OR-

<code>tail /var/log/maillog</code>
 ...
 ... amavis[17688]: (17688-04) Blocked INFECTED (Eicar-Signature) {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... relay=127.0.0.1[127.0.0.1]:10024, delay=0.25, delays=0.19/0/0/0.06, dsn=2.7.0, status=sent (250 2.7.0 Ok, discarded, id=17688-04 - INFECTED: Eicar-Signature)
 ...

=== Redirect SPAM to user's SPAM-directory using Amavis service ===
<code>dnf install -y amavis dovecot-pigeonhole dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> * закомментированная строка указывала, что файл с настройками находится в домашней директории каждого пользователя. Мы же будем делать централизованный конфиг в файле /etc/dovecot/sieve/default.sieve.</blockquote>
...
<nowiki>#</nowiki> Comment

<nowiki>#</nowiki>sieve = file:~/sieve;active=~/.dovecot.sieve

<nowiki>#</nowiki> Add

sieve = /etc/dovecot/sieve/default.sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавили плагин sieve. Также необходимо со строки снять комментарий, если он был.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lda {
...
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-lmtp.conf</code><blockquote> * также мы добавили плагин sieve + необходимо со строки снять комментарий, если он есть.</blockquote>
...
<nowiki>#</nowiki> Edit

protocol lmtp {
...
mail_plugins = $mail_plugins sieve
}
...
<code>mkdir /etc/dovecot/sieve</code>

<code>nano /etc/dovecot/sieve/default.sieve</code><blockquote> * в данном примере мы ищем в заголовках X-Spam-Flag и отправляем такие письма в папку Junk.</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
<code>chown -R vmail:vmail /etc/dovecot/sieve</code>

<code>systemctl restart dovecot</code>

<code>nano /etc/amavisd/amavisd.conf</code><blockquote> * по умолчанию стоит значение D_DISCARD, что означает, что сообщения будут отклонятся. Нам же нужно D_PASS — пропускать.</blockquote>
...
<nowiki>#</nowiki> Edit

$final_spam_destiny = D_PASS;

...
<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

SPAM filter checking

At your mail server (in Roundcube webmail) send an email to youself with following content:
 XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
The email will be appear inthe SPAM-directory, any you will see in the logs:
 ...
 ... amavis[17689]: (17689-04) Blocked SPAM {DiscardedOutbound,Quarantined}, MYNETS LOCAL ...
 ... status=sent (250 2.7.0 Ok, discarded, id=17689-04 - spam)
 ...

=== Logrotate of mail logs ===
<code>nano /etc/logrotate.conf</code><syntaxhighlight lang="bash">
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# system-specific logs may be also be configured here.
</syntaxhighlight><code>nano /etc/logrotate.d/mail</code><syntaxhighlight lang="bash">
/var/log/dovecot-debug.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot-info.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/dovecot.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/postfix.log {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}

/var/log/maillog {
rotate 7
missingok
notifempty
size 1M
weekly
create 0777 root root
postrotate
service rsyslog restart > /dev/null
endscript
}
</syntaxhighlight>Check a cron daily task. It should already exist

<code>nano /etc/cron.daily/logrotate</code><syntaxhighlight lang="bash">
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE
</syntaxhighlight>Wait for a daily task to complete

Or you can run the logrotate manually:

<code>logrotate -f /etc/logrotate.conf</code>

= Improving email deliverability (VERY IMPORTANT!) =
https://www.linuxbabe.com/mail-server/centos-7-iredmail-email-server

To prevent your emails from being flagged as spam, you should set PTR, SPF, DKIM and DMARC records.

=== PTR записи на DNS сервере ===

==== Описание ====
Запись PTR прописывается _НЕ_ в ресурсных записях днс-сервера, к которому привязан ваш почтовый домен, это делает именно регистратор ip-адреса (провайдер или хостер, предоставляющий внешний ip-адрес)! Если провайдер ростелеком, пишем на электронку support@tmb.ru с просьбой зарегистрировать ptr-запись, штатная техподдержка отказывается предоставлять такую услугу

Если у вас есть свой почтовый сервер, то необходимо, чтобы ваш провайдер (а точнее тот, кто выдал вам статические ip-адреса. если ваш внешний IP предоставил вам хостер, на котором у вас крутится VPS/VDS, то обращаемся в техподдержку хостера) зарегистрировал на своем DNS-сервере PTR записи для вашего почтового сервера (MX-записи). Иначе, подавляющая часть почтовых серверов интернета откажется принимать почту от вашего почтового сервера.

Так же, многие почтовые сервера отвергают письма, если при проверке адреса отправителя в строке им выдается "dynamicip" или "dsl" или подобные слова означающие, что ваш адрес не статический или не совпадает с именем вашего домена.

Если в ответе сервера на ваше отправленное письмо вы видите что-то типа:

mxs.mail.ru: 550 Sorry, we do not accept mail from hosts with dynamic IP or generic DNS PTR-records. Please get a custom reverse DNS name from your ISP for your host 215.54.54.54 or contact abuse@corp.mail.ru in case of error

это значит, что вам необходимо корректно зарегистрировать PTR запись на DNS-сервере для вашего доменного имени.

Для этого необходимо послать запрос тому, кто выдал вам статические ip-адреса (обычно, это ваш провайдер) с просьбой зарегистрировать PTR запись для вашего домена.

PTR запись должна быть одна для одного IP (не нужно создавать две записи для основного домена (mydomain.ru) и почтового домена (mail.mydomain.ru) если оба они привязаны А-записью к одному IP)

PTR запись должна быть создана именно для MX записи. То есть, если адреса домена и почтового обменника не совпадают, то PTR создаем именно для MX записи.

Например, если домен mydomain.ru находится по адресу 22.11.33.44, а почтовый обменник (MX запись) создана для хоста mail.mydomain.ru, расположенного по адресу 11.22.33.44, то и PTR запись нужно создавать для mail.mydomain.ru:
44.33.22.11.in-addr.arpa mail.mydomain.ru
Естественно, можно "до кучи" создать обратную запись и для самого домена mydomain.ru. Она так же не помешает:
44.33.11.22.in-addr.arpa mydomain.ru

==== Резюмируя, необходимо сделать следующее: ====
1. Необходимо прописать ресурсную запись MX (MX 10 mail.yourdomain.ru.) для основного домена "yourdomain.ru", указав что почтовым доменом MX-сервера является "mail.yourdomain.ru"

Это делаем мы.

Например, IP нашего yourdomain.ru - 1.2.3.4
A yourdomain.ru 1.2.3.4
MX 10 mail.yourdomain.ru.
2. Создать PTR-запись на DNS сервере регистратора

IP домена "mail.yourdomain.ru" необязательно должен совпадать с IP "yourdomain.ru", но PTR-запись должна быть создана регистратором IP-адреса (5.6.7.8) домена "mail.yourdomain.ru". Если у нас несколько почтовых доменов на одном почтовом сервере и все они выходят через единственный внешний IP, то PTR соответствие необходимо прописать для домена, которым именуется (hostname) сам физический почтовый сервер.

Например, сама физическая машина именуется mail.yourdomain.ru

(

Также для этого необходимо прописать "mail.yourdomain.ru" в следующих местах:

<code>hostnamectl set-hostname mail.yourdomain.ru</code>

Cоответствие внешнего IP, для которого создаем PTR-запись, и домена mail.yourdomain.ru прописываем в /etc/hosts)
...
45.67.59.224 mail.yourdomain.ru
Изменить настройки postfix

<code>nano /etc/postfix/main.cf</code>
...
myhostname = mail.yourdomain.ru
myorigin = mail.yourdomain.ru
mydomain = mail.yourdomain.ru
...
)

mail.yourdomain.ru не обязан вообще быть почтовым доменом, но он будет в поле "helo: mail.yourdomain.ru" при отправке письма с любого другого почтового домена, работающего на нашем почтовом сервере. поэтому создаем ptr-запись именно для mail.yourdomain.ru - "8.7.6.5.in-addr.arpa mail.yourdomain.ru"

Это делает регистратор внешнего IP

Например, IP нашего mail.yourdomain.ru 5.6.7.8
8.7.6.5.in-addr.arpa mail.yourdomain.ru

==== Проверки ====
1.

<code>host 5.6.7.8</code>
...
8.7.6.5.in-addr.arpa domain name pointer mail.yourdomain.ru.
...
Готово!

2.

Например, для домена mydomain.ru с адресом 215.54.54.54, необходимо зарегистрировать следующую запись:
54.54.54.215.in-addr.arpa name=mydomain.ru
А если почтовый сервер сидит на отдельном адресе, например, mail.mydomain.ru имеет адрес 215.54.54.55, то необходимо зарегистрировать еще одну PTR запись:
55.54.54.215.in-addr.arpa name=mail.mydomain.ru
Проверить наличие PTR записи на сервере DNS можно с помощью интерфейса команды NSLOOKUP:

<code>nslookup</code>

Теперь подключаемся к DNS-серверу провайдера:

<code>server 215.54.54.1</code>

Устанавливаем тип ресурсной записи:

<code>set type=PTR</code>

Делаем запрос на интересующий нас адрес:

<code>215.54.54.54</code>

В ответ мы должны получить имя своего домена mydomain.ru

=== SPF ===
SPF (Sender Policy Framework) record specifies which hosts or IP addresses are allowed to send emails on behalf of a domain. You should allow only your own email server or your ISP’s server to send emails for your domain. In your DNS management interface, create a new TXT record like below.

Add TXT-record to your main domain (for example "yourdomain.ru", _NOT_ subdomain "mail.yourdomain.ru"!)
A yourdomain.ru 45.67.59.224
MX 10 mail.yourdomain.ru.
TXT v=spf1 mx ~all
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig yourdomain.ru txt</code>
...
;; ANSWER SECTION:
yourdomain.ru. 10 IN TXT "v=spf1 mx ~all"
...

=== DKIM ===
<code>yum install -y dnf-plugins-core</code>

<code>yum config-manager --set-enabled powertools</code>

<code>dnf install -y amavis</code>

==== Add first mail domain ====
<blockquote>You have to add second and following as well as the first</blockquote><code>mkdir -p /var/lib/dkim</code>

Generate PEM for our domain<blockquote><nowiki>*</nowiki> domain.ru - the first domain, for wich we generated dkim</blockquote><code>amavisd genrsa /var/lib/dkim/dmosk.ru.pem 1024</code>

<code>chown amavis:amavis /var/lib/dkim/*.pem</code>

<code>chmod 0400 /var/lib/dkim/*.pem</code>

<code>nano /etc/amavisd/amavisd.conf</code>
...
# Comment

<nowiki>#</nowiki>$inet_socket_port = 10024;

# Add

$inet_socket_port = [10024,10026];

...

<nowiki>#</nowiki> Find this string (its value must be "1")
$enable_dkim_verification = 1; # enable DKIM signatures verification

<nowiki>#</nowiki> After the string above add following

dkim_key('yourdomain.ru', "dkim", "/var/lib/dkim/yourdomain.ru.pem");
@dkim_signature_options_bysender_maps = ( {
"yourdomain.ru" => { d => "yourdomain.ru", a => 'rsa-sha256', ttl => 10*24*3600 },
});

...

<nowiki>#</nowiki> FIND THIS STRING. ITS VALUE MUST BE "1"
$enable_dkim_signing = 1; # load DKIM signing code, keys defined by dkim_key

...

<nowiki>#</nowiki> Add """, "yourdomain.ru" """ IN THIS STRING

@local_domains_maps = ( [".$mydomain"], "yourdomain.ru" );
...
<code>systemctl restart amavisd</code>

Generate record for DNS server

<code>amavisd -c /etc/amavisd/amavisd.conf showkeys</code>
...
dkim._domainkey.yourdomain.ru. 3600 TXT (
"v=DKIM1; p="
"MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz"
"3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUg"
"jOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0J"
"xfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9O"
"YO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61N"
"rJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVh"
"kwIDAQAB")
...
Copy it from ""v=DKIM1..." to "...kwIDAQAB"

Remove all "" and line breaks

You'll get something like this (in one line):
v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Create subdomain "dkim._domainkey" for your main domain "yourdomain.ru"

Create TXT-record in "dkim._domainkey" subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
TXT v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjzzr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB
Wait 5-10 minutes!

Test at mail server

<code>amavisd -c /etc/amavisd/amavisd.conf testkeys</code>
...
TESTING#1 yourdomain.ru: dkim._domainkey.yourdomain.ru => pass
...
Test on arbitrary server in internet:

<code>dig dkim._domainkey.yourdomain.ru txt</code>
...
;; ANSWER SECTION:
dkim._domainkey.yourdomain.ru. 10 IN TXT "v=DKIM1; p= MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAu6L+HQnFMEzYH+aETHbz3WYbOBXLoF/4+NHiSgXXyErE7IYkvwu4Nu02WPHczNAUCue0qRWMB5cr5b2NNoUgjOsjv/bHFxvrZK4/mW7Yy/8MDpbkUN/dVdeJmw8W6962woxe+YXZd5HVuBg3Xn0JxfqpsLBzzEGU0f+EZ/VA7yAKsuikKKWbT5Y46mj3JB548Hg2qjz" "zr9J2GjSQ6I9OYO3RcteaRTrtJpwckKv1dLT2GUK2jGlKDkSVlAuiPmVgfarZvSqvhP0qWTXSE61NrJHRa0Spo54U2qJBIflQ1oymY3dzHzJ7A08Vx3NJByzLbmRLQM1yuQqfrUbfPEVhkwIDAQAB"
...

=== DMARC ===
DMARC stands for Domain-based Message Authentication, Reporting and Conformance. DMARC can help receiving email servers to identify legitimate emails and prevent your domain name from being used by email spoofing.

To create a DMARC record, go to your DNS manager and add a TXT record. In the name field, enter _dmarc. In the value field, enter the following. (You should create the dmarc@your-domain.com email address.)

Create subdomain "_dmarc" for your main domain "yourdomain.ru"

Create TXT-record in "_dmarc" (_dmarc.yourdomain.ru) subdomain (_NOT_ for main domain "yourdomain.ru" or subdomain "mail.yourdomain.ru":
A 45.67.59.224
TXT v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>
'''''^^^ THIS RECORD'''''
Wait 5-10 minutes!

Test it

<code>dig _dmarc.yourdomain.ru txt</code>
...
�;; ANSWER SECTION:
_dmarc.yourdomain.ru. 10 IN TXT "v=DMARC1; p=none; pct=100; rua=<nowiki>mailto:dmarc@yourdomain.ru</nowiki>"
...
General deliverability test

Go to

<code><nowiki>https://www.mail-tester.com/</nowiki></code>

Send email from your mail account of your new mail server to randomly generated service's mail address (test-avlwah6p3@srv1.mail-tester.com, for example)

Then click "Затем проверьте оценку"

Wait for tests passed

If your score higher than 8, congratulations!

= Add additional mail domain =

=== DNS ===
Root domain and MX-record, which point to the for mail domain

<code>/ip dns static</code>

<code>add name=cless.pro mx-exchange=mail.cless.pro mx-preference=10 ttl=1m type=MX</code>

Mail domain

<code>/ip dns static</code>

<code>add name=mail.cless.pro address=185.225.35.200 ttl=1m</code>

=== SSL certs ===

==== Lentencrypt ====
<code>certbot certonly --webroot --agree-tos -d mail.cless.pro,mail02.yourdomain.ru,mail.yourdomain.ru --cert-name ALL-MAIL-DOMAINS --email cless@yourdomain.ru -w /usr/share/nginx/html</code>

<code>systemctl restart nginx</code>

==== Purchased certs ====
Add additional cert configs for a new domain for '''Nginx''', '''Postfix''' and '''Dovecot'''.

=== Improving email deliverability ===
Check the '''Improving email deliverability''' section of this manual and do corresponding actions.

=== Postfixadmin web panel ===

* Create domain cless.pro
* Create mailbox cless@cless.pro

=== Roundcube webmail ===
Login to Roundcube webmail

Send/Receive email

= Autodiscover Mail Server settings for Mail Clients =

== Links ==
https://www.dmosk.ru/miniinstruktions.php?mini=autodiscover-mail

== Description ==
It provides mail clients Mail Server connection info during configuring Mail Client mailbox

=== Thinderbird ===
Механизм автонастройки от Mozilla похож на Microsoft. Необходимые настройки должны отдаваться веб-сервером в виде XML-документа. Однако запрос не https, а http; и не POST, а GET. Также обращение идет сначала в формате '''server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain''', и если ответ не будет получен — '''autoconfig.server.domain/mail/config-v1.1.xml?emailaddress=user@server.domain'''.

==== DNS Server ====
<blockquote>You have to create following config for each mail domain at the server</blockquote>Create А-record (or CNAME) for root domain (example.com):<blockquote>''* где '''111.111.111.111''' — IP-address of web server, with XML.''</blockquote>
autoconfig IN A 111.111.111.111

==== Nginx config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>nano /etc/nginx/conf.d/910-autodiscover_example.ru.conf</code><syntaxhighlight lang="nginx">
# HTTP
server {
listen 80;
server_name autoconfig.example.com;
root /usr/share/nginx/html/autodiscover/example.com;
}
</syntaxhighlight>

==== Autodiscover config ====
<blockquote>You have to create following config for each mail domain at the server</blockquote><code>mkdir -p /usr/share/nginx/html/autodiscover/example.ru/mail</code>

<code>nano /usr/share/nginx/html/autodiscover/example.ru/mail/config-v1.1.xml</code><syntaxhighlight lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<clientConfig version="1.1">
<emailProvider id="example.com">
<domain>example.com</domain>
<displayName>Mail example.com</displayName>
<displayShortName>example.com</displayShortName>
<incomingServer type="imap">
<hostname>mail.example.com</hostname>
<port>143</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<incomingServer type="pop">
<hostname>pop.example.com</hostname>
<port>995</port>
<socketType>SSL</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</incomingServer>
<outgoingServer type="smtp">
<hostname>mail.example.com</hostname>
<port>587</port>
<socketType>STARTTLS</socketType>
<authentication>password-cleartext</authentication>
<username>%EMAILADDRESS%</username>
</outgoingServer>
</emailProvider>
</clientConfig>
</syntaxhighlight><code>systemctl restart nginx</code>

=== Simpliest method according to the RFC standard (I'm not sure that it works) ===
<blockquote>It works in unstable way. The mail client usually managed to get mail server info, but not everything. Mail client gets '''hosts''' (for example, imap.yourdomain.ru), but not the '''ports'''.</blockquote>

==== DNS Server ====
You need to add ''subdomains'' for your ''main domain'' '''yourdomain.ru''' and create '''SRV''' records

Templates
_<service name>._<protocol> <priority> <weight> <port> <host>
Examples
_smtp._tcp IN SRV 10 0 25 smtp.yourdomain.ru.
_pop3._tcp IN SRV 20 0 110 pop.yourdomain.ru.
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_smtps._tcp IN SRV 0 0 465 smtp.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.
_imaps._tcp IN SRV 0 0 993 imap.yourdomain.ru.
_pop3s._tcp IN SRV 10 0 995 pop.yourdomain.ru.
Example

To give your mail clients info about '''imap''' and '''smtp''' settings of your mail server:
_imap._tcp IN SRV 10 0 143 imap.yourdomain.ru.
_submission._tcp IN SRV 0 0 587 smtp.yourdomain.ru.

= Full-text search =

== Fts-xapian ('''It works good!''') ==

=== Links ===
[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://github.com/grosjo/fts-xapian]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/#community-developed-plugins]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/settings/plugin/fts-plugin/]

[https://github.com/grosjo/fts-xapianhttps://doc.dovecot.org/configuration_manual/fts/#community-developed-pluginshttps://doc.dovecot.org/settings/plugin/fts-plugin/https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin https://doc.dovecot.org/configuration_manual/fts/dovecot/?highlight=trash%20plugin]

=== Description ===
Dovecot has some problems with email searching if there's a huge amount of emails in the mailbox. It can perodically throw an error "Server error" during the search.

To avoid such problems we can use Full-text search.

=== Build plugin ===

==== Variant 1. Build plugin at the same machine ====

===== Mail server =====
<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

==== Variant 2. Build plugin at the another machine with the same arch and apps versions, and copy compiled plugin to the mail server ====

===== Another machine for building =====
Build plugin at the another machine

<code>dnf install -y autoconf automake make</code>

<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

<code>dnf install -y dovecot-devel git</code>

<code>dnf group install -y "Development Tools"</code>

<code>git clone <nowiki>https://github.com/grosjo/fts-xapian</nowiki></code>

<code>cd fts-xapian</code>

<code>autoupdate</code>

<code>autoreconf -vi</code>

<code>./configure --with-dovecot=/usr/lib64/dovecot/</code>

<code>make</code>

<code>make install</code>

Copy plugin to the mail server

<code>rsync -avPh /usr/lib64/dovecot/lib21_fts_xapian_plugin.* root@<mail-server-IP>:/usr/lib64/dovecot/</code>

===== Mail server =====
<code>dnf install -y sqlite-devel libicu-devel xapian-core-devel</code>

''Now proceed to the "'''Configure plugin at the mail server'''"''

=== Configure plugin at the mail server ===
Check the installed plugin

<code>ls -lh /usr/lib64/dovecot/lib21_fts_xapian_plugin.*</code>
 ...
 -rw-r--r-- 1 root root 2.9M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.a
 -rwxr-xr-x 1 root root 1.1K Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.la
 -rwxr-xr-x 1 root root 1.2M Nov 5 19:31 /usr/lib64/dovecot/lib21_fts_xapian_plugin.so
 ...
Add plugin to the common conf

<code>nano /etc/dovecot/conf.d/10-mail.conf</code><syntaxhighlight lang="ini">
...
mail_plugins = $mail_plugins <...> fts fts_xapian
...
</syntaxhighlight>Add plugin config

<code>nano /etc/dovecot/conf.d/95-fts.conf</code><blockquote>partial=2 - the minimum length of the search string</blockquote><syntaxhighlight lang="ini">
plugin {
fts = xapian
fts_xapian = partial=2 full=20 attachments=0 verbose=0

fts_autoindex = yes
fts_enforced = yes

fts_autoindex_exclude = \Trash

# Index attachements
fts_decoder = decode2text
}

service indexer-worker {
# Increase vsz_limit to 2GB or above.
# Or 0 if you have rather large memory usable on your server, which is preferred for performance)
vsz_limit = 2G
}

service decode2text {
executable = script /usr/libexec/dovecot/decode2text.sh
user = dovecot
unix_listener decode2text {
mode = 0666
}
}
</syntaxhighlight>Restart dovecot and check the service status. There shouldn't be errors or warnings in the output.

<code>systemctl restart dovecot</code>

<code>systemctl status dovecot</code>

It's necessary to index all the mailboxes if you have already had productive and filled mailboxes

<code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm index -u $i \*; done</code>

Or do it just for only one mailbox

<code>doveadm index -u user@domain.ru \*</code><blockquote> '''COMMANDS'''

 '''fts optimize'''

 doveadm fts optimize [-u user|-A|-F file] [-S socket_path] [namespace]

 Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.

 '''fts rescan'''

 doveadm fts rescan [-u user|-A|-F file] [-S socket_path] [namespace]

 Scan what mails exist in the full text search index and compare those to what actually exist in mailboxes. This removes mails from the index that have already been expunged and makes sure

 that the next doveadm index will index all the missing mails (if any). Note that currently most FTS backends do not implement this properly, but instead they delete all the FTS indexes.

 This may change in the future versions.</blockquote>Place the task to optimize your xapian indexes into the crontab

<code>crontab -e</code>
...
# Optimize the full text search index. This is also done automatically by the full text search engines, but this enforces it to happen.
0 4 * * * for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts optimize -u $i; done
...
Optionally<blockquote>I'm not sure this is really necessary

It takes a lot of time and during this process the search doesn't work

Also, after the rescan, the directories "/home/mail/<domain>/<user>/xapian-indexes/db_*" will be deleted, and they will be created only after a user will click on the directories in the web-interface. It takes also a lot of time

You can rescan indexes of your mailboxes</blockquote><code>for i in `mysql -h127.0.0.1 -N -uroot -p'''<mysqlRootPassword>''' postfix -e "SELECT username FROM mailbox;"`; do doveadm fts rescan -u $i; done</code>

Or do it just for only one mailbox

<code>doveadm fts rescan -u user@domain.ru</code>

Check the search in the console

<code>dnf install -y telnet</code>

<code>telnet localhost imap</code>

<code>a login user@don661.ru PassWord#1</code>

<code>a select Inbox</code>

<code>a SEARCH text "test"</code>

Check the search in the '''Roundcube Webmail'''<blockquote>In '''Roundcube Webmail''' for the searching of text in the message body it's necessary to click on the arrow right to the search field and to check "'''Message body'''" as a search source!</blockquote>

== SOLR ('''I didn't test it!''') ==
https://doc.dovecot.org/configuration_manual/fts/solr/

== Fts-elastic ('''I didn't test it!''') ==
https://github.com/filiphanes/fts-elastic

= Postfix limits (I didn't test it!) =
https://www.dmosk.ru/miniinstruktions.php?mini=postfix-limits#mailbox-size

= Desktop mail clients =

=== Thunderbird ===
'''IMAP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 143

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

'''SMTP''':

'''Domain''': mail.yourdomain.ru

'''Port''': 587

'''Encryption type''': STARTTLS

''' Username''': user@yourdomain.ru

= Hints =

== Mail queue check ==
<code>mailq</code>

== Show connected users ==
Users IMAP (via mail clients)

<code>doveadm who</code>

Users WEB Roundcube

<code>netstat -an | grep :443 | grep -v TIME_WAIT</code>

== Restrict sending emails by local users with non-existing local domains in the field ''FROM'' ==
<code>nano /etc/postfix/master.cf</code>
...
-o smtpd_recipient_restrictions=reject_invalid_hostname,reject_non_fqdn_sender,reject_unknown_sender_domain,reject_non_fqdn_recipient,reject_unknown_recipient_domain,permit_mynetworks,reject
...
You can see logs of PASSED o DROPPED emails in '''/var/log/maillog''' after sending them.

== Reject users-senders (in ''FROM'' field), who are not in the users list (it reads from mysql_virtual_* files) ==
https://serverfault.com/questions/694511/postfix-how-to-reject-sender-addresses-that-dont-exist-only-for-local-domains

Add the following option to '''/etc/postfix/main.cf''':

<code>nano /etc/postfix/main.cf</code>
...
smtpd_reject_unlisted_sender = yes
...
You can try to send an email with non-existing user in field FROM, and you will see a rejection in output:

<code>echo "Test text" | mail -v -s "Test title" -S smtp="mail.don661.ru:587" -S smtp-use-starttls -S smtp-auth=plain -S smtp-auth-user="admin@don661.ru" -S smtp-auth-password="PassWord" -S ssl-verify=ignore -S nss-config-dir=/etc/pki/nssdb -S from=NON-EXIST-USER@don661.ru admin@alef-studio.ru)</code>
== Message size limit (message size itself + attached file size) ==
You have to set limits in the each following entity.

In this example we make limit at about ~30MB for attachment

==== Postfix limit ====
<code>nano /etc/postfix/main.cf</code>
...
message_size_limit = 46080000 # ~30MB (10240000 - ~10MB)
...
<code>systemctl restart postfix</code>

==== Roundcube limit ====
<blockquote>Roundcube preserves some percentage of the max message size (search 1.33 on this page, so if you set the max to 100M, it tells you only 75MB is allowed (100 / 1.33). This is better because email messsage will be encoded before sending to MTA and the encoded attachment is larger than the original file.</blockquote><code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['max_message_size'] = '40M'; # max summ message size (not file)
...

==== Nginx limit ====
<code>nano /etc/nginx/conf.d/00-default_ssl.conf</code>
...
server {
...
client_max_body_size 35M; # max size of a message
client_body_timeout 300s; # timeout while upload attachment, otherwise upload may be canceled by timeout in case of a low upload speed, for example
}
...
<code>systemctl restart nginx</code>

==== PHP limit ====
<code>nano /etc/php.ini</code>
...
post_max_size = 35M;
upload_max_filesize = 35M;
...
reboot

== Amount of attached files in an email ==
<code>nano /etc/php.ini</code>
...
; Maximum number of files that can be uploaded via a single request
max_file_uploads = 50
...
<code>systemctl restart nginx.service php-fpm.service</code>

== Creating users via CLI ==

=== A single mailbox creation ===
Postfixadmin-cli installation<blockquote><nowiki>*</nowiki>if you have already had installed postfixadmin, you don't have to do the following</blockquote><code>wget <nowiki>https://sourceforge.net/projects/postfixadmin/files/latest/download</nowiki> -O postfixadmin.tar.gz</code>

<code>mkdir /usr/share/nginx/html/postfixadmin</code>

<code>tar -C /usr/share/nginx/html/postfixadmin -xvf postfixadmin.tar.gz --strip-components 1</code>

Help

<code>/usr/share/nginx/html/postfixadmin/scripts</code>

Comment password validation limits (e.g. "# must contain at least 2 digits" or something you needed) in the array 'password_validation' of the postfix config

<code>nano /usr/share/nginx/html/postfixadmin/config.inc.php</code>
...
$CONF['password_validation'] = array(
...
# '/([0-9].*){2}/' => 'password_no_digits 2', # must contain at least 2 digits
...
Create user

<code>cd /usr/share/nginx/html/postfixadmin/scripts</code>

<code>./postfixadmin-cli mailbox add prod@domain123.ru --password "AlefStudioS*100" --password2 "AlefStudioS*100" --name "Компания AlefStudio" --quota "4096" --active --welcome-mail</code>

=== Mass mailboxes creation ===
Mailboxes list file

<code>nano ./mailboxes.txt</code>
john@domain.ru|pass1|John Smith
ann@domain.ru|pass2|Анна Паста Бродерик-Иванова
Milbox creation script

<code>nano ./postfixadmin-mass-mailboxes-create.sh</code><syntaxhighlight lang="bash">
#!/bin/bash

#####
#
# Mass postfixadmin mailboxes creation by @ClessAlvein
#
#####

# VARS

mailboxesListFile="./USERS_lada-tambovavtocity.ru.txt"
mailboxQuota="2048"
pfCli="/usr/share/nginx/html/postfixadmin/scripts/postfixadmin-cli"
dateTimeCurrent=`date +%Y-%m-%d_%H-%M-%S`

# SCRIPT START

# declare array with mailbox data in the each line
declare -A arrayMailboxes;

# getting each line from the file with each user's data
while IFS= read -r line || [[ "$line" ]];
do
# getting user, pass, name from the line and put it to the assoc array key=value
while IFS="|" read "mailboxUserFromFile" "mailboxPassFromFile" "mailboxNameFromFile";
do
# makeup
echo "";

# debug
#echo "${mailboxUser}, ${mailboxPass}, ${mailboxName}";

# declare assoc array with each key as a bit mailbox's data
declare -A arrayMailbox;

# each key is a bit of the mailbox's data
arrayMailbox[arrayMailboxUser]=${mailboxUserFromFile};
arrayMailbox[arrayMailboxPass]=${mailboxPassFromFile};
arrayMailbox[arrayMailboxName]=${mailboxNameFromFile};

# for each bit of mailbox's data create var (user,pass,name)
for key in "${!arrayMailbox[@]}";
do
case $key in
arrayMailboxUser)
mailboxUser=${arrayMailbox[${key}]};;
arrayMailboxPass)
mailboxPass=${arrayMailbox[${key}]};;
arrayMailboxName)
mailboxName=${arrayMailbox[${key}]};;
esac
done
done < <( echo ${line} )

# if ${mailboxName} is empty
if [ -z "${mailboxName}" ]; then
mailboxName=${mailboxUser}
fi

# debug
echo "mailboxUser: ${mailboxUser}";
echo "mailboxPass: ${mailboxPass}";
echo "mailboxName: ${mailboxName}";

# create each mailbox
${pfCli} mailbox add ${mailboxUser} \
--password "${mailboxPass}" \
--password2 "${mailboxPass}" \
--name "${mailboxName}" \
--quota "${mailboxQuota}" \
--active --welcome-mail \
| tee -a ./log_${dateTimeCurrent}

done < ${mailboxesListFile}
</syntaxhighlight>Create mailboxes

<code>./postfixadmin-mass-mailboxes-create.sh</code>

== Roundcube Filter plugin (for email forwarding, sending copy of emails to another email, and other actions) ==
https://www.dmosk.ru/miniinstruktions.php?mini=roundcube-managesieve

We will use '''Roundcube managesieve plugin''' for that purpose<blockquote>* First off, check that there's no directory "sieve" in the "/home/mail/<DOMAIN>/<USER>/"</blockquote><code>nano /etc/dovecot/conf.d/10-mail.conf</code>

 * if you have already had '''mail_home = /home/vmail/%d/%u''' in this config, you have to edit it as deliberately '''mail_home = /home/vmail/%d/%u/sieve'''

 * мы задаем опцию mail_home с путем до каталогов с почтой. Обратите внимание, что на вашем сервере настройка может быть другая и необходимо указать правильное значение. Переменные %d и %u указывают, соответственно, на имя домена и учетной записи.
...
mail_home = /home/vmail/%d/%u/sieve
...
<code>nano /etc/dovecot/conf.d/15-lda.conf</code><blockquote> * в данном примере мы добавляем плагин sieve, который должен теперь использоваться локальным агентом доставки lda.</blockquote>
...
protocol lda {
# Space separated list of plugins to load (default is global mail_plugins).
mail_plugins = $mail_plugins sieve
}
...
<code>nano /etc/dovecot/conf.d/20-managesieve.conf</code><blockquote> * по аналогии с protocol lda, мы указываем на необходимость использования sieve

 * мы указываем, что наш сервис будет работать на порту 4190</blockquote>
...
protocols = $protocols sieve
...
service managesieve-login {
inet_listener sieve {
 port = 4190
}
...
}
...
<code>nano /etc/dovecot/conf.d/90-sieve.conf</code><blockquote> *sieve — путь до файла с правилами. Указывается для каждого ящика с помощью переменных.

 *sieve_global_path — путь до общего файла с правилами. Используется, если отсутствует файл по пути sieve.

 *sieve_dir — путь до каталога с подключаемыми скриптами-правилами. Указывается для каждого почтового ящика.

 *sieve_global_dir — путь до общего каталога с подключаемыми правилами. Используется, если отсутствует sieve_dir.</blockquote>
...
plugin {
sieve = /home/mail/%d/%u/sieve/dovecot.sieve
sieve_global_path = /etc/dovecot/sieve/default.sieve
sieve_dir = /home/mail/%d/%u/sieve
sieve_global_dir = /etc/dovecot/sieve/global/
...
}
...
<blockquote>'''!!! I'm not sure that the following is necessary'''

'''!!! At first try not to make this actions'''

'''!!! If everything works without it - nevermind'''

 Create dir for global rules sieve_global_dir:

 mkdir -p /etc/dovecot/sieve/global

 Chown dir:

 chown dovecot:dovecot -R /etc/dovecot/sieve</blockquote>Restart dovecot

<code>systemctl restart dovecot</code>

Roundcube config edit

<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code><blockquote> * At first, check that there's the "managesieve" plugin in the plugin directoty: "/usr/share/nginx/html/webmail/plugins/"</blockquote>
...
$config['managesieve_host'] = 'localhost';
...
$config['plugins'] = [
 ...
 'managesieve',
];
...
// it's necessary for the correct redirection of emails
// to folders with Cyrillic names using sieve
// <nowiki>https://github.com/Mailu/Mailu/issues/2258</nowiki>
$config['managesieve_mbox_encoding'] = 'UTF-8';
...
Go to Roundcube Webmail

Create test filter (for example), copy message to another email after it will be received
'''Settings''' - '''Filter''' - Filter "'''Roundcube'''" - "'''+'''"
 '''Filter name''': mail_forward
 '''Area''': ALL messages
 '''Action''': send copy to - xxx@mail.ru
 '''Save'''
Now you can see the brand new files in the directory "'''/home/mail/<DOMAIN>/<USER>/sieve/'''" (config '''roundcube.sieve''' and symlink '''dovecot.sieve''' (config '''/etc/dovecot/conf.d/90-sieve.conf''' point to '''dovecot.sieve'''))
 ...
 dovecot.sieve -> roundcube.sieve
 roundcube.sieve
 ...
Test it

Send email to yourself

The message will be received and will be sent to xxx@mail.ru as well

Now, in that case, if you have a private per-user sieve script ('''/home/mail/%d/%u/sieve/dovecot.sieve''', we have already configured it), the global sieve script '''WON'T WORK'''!

To make the private per-user script and the global script work at the same time, we need to do following.

In this example we will filter all mail for all users, and put SPAM to the Junk directory.

https://talk.plesk.com/threads/global-dovecot-sieve-rule.341552/

<code>mkdir /etc/dovecot/conf.d/custom-sieve</code>

<code>cd /etc/dovecot/conf.d/custom-sieve</code>

<code>nano /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code><blockquote>*This rule filter SPAM (we have already configured spamassasin above, right?) and put it to Junk dir</blockquote>
require "fileinto";
if header :contains "X-Spam-Flag" "YES" {
 fileinto "Junk";
}
Create the new global sieve configuration directive for Dovecot

<code>nano /etc/dovecot/conf.d/37-custom-global-sieve.conf</code>
plugin {
# Make sure to run "sievec" on this file after creating it:
sieve_after = /etc/dovecot/conf.d/custom-sieve/global_after.sieve
}
Run this to compile the new sieve, it will create a binary rule in the same directory

<code>sievec /etc/dovecot/conf.d/custom-sieve/global_after.sieve</code>

Restart the Dovecot services<blockquote>You don't have to start spamassasin service to make spam filter work. Amavisd does it!</blockquote><code>systemctl restart dovecot</code>

Test it

If you have already configured Spamassassin in this manual above - send email to yourself with following in the message body: '''XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X'''

The message wil be put in the Junk directory and the copy of this message will be sent to xxx@mail.ru

<code>tail /var/log/maillog</code>
 ...
 Apr 23 20:39:54 mail amavis[1696]: (01696-01) Passed SPAM {RelayedTaggedInternal,Quarantined}, MYNETS LOCAL [::1]:50042 <admin@alef-studio.ru> -> <admin@alef-studio.ru>, Queue-ID: BE39DE013B, Message-ID: <223db76d330a882501d9b6584e72e16b@alef-studio.ru>, mail_id: qx51q6idSWsl, Hits: 998.992, size: 1158, queued_as: 8850CE0A8A, 709 ms
 ...
Now we can configure the private filter rules for each user, and our global SPAM filter will work as well!

== Roundcube. Create new messages with HTML-EDITOR by default ==
<code>nano /usr/share/nginx/html/webmail/config/config.inc.php</code>
...
$config['htmleditor'] = 1;
...

== Roundcube Pugin. Viewer Office Docs (DOC, XLS, ODT, ODS, etc.) ==
https://github.com/jfcherng-roundcube/plugin-cloudview

== Roundcube. Address-book from Windows AD DC on-line ==

=== At Windows AD DC Server ===
Go to "'''Domain Users and Computers'''"

First off, you need to have a user "'''admin'''" with Administrator's permissions to connect to the AD DC from Roundcube

Create a user in group "'''Users'''" with an email in (! '''You won't see any user at all in Roundcube web-interface if you don't add an email address to the specific users's field !''')

Get a LDAP/AD Administartor's "'''admin'''" Distinguished Name for connect to AD from the Mail Server (we will use it later)

<code>C:\Users\Администратор.WIN-RMJC4R0JMJR> '''dsquery user -name admin'''</code>
...
'''"CN=admin,CN=Users,DC=alf,DC=local"'''
...

=== At Mail Server ===
Add to the Roundcube config

<code>vim /usr/share/nginx/html/webmail/config/config.inc.php</code><syntaxhighlight lang="ini">
//Разрешить поиск и автодополнение из массива AD
$rcmail_config['autocomplete_addressbooks'] = array('sql','AD');

$config['ldap_public'] = array(
//Имя массива, в котором выполняется поиск
'AD' =>array (
'name' => 'ALF', //Отображаемое имя в интерфейсе WEBMail Roundcube
'hosts' => array('10.100.199.21'), //IP адрес или ДНС имя AD DC
'sizelimit' => 600,
'port' => 389,
'use_tls' => false,
'user_specific' => false,
'base_dn' => 'DC=alf,DC=local', //Где выполнять поиск
'bind_dn' => 'admin@alf.local', //Авторизация admin@alf.local на контроллере домена
'bind_pass' => 'PassWord#1', //Авторизация admin@alf.local на контроллере домена
'writable' => false,
'ldap_version' => 3,
'search_fields' => array(
'mail',
'cn',
),
'name_field' => 'cn',
'email_field' => 'mail',
'surname_field' => 'sn',
'firstname_field' => 'givenName',
//Можно добавить немного дополнительной информации в адресной книге
'organization_field' => 'company',
'jobtitle_field' => 'title',
'department_field' => 'department',
//Порядок сортировки
'sort' => 'sn',
'scope' => 'sub', //Выполнять поиск по всему каталогу LDAP // search mode: sub|base|list
'filter' => '(&(mail=*)(|(&(objectClass=user)(!(objectClass=computer)))(objectClass=group)))',
//'filter' => '(&(mail=*)(|(&(objectcategory=person)(!(objectClass=computer)))(objectClass=group)))',
'global_search' => true,
'fuzzy_search' => true
),
);

// ----------------------------------
// LDAP
// ----------------------------------
// Type of LDAP cache. Supported values: 'db', 'apc' and 'memcache'.
$config['ldap_cache'] = 'db';
// Lifetime of LDAP cache. Possible units: s, m, h, d, w
</syntaxhighlight>Go to Roundcube web-interface - Contacts

You will see new section "ALF" and contact in there

You can debug if something goes wrong:

<code>cat /usr/share/nginx/html/webmail/logs/errors.log</code>

== Amavis blocks some inbound emails addresses with error "'''Blocked BAD-HEADER-0'''" ==

=== Links ===
https://sourceforge.net/p/amavis/mailman/message/16755074/

https://www.habibza.in/amavisd-whitelist-or-allowed-mail-from-blocked-bad-header/

https://forum.iredmail.org/topic4681-solved-how-to-bypass-amavisd-for-some-senders.html

=== Solution 1 ===
<code>nano /etc/amavisd/amavisd.conf</code>
...
$final_bad_header_destiny = D_PASS;
...
<code>systemctl restart amavisd postfix</code>

=== ??? Solution 2. DOESN'T WORK ??? ===
Create whitelist of emails or even domains, which you want to allow

<code>nano /etc/amavisd/whitelist-badheader</code>
user@somedomain.com
somedomain.com
Edit amavis config

<code>nano /etc/amavisd/amavisd.conf</code>
...
# white list, which will allow inbound emails with BAD-HEADER-0
@bypass_header_checks_maps = (
read_hash("/etc/amavisd/whitelist-badheader"),
);
...
Restart services

<code>systemctl restart amavisd postfix</code>

== Logging users' action (e.g. copying, erasing users' emails), which users perform via any IMAP/POP3 mail clients, via Dovecot MDA logging ==
Enable mail plugins in Dovecot config

<code>vim /etc/dovecot/dovecot.conf</code>
...
mail_plugins = $mail_plugins mail_log notify
...
Enable plugins '''mail_log_events, mail_log_fields'''

<code>vim /etc/dovecot/conf.d/90-plugin.conf</code><syntaxhighlight>
...
plugin {
#setting_name = value

# Events to log. Defined in src/plugins/mail-log/mail-log-plugin.c - also available: flag_change save mailbox_create
# autoexpunge is included in expunge
mail_log_events = delete undelete expunge copy mailbox_delete mailbox_rename

# Also available: Defined in src/plugins/mail-log/mail-log-plugin.c - flags vsize from subject
mail_log_fields = uid box msgid from subject

# Don't log fields that require opening the email (v2.2.28+).
#mail_log_cached_only = yes
}
...
</syntaxhighlight>Restart dovecot

<code>systemctl restart dovecot</code>

Make some actions in the user's mailbox (e.g. move email to the Trash and then delete it completely)

Now you can look in the logs ('''expunge = delete''')

<code>cat '''/var/log/dovecot-info.log''' | grep "'''Info: expunge'''\|'''Info: copy'''"</code>
May 11 10:53:56 imap(admin@don661.ru)<259523><aw5K9CgY6oN/AAAB>: Info: '''copy''' from INBOX: box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 10:54:13 imap(admin@don661.ru)<259531><JGZG9SgYLKZ/AAAB>: Info: '''expunge''': box=Trash, uid=1, msgid=<7a46aa92-72e0-4d55-83a2-6932cdee4906@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

May 11 11:08:21 pop3(admin@don661.ru)<259979><Mz/SJykYIdpOhIjD>: Info: '''expunge''': box=INBOX, uid=10, msgid=<65e7897f-b08d-4f13-8655-73d08485b2f2@gmail.com>, from="clesssalvein@gmail.com" <clesssalvein@gmail.com>, subject=test

== BLOCK PARTICULAR SENDERS (EMAILS, DOMAINS) - INBOX MAIL ==
(ЗАБЛОКИРОВАТЬ КОНКРЕТНЫЕ ЯЩИКИ-ОТПРАВИТЕЛИ ИЛИ ДОМЕНЫ - ВХОДЯЩУЮ ПОЧТУ)

<nowiki>-----</nowiki>

vim /etc/postfix/header_checks

...

/^From:.*baduser@example.com/ REJECT

/^From:.*@spamdomain.com/ REJECT

/^From:.*@scientamicron.com/ REJECT

/^From:.*@ip-223-6.dataclub.info/ REJECT

---

/etc/postfix/main.cf

...

<nowiki>#</nowiki> BLOCK SENDERS LIST

header_checks = regexp:/etc/postfix/header_checks

---

systemctl restart postfix.service

Send an email from the blocked user (user01@gmail.com)

cat /var/log/postfix.log

...

Mar 16 22:11:27 mail postfix/cleanup[3119]: 0D83BE1E24: reject: header From: "user01@gmail.com" <user01@gmail.com> from mail-lj1-f176.google.com[209.85.208.176]; from=<user01@gmail.com> to=<call.center2@lada-tambovavtocity.ru> proto=ESMTP helo=<mail-lj1-f176.google.com>: 5.7.1 message content rejected

...

= Errors =

=== Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database ===
ERROR

<code>cat ./dovecot.log</code>
 ...
 Feb 16 16:18:17 lda(cless@yourdomain.ru)<2571><B0HqGhkt7mMLCgAA1XGFgw>: Error: User cless@yourdomain.ru doesn't have home dir set, disabling duplicate database
 ...
SOLUTION

<code>nano /etc/dovecot/conf.d/10-mail.conf</code>
 ...
 mail_location = maildir:/home/mail/%d/%u/
 mail_home = /home/mail/%d/%u
 ...
<code>systemctl restart dovecot</code>

=== Error: imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem ===
ERROR

<code>cat /var/log/dovecot.log</code>
 ...
 Feb 27 00:56:40 imap-login: Error: Diffie-Hellman key exchange requested, but no DH parameters provided. Set ssl_dh=</path/to/dh.pem
 ...
SOLUTION

<code>openssl dhparam -dsaparam -out /etc/dovecot/dh.pem 4096</code>

<code>nano /etc/dovecot/conf.d/10-ssl.conf</code>
...
ssl_dh = </etc/dovecot/dh.pem
...
<code>systemctl restart dovecot</code>

=== Error: '''"Connection error (failed to reach the server) roundcube"''' at Roundcube Webmail web-interface during sending a message, if the size of the message is 10MB+ (a huge sign with pictures, for example) ===
SOLUTION

The update from '''PHP-7.3''' to '''PHP-7.4''' has solved the issue.

=== ERROR: PHP-ImageMagick module creates huge files, which use all disk space in / partition ===
https://github.com/ImageMagick/ImageMagick/issues/395

PHP-ImageMagick module creates huge files, which use all disk space in / partition
/tmp/systemd-private-78b2a42fd129405aa1e735b61bf8fb72-php-fpm.service-Icx1Wg/tmp/magick-*
??? SOLUTION ???

Variant 1:

<code>nano /etc/ImageMagick-7/policy.xml</code>
...
<policymap>
...
<policy domain="resource" name="memory" value="2GiB"/>
<policy domain="resource" name="disk" value="1GiB"/>
<policy domain="cache" name="synchronize" value="True"/>
...
</policymap>
...
<code>systemctl restart nginx php-fpm</code>

Variant 2:

Using the following cron jobs for automatic cleanup. The first 2 lines will clean up old files based on their age.

In one case this was still insufficient, since a user was uploading a lot of very large images within a short time, causing the /tmp folder to fill up very quickly. Therefore the last line removes images which are at a certain filesize treshold. I picked a treshold just below the usual size of the magick-* files (see list in first post).

<code>crontab -e</code>
# Temporary solution to prevent /tmp from being filled with 200+ MB ImageMagick files
0 * * * * find /tmp/ -mmin +119 -type f -name 'magick-*' -delete
0 * * * * find /tmp/ -mmin +119 -type f -name 'php*' -delete
*/5 * * * * find /tmp/ -mmin +5 -type f -name 'magick-*' -size +200M -delete

=== Error in '''Roundcube Webmail during the searching for emails''': '''(Server error)''' ===
SOLUTION

It's necessary to Install Full-text search.

Proceed to the according section of this manual: '''Fts-xapian'''.

OpenVPN. Centos 7. Сервер + клиенты

2025-02-18T07:57:37Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC
dhcp-option DNS 10.54.100.227
dhcp-option DNS 10.54.100.228

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

cd ./easy-rsa
./easyrsa gen-req ${clientName} nopass
./easyrsa sign-req client ${clientName}
cd ..

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

=== Статус подключенных клиентов ===
<code>cat /var/log/openvpn/openvpn-status.log</code>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-17T18:06:49Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

cd ./easy-rsa
./easyrsa gen-req ${clientName} nopass
./easyrsa sign-req client ${clientName}
cd ..

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

=== Статус подключенных клиентов ===
<code>cat /var/log/openvpn/openvpn-status.log</code>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-17T06:38:25Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

=== Статус подключенных клиентов ===
<code>cat /var/log/openvpn/openvpn-status.log</code>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-14T21:19:10Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== Отзыв сертификата клиента ==
https://server-gu.ru/easy-rsa-revoke-certificate/

=== Создание клиента с сертификатом ===
Создаем клиента '''test01''' с доступом по сертификату

Проверяем что он подключается к серверу

=== Отзыв сертификата клиента ===
Переходим в директорию easy-rsa

<code>cd /etc/openvpn/easy-rsa</code>

Отзываем сертификат

<code>./easyrsa revoke test01</code>

Генерируем БД с отозванными сертификатами, копируем crl.pem в /etc/openvpn, назначаем права чтения

<code>./easyrsa gen-crl && cp pki/crl.pem ../ && chmod ugo+r ../crl.pem</code>

=== Настройка конфигурации сервера ===
Добавляем в конфиг

<code>vim /etc/openvpn/server.conf</code>
...
; база отозванных сертификатов
crl-verify crl.pem
<code>systemctl restart openvpn</code>

Проверяем что '''test01''' НЕ может подключиться к серверу

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-14T20:12:55Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log

; Возможность нескольких подключений под одним клиентом с одним сертификатом
; Иначе одному клиенту с одним сертификатом при попытке подключений
; с разных устройств будет выдаватьcя один и тот же IP
duplicate-cn
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-14T19:59:39Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
Шаблон конфигурации клиента

<code>vim /etc/openvpn/client.template</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

Скрипт генерации конфигурации

<code>vim /etc/openvpn/makeClientConf.sh</code>
#!/bin/bash

# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`

clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="/etc/openvpn/client.template"
caFile="/etc/openvpn/keys/ca.crt"

# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
${mkdir} -p ${clientsConfDir}
fi

# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName

# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"

# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}

# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}

# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}

# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}

# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}

# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"

<code>chmod +x /etc/openvpn/makeClientConf.sh</code>

Генерируем конфигурацию клиента (имя клиента такое же как при создании пользователя через easy-rsa - в нашем случае: client1)

<code>cd /etc/openvpn</code>

<code>./makeClientConf.sh</code>

Готовая конфигурация клиента будет создана в директории '''/etc/openvpn/clientsConf'''

Передаем её клиенту по зашифрованному каналу (она содержит приватный ключ)

Клиент загружает конфигурацию в '''OpenVPN-Connect''' (на нём тестировалось и работает)

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

OpenVPN. Centos 7. Сервер + клиенты

2025-02-14T18:26:44Z

Cless:

== OpenVPN сервер ==

=== Настройка конфигурации сервера ===
Разрешим пересылку пакетов между интерфейсами

<code>nano /etc/sysctl.conf</code>
...
net.ipv4.ip_forward = 1
...
Сохраним изменения и выполним:

<code>sysctl -p</code>

Если OpenVPN сервер находится в локальной сети за маршрутизатором - на маршрутизаторе 192.168.199.1 пробросим внешний порт 11194 на внутренний порт 1194 нашего ovpn-сервера

// 1194 с внешки у ростелеком, например, не работает, возможно блокировка

Этот пункт делаем только если интерфейс Tun, и на локальном интерфейсе openvpn-сервера не настроен NAT

На маршрутизаторе 192.168.199.1 добавим маршрут до сети впн (10.10.10.0/24)через ip-адрес нашего овпн-сервера (centos), чтобы компы из сети 192.168.199.0/24 за маршрутизатором 192.168.199.1, ходя на него (или отвечая на запрос) знали через что идти до сети впн клиентов (10.10.10.0/24)

ЧЕРЕЗ IP-АДРЕС НАШЕГО ОВПН-СЕРВЕРА (CENTOS), ЧТОБЫ КОМПЫ ИЗ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ 192.168.199.1,

ХОДЯ НА НЕГО (ИЛИ ОТВЕЧАЯ НА ЗАПРОС) ЗНАЛИ ЧЕРЕЗ ЧТО ИДТИ ДО СЕТИ ВПН КЛИЕНТОВ (10.10.10.0/24)

<code>yum install -y epel-release</code>

<code>yum install -y openvpn easy-rsa –y</code>

<code>mkdir -p /etc/openvpn/easy-rsa</code>

<code>mkdir -p /etc/openvpn/keys</code>

<code>mkdir -p /var/log/openvpn</code>

<code>cp -rf /usr/share/easy-rsa/3.0.8/* /etc/openvpn/easy-rsa</code>

Создадим файл с переменными для создания сертификатов

'''''KEY_NAME''''': Следует указать значение server, иначе придется вносить изменения в конфигурационные файлы, в которых упоминается server.key и server.crt.

'''''KEY_CN''''': здесь надо написать домен или поддомен, который указывает на ваш сервер.

<code>nano /etc/openvpn/easy-rsa/vars</code>
export KEY_COUNTRY="RU"
export KEY_PROVINCE="Moscow"
export KEY_CITY="Moscow"
export KEY_ORG="OOO Romashka"
export KEY_EMAIL="ivan@example.com"
export KEY_OU="Community"
export KEY_NAME="server"
export KEY_CN=openvpn.example.com
<code>cp /etc/openvpn/easy-rsa/openssl-easyrsa.cnf /etc/openvpn/easy-rsa/openssl.cnf</code>

<code>cd /etc/openvpn/easy-rsa</code>

<code>source ./vars</code>

Создадим удостоверяющий центр CA

<code>./easyrsa init-pki</code>

<code>./easyrsa build-ca</code>

Вводим пароль
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
Имя сервера
Common Name (eg: your user, host, or server name) [Easy-RSA CA]: serveradmin.ru
Не забудьте указанный при запросе пароль.

Его нужно будет вводить каждый раз при создании нового сертификата openvpn.

Мы получили 2 ключа:

Ключ секретный, его нужно оставить на сервере и никому не отдавать
 /etc/openvpn/easy-rsa/pki/private/ca.key
Ключ открытый, его мы будем вместе с пользовательскими сертификатами передавать клиентам.
 /etc/openvpn/easy-rsa/pki/ca.crt
Создаем запрос сертификата для сервера без пароля с помощью опции nopass, иначе придется вводить пароль с консоли при каждом запуске сервера:

<code>./easyrsa gen-req server nopass</code>

Сгенерированные файлы
 req: /etc/openvpn/easy-rsa/pki/reqs/server.req
 key: /etc/openvpn/easy-rsa/pki/private/server.key
Подписываем запрос на получение сертификата у нашего CA:

<code>./easyrsa --days=3650 sign-req server server</code>
Request subject, to be signed as a server certificate for 3650 days:
В процессе работы скрипта вводим пароль от CA, который указывали раньше и отвечаем на вопрос yes.

Мы получили подписанный удостоверяющим центром сертификат для сервера
/etc/openvpn/easy-rsa/pki/issued/server.crt
Генерируем ключ Диффи-Хелмана

<code>./easyrsa gen-dh</code>

Файл dh сертификата
/etc/openvpn/easy-rsa/pki/dh.pem
Копируем в папку /etc/openvpn все необходимые для работы openvpn сервера ключи:

<code>cp pki/ca.crt /etc/openvpn/keys/ca.crt</code>

<code>cp pki/dh.pem /etc/openvpn/keys/dh.pem</code>

<code>cp pki/issued/server.crt /etc/openvpn/keys/server.crt</code>

<code>cp pki/private/server.key /etc/openvpn/keys/server.key</code>

Конфигурация сервера

<code>nano /etc/openvpn/server.conf</code>
; интерфейс, на котором работает ovpn, если не указано - то работает на всех
local 192.168.199.225

; настройки сети
port 1194
proto udp
dev tun

; пути до ключей
ca /etc/openvpn/keys/ca.crt
cert /etc/openvpn/keys/server.crt
key /etc/openvpn/keys/server.key
dh /etc/openvpn/keys/dh.pem

; настройки для статического адреса сервера в туннелях впн
mode server
tls-server

; статический адрес туннеля сервера
ifconfig 10.10.10.1 255.255.255.0

; пул адресов клиентов
ifconfig-pool 10.10.10.100 10.10.10.200

; маршрут на стороне сервера до сети клиентов
route 10.10.10.0 255.255.255.0

; маршрут на стороне клиента (клиенту необходимы админские права для создания маршрутов)
push "route 10.10.10.1"

; маршрут на стороне клиента до хостов в локальной сети сервера
push "route 192.168.199.0 255.255.255.0"

; инфо о подключенных клиентах
ifconfig-pool-persist /etc/openvpn/ipp.txt

; директория с настройками для каждого клиента
;client-config-dir /etc/openvpn_tun/ccd

; клиенты могут видеть друг друга
client-to-client

; каждые 10 секунд посылать ping на удаленный хост, и, если за 120 секунд не было получено ни одного пакета — то перезапускать туннель
keepalive 10 120
max-clients 100
user nobody
group nobody
persist-key
persist-tun

; алгоритм шифрования
cipher AES-256-CBC

; Не писать в логи повторяющиеся сообщения:
;mute 20

; Уровень подробности логов (от 0 до 9)
;verb 3

; логи
status /var/log/openvpn/openvpn-status.log
log /var/log/openvpn/openvpn.log
<code>systemctl enable openvpn@server</code>

<code>systemctl start openvpn@server</code>

ПРИ ЗАПРОСЕ С ВПН-КЛИЕНТА (НАПРИМЕР) 10.10.10.202, К ХОСТУ ЛОКАЛЬНОЙ СЕТИ 192.168.199.0/24 ЗА МАРШРУТИЗАТОРОМ,

НАПРИМЕР 192.168.199.16, ТРАФИК ИДЕТ ЧЕРЕЗ ВПН СЕРВЕР (Tun0 интерфейс) 10.10.10.1, ПОТОМ К ХОСТУ 192.168.199.16,

НО ХОСТ 192.168.199.16 НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24,

ПОЭТОМУ ОБРАТНЫЙ ТРАФИК ПОЙДЕТ ЧЕРЕЗ ДЕФОЛТНЫЙ ШЛЮЗ, ТО ЕСТЬ МАРШРУТИЗАТОР 192.168.199.1,

НО ОН ТОЖЕ НЕ ЗНАЕТ О СУЩЕСТВОВАНИИ СЕТИ 10.10.10.0/24, ПОЭТОМУ ПИНГА ОТ 10.10.10.202 до 192.168.199.16 НЕ БУДЕТ.

ДЛЯ РЕШЕНИЯ ЭТОЙ ПРОБЛЕМЫ ЕСТЬ 3 ВАРИАНТА:

'''1. На маршрутизаторе 192.168.199.1 прописать маршрут до 10.10.10.0/24 через IP openvpn-сервера (192.168.199.225)'''

Тогда трафик от клиента дойдя по дефолтному шлюзу завернется на 192.168.199.225, а оттуда к клиенту 10.10.10.202

'''2. Прописать NAT-маскарадинг на локальном интерфейсе (ens32)'''

openvpn-сервера (192.168.199.225) от сети 10.10.10.0/24:

iptables -t nat -A POSTROUTING -s 10.10.10.0/24 -o ens32 -j MASQUERADE

// установим службу чтобы сохранить правило после перезагрузки

systemctl disable firewalld

yum install iptables-services

systemctl enable iptables

service iptables save

В таком случае весь трафик от впн-клиентов сети 10.10.10.0/24

будет натится на локальном интерфейсе openvpn-сервера

'''3. !!! НЕ ТЕСТИРОВАЛ !!!'''

Для этого способа необходимо настраивать openvpn сервер

с использованием интерфейса 2-го (канального) уровня - TAP,

так как TUN это интерфейс 3-го (сетевого) уровня и собираться в бридж не может.

Далее надо объединить физический интерфейс ens32 с интерфейсом Tap0 в бридж.

Бриджу назначаем адрес 192.168.199.225 (какой был у ens32).

Изменения в конфиге openvpn-сервера будут выглядеть примерно так:

...

dev tap0

...

<nowiki>;</nowiki> 192.168.168.225 255.255.255.0 - адрес и маска бриджа

<nowiki>;</nowiki> 192.168.168.100 192.168.168.200 - пул адресов, которые будут выдаваться клиентам

server-bridge 192.168.168.225 255.255.255.0 192.168.168.100 192.168.168.200

...

Таким образом впн-клиенты сразу будут оказываться в диапазоне сети за маршрутизатором

и общаться с хостами на уровне коммутации.

=== Настройка конфигурации клиентов ===

==== Вариант 1. Создание конфигураций вручную ====
Создадим ключ для клиента openvpn:

<code>./easyrsa gen-req client1 nopass</code>

<code>./easyrsa sign-req client client1</code>

Процедура аналогична созданию сертификата для сервера. Так же вводим пароль, отвечаем yes.

В результате получаем подписанный сертификат клиента:
 /etc/openvpn/easy-rsa/pki/issued/client1.crt

 /etc/openvpn/easy-rsa/pki/private/client1.key
Клиенту нужно будет передать следующий набор файлов:
client.crt
client.key
ca.crt

==== Вариант 2. Генерируем файл-конфигурацию клиента со встроенными ключами ====
'''!!! НЕ ТЕСТИРОВАЛ !!! ДОДЕЛАТЬ !!!'''

Скрипт генерации конфигурации

<code>nano ./makeClientConf.sh</code><syntaxhighlight lang="bash">
#!/bin/bash
# Default Variable Declarations
mkdir=`which mkdir`
echo=`which echo`
cat=`which cat`
printf=`which printf`
clientsConfDir="/etc/openvpn/clientsConf"
templateClientConfFile="client.template"
caFile="/etc/openvpn/keys/ca.crt"
# create conf dir
if ! [ -d "${clientsConfDir}/" ]; then
 ${mkdir} -p ${clientsConfDir}
fi
# Ask for a new Client name
${echo} $'\r'
${echo} "Please enter new Client Name:"
read clientName
# declare client files paths
clientConfFile="${clientName}-config.ovpn"
clientCrtFile="/etc/openvpn/easy-rsa/pki/issued/${clientName}.crt"
clientKeyFile="/etc/openvpn/easy-rsa/pki/private/${clientName}.key"
# line break
${printf} $'\n\n' >> ${clientsConfDir}/${clientConfFile}
# template to conf file
${cat} ${templateClientConfFile} > ${clientsConfDir}/${clientConfFile}
# ca to conf file
${echo} "<ca>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${caFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</ca>" >> ${clientsConfDir}/${clientConfFile}
# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}
# crt to conf file
${echo} "<cert>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientCrtFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</cert>" >> ${clientsConfDir}/${clientConfFile}
# line break
${printf} $'\n' >> ${clientsConfDir}/${clientConfFile}
# crt to conf file
${echo} "<key>" >> ${clientsConfDir}/${clientConfFile}
${cat} ${clientKeyFile} >> ${clientsConfDir}/${clientConfFile}
${echo} "</key>" >> ${clientsConfDir}/${clientConfFile}
# show info about output conf file
${echo} $'\r'
${echo} "Client's \"${clientName}\" Configuration: ${clientsConfDir}/${clientConfFile}"
</syntaxhighlight>

== OpenVPN клиенты ==

=== OpenVPN клиент на Windows ===
Содержимое файлов client.crt, client.key, ca.crt помещаем в файл client1.conf

<code>client1.conf</code>
client
dev tun
proto udp
remote 176.192.22.222 11194
resolv-retry infinite
nobind
persist-key
persist-tun
mute-replay-warnings
;comp-lzo
verb 3
;mute 20
remote-cert-tls server
cipher AES-256-CBC

<ca>
...
</ca>

<cert>
...
</cert>

<key>
...
</key>
Устанавливаем openvpn-install-2.4.6-I602.exe в режиме службы

Запускаем openvpn client gui

Импортируем созданные на сервере файл client1.conf

Конфигурация после импорта появится в C:\Users\admin\OpenVPN\config\

Подключаемся к серверу
[[Категория:OpenVPN]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

LVM. Расширение объема раздела LV за счет свободного места на физическом диске

2025-01-07T09:31:52Z

Cless:

=Описание=
В данной инструкции мы увеличиваем '''системный''' раздел '''root''', но она также подойдет и для увеличения '''НЕсистемного''' раздела.

= Расширение =

== '''Вариант 1'''. Простой. Все действия производим онлайн в рабочей системе. БЕЗ удаления раздела '''root'''. ==

=== Если расширяемый раздел LV имеет ФС '''EXT4''' ===
Сначала убедимся что на нашем физическом диске есть свободная от разделов область (дополнительный незанятый разделами объем).

Или, если у нас виртуальная машина - сначала увеличиваем объем диска в ВМ.

Далее смотрим информацию о физическом диске и разделах. Должны увидеть что объем физического диска имеет необходимый объем для расширения (или что общий объем диска увеличился, если мы увеличили его в ВМ гипервизора).

<code>fdisk -l</code>

Смотрим что изначальный объем раздела '''LV''' '''root''' - '''21'''G, а свободного места '''- 86'''M

<code>df -h</code>
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/almalinux_alma-root '''21'''G 20G '''86'''M 99% /
Если мы посмотрим на '''PV''', то увидим что свободного места для расширения на нем нет, несмотря на то, что физически диск имеет свободную область (или что мы вручную увеличили объем физического диска в ВМ).

<code>pvs</code>
PV VG Fmt Attr PSize PFree
/dev/sda2 almalinux_alma lvm2 a-- <21.00g 0
Так и должно быть, идем далее.

Для начала необходимо расширить логический раздел /dev/sdb'''X''' для '''root''' на физическом диске (например, если на диске было свободное от разделов место или мы прибавили место к виртуальному диску в виртуальной машине (если машина в гипервизоре)). Иначе '''pvs''' и '''vgs''' будут показывать что размер раздела не увеличился и неоткуда брать место для создания '''LV''' большего объема.

==== Если PV создан на партиции /dev/sdaX ====

===== Интерактивное расширение через '''parted''' =====
<code>parted</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sda: '''4295'''MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1074MB 1073MB primary ext4
2 1075MB 4295MB 4294MB primary ext4
...
Система не даст расширить раздел до объема большего, чем объем самого диска, будет ошибка:

<code>(parted) resizepart 2 '''4296'''</code>
Error: The location '''4296''' is outside of the device /dev/sdb.
Расширяем объем раздела до полного объема физического диска - '''4295'''MB

<code>(parted) resizepart 2 '''4295'''</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1075MB 1074MB primary ext4 boot
2 1075MB 4295MB 4294MB primary ext4
 display the version number and copyright information of GNU Parted
...
Выходим из "parted"

<code>(parted) quit</code>

===== НЕинтерактивное расширение через '''growpart''' =====
<blockquote>'''-N -''' Можно предварительно запустить в холостом режиме с данным ключом

'''3''' - номер раздела (/dev/sdb'''3''')</blockquote><code>growpart -v /dev/sda 3</code>

==== Расширяем PV ====
<code>pvresize /dev/sda'''X'''</code>

===== Если PV создан на голом диске /dev/sda =====
Просто расширяем PV

<code>pvresize /dev/sde</code>

Идем далее.

Смотрим что есть дополнительный незанятый объем

<code>pvs</code>
PV VG Fmt Attr PSize PFree
/dev/sda2 almalinux_alma lvm2 a-- <31.00g '''8.00'''g
<code>vgs</code>
VG #PV #LV #SN Attr VSize VFree
almalinux_alma 1 2 0 wz--n- <31.00g '''8.00'''g
Расширяем '''LV''' на весь свободный объем

<code>lvresize /dev/almalinux_alma/root /dev/sda2</code>

или

Расширяем раздел и одновременно расширяем ФС (только если данный раздел отформатирован в '''XFS'''), используя ключ "'''-r'''" (используется <code>xfs_growfs</code>).

В данном случае после расширения раздела нет необходимости использовать <code>xfs_growfs</code><blockquote>Расширение на весь объем</blockquote><code>lvresize -r /dev/almalinux_alma/root /dev/sda2</code><blockquote>Расширение на +определенный объем</blockquote><code>lvresize -r -L +5G /dev/vg00/root /dev/vda2</code><blockquote>Расширение до итогового объема 20GB</blockquote><code>lvresize -r -L 20G /dev/vg00/root /dev/vda2</code>

'''ИЛИ'''

Расширяем '''LV''' на конкретное значение в '''GB'''<blockquote>'''-A n''' - Turn off auto-backup of metadata (see man page for details and cautions) which should prevent having to write to /etc/lvm You can then run '''vgcfgbackup''' after you have been successful in resizing. Необходимая опция если на расширяемом разделе осталось 0 свободного места.</blockquote><code>lvextend -A n -L +5G /dev/almalinux_alma/root</code>

Смотрим что объем '''LV''' увеличился

<code>lvs</code>
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
root almalinux_alma -wi-ao---- '''28.59'''g
swap almalinux_alma -wi-ao---- 2.40g
Расширяем ФС '''EXT4''' на '''LV''' '''root''' на '''весь доступный объем'''

<code>resize2fs /dev/almalinux_alma/root</code>

'''ИЛИ'''

Если расширяемый раздел LV имеет ФС '''XFS'''<blockquote>Указываем именно директорию с примонтированным расширенным разделом ('''/''' в данном случае, или, например, '''/mnt/d1''', если расширяли не системный диск)</blockquote><code>xfs_growfs -d /</code>

Смотрим что общий объем раздела '''root''' и объем свободного места увеличился

<code>df -h</code>
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/almalinux_alma-root '''29'''G 20G '''7.7G''' 72% /
Готово!

== '''Вариант 2'''. Сложный. Увеличение раздела через удаление текущего раздела и создание нового увеличенного раздела. (Лучше использовать '''Вариант 1''' как более простой, без удаления раздела.) ==
Грузимся с загрузочного LIVE дистрибутива Linux. Предпочтительно с '''SystemRescueCD.''' Все действия производим в LIVE системе '''SystemRescueCD'''. В ней имеются необходимые утилиты, например, '''fsarchiver'''.

=== Если расширяемый раздел LV имеет ФС '''XFS''' ===
Активируем LVM разделы

<code>vgchange -ay</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root centos_centos7-test01''' -wi-ao---- '''10.00g'''
Создаем директорию для монтирования системы root

<code>mkdir /mnt/root_lv</code>

Создаем директорию для бэкапа файлов раздела root в образ

<code>mkdir /mnt/root_backup</code>

Монтируем раздел root в директорию

<code>mount /dev/centos_centos7-test01/root /mnt/root_lv/</code>

Монтируем сетевую шару, на которую будем бэкапировать файлы раздела root (для этого подойдет и обычный раздел локального диска, например, подключенного через USB)

<code>mount -t cifs -o username=admin,password=PassWord#1 //192.168.17.12/img/tmp/root /mnt/root_backup/</code>

Бэкапим файлы раздела root в образ

<code>xfsdump -l 0 -L "root_backup" -M "root_backup" -f /mnt/root_backup/root_backup.img /mnt/root_lv</code>

Демонтируем раздел root

<code>umount /mnt/root_lv</code>

Удаляем раздел root, чтобы на его месте создать новый root увеличенного размера

<code>lvremove /dev/centos_centos7-test01/root</code><blockquote>'''СКОРЕЕ ВСЕГО ПЕРЕД СОЗДАНИЕМ НОВОГО РАЗДЕЛА LV НЕОБХОДИМО РАСШИРИТЬ ЛОГИЧЕСКИЙ РАЗДЕЛ НА ДИСКЕ'''

'''ВОЗМОЖНО Я НЕ УЧЕЛ ЭТО ПРИ НАПИСАНИИ МАНУАЛА'''

'''ЭТО МОЖНО СДЕЛАТЬ С ИСПОЛЬЗОВАНИЕМ ''parted'''''

'''СМОТРИ НИЖЕ - РАСШИРЕНИЕ РАЗДЕЛА EXT4 ЭТОГО МАНУАЛА'''

'''ДОПОЛНИТЬ ЭТОТ МАНУАЛ КОГДА БУДУ РАСШИРЯТЬ LVM С XFS'''</blockquote>Создаем новый root увеличенного размера

<code>lvcreate -Zy -L '''15G''' -n root centos_centos7-test01</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root centos_centos7-test01''' -wi-a----- '''15.00g'''
<code>vgs</code>
VG #PV #LV #SN Attr VSize '''VFree'''
'''centos_centos7-test01''' 1 2 0 wz--n- <30.00g '''<15.00g'''
Форматируем новый раздел root<blockquote>В mkfs.xfs (начиная с версии 3.2.4 xfsprogs) недавно стал использоваться по умолчанию суперблок версии 5 с множеством новых улучшений, таких как контрольные суммы метаданных CRC.

Чтобы избежать ошибки, требуется '''"-m reflink=0"''', что отключает несовместимую поддержку копирования при записи reflink.

Иначе при загрузке основной системы '''root''' раздел загрузится в '''RO''' режиме</blockquote><code>mkfs.xfs -m reflink=0 /dev/centos_centos7-test01/root</code>

Монтируем новый раздел в директорию

<code>mount /dev/centos_centos7-test01/root /mnt/root_lv/</code>

Восстанавливаем файлы root из сохраненного образа

<code>xfsrestore -f /mnt/root_backup/root_backup.img /mnt/root_lv</code>

Демонтируем раздел root и директорию для бэкапа

<code>umount /mnt/root_*</code>

Отключаем подключенный '''SystemRescueCD'''

Грузимся в основную систему

Система должна загрузиться

<code>reboot</code>

=== Если расширяемый раздел LV имеет ФС '''EXT4.''' ===
Активируем LVM разделы

<code>vgchange -ay</code>

<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root''' vg01 -wi-ao---- '''10.00g'''
Создаем директорию для бэкапа раздела root в образ

<code>mkdir /mnt/root_backup</code>

Монтируем сетевую шару, на которую будем бэкапировать раздел root (для этого подойдет и обычный раздел локального диска, например, подключенного через USB)

<code>mount -t cifs -o username=admin,password=PassWord#1 //192.168.17.12/img/tmp/root /mnt/root_backup/</code>

Создаем образ раздела '''root'''<blockquote>Будет создан образ '''/mnt/root_backup/root_lv.fsa'''</blockquote><code>fsarchiver savefs /mnt/root_backup/root_lv /dev/vg01/root</code>
 Statistics for filesystem 0
 * files successfully processed:....regfiles=27662, directories=5301, symlinks=1186, hardlinks=4250, specials=23
 * files with errors:...............regfiles=0, directories=0, symlinks=0, hardlinks=0, specials=0
Удаляем раздел '''root'''

<code>lvremove /dev/vg01/root</code>

Теперь необходимо расширить логический раздел /dev/sdb'''X''' для '''root''' на физическом диске (например, если на диске было свободное от разделов место или мы прибавили место к виртуальному диску в виртуальной машине (если машина в гипервизоре)). Иначе '''pvs''' и '''vgs''' будут показывать что размер раздела не увеличился и неоткуда брать место для создания '''LV''' большего объема.

<code>parted</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: '''4295'''MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 1074MB 1073MB primary ext4
...
Система не даст расширить раздел до объема большего, чем объем самого диска, будет ошибка:

<code>(parted) resizepart 1 '''4296'''</code>
Error: The location '''4296''' is outside of the device /dev/sdb.
Расширяем объем раздела

<code>(parted) resizepart 1 '''4295'''</code>

Смотрим

<code>(parted) print</code>
...
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 4295MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:
Number Start End Size Type File system Flags
1 1049kB 4295MB 4294MB primary ext4
 display the version number and copyright information of GNU Parted
...
Выходим из "parted"

<code>(parted) quit</code>

Расширяем PV

<code>pvresize /dev/sdb'''X'''</code>

Создаем раздел '''root''' с увеличенным объемом

<code>lvcreate -Zy -L '''15G''' -n root vg01</code>

Форматируем '''root'''

<code>mkfs.ext4 /dev/vg01/root</code>

Восстанавливаем раздел '''root''' из сохраненного ранее образа

<code>fsarchiver restfs /mnt/root_backup/root_lv.fsa id=0,dest=/dev/vg01/root</code>
 Statistics for filesystem 0
 * files successfully processed:....regfiles=27662, directories=5301, symlinks=1186, hardlinks=4250, specials=23
 * files with errors:...............regfiles=0, directories=0, symlinks=0, hardlinks=0, specials=0
<code>vgs</code>
VG #PV #LV #SN Attr VSize VFree
vg01 1 2 0 wz--n- <30.00g '''15.00g'''
<code>lvs</code>
LV VG Attr '''LSize''' Pool Origin Data% Meta% Move Log Cpy%Sync Convert
'''root''' vg01 -wi-ao---- '''15.00g'''
Отключаем подключенный '''SystemRescueCD'''

Грузимся в основную систему

Система должна загрузиться

<code>reboot</code>
[[Категория:LVM]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

ZFS. Расширение раздела ZFS

2025-01-05T11:06:14Z

Cless:

= Вариант 1. Расширение ZFS раздела путем увеличения объема диска (например на виртуальной машине) =
Изначально имеем диск 16G

<code>gpart show</code>
...
=> 40 67108791 da5 GPT (16G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (16G)
...
<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 15.5G 544K 15.5G - - 0% 0% 1.00x ONLINE -
da5p1 16.0G 544K 15.5G
...
Выключаем машину (обязательно, иначе будет CORRUPT партиция при просмотре через gpart)

Добавляем объема диску до 32G

Включаем машину

<code>gpart show</code>
...
=> 40 67108791 '''da5''' GPT (32G)
40 2008 - free - (1.0M)
2048 33550336 '''1''' freebsd-zfs (16G)
33552384 33556447 - free - (16G)
...
Расширяем диск до максимального объема<blockquote>'''da5''' - имя диска

'''1''' - номер партиции</blockquote><code>gpart resize -i '''1''' /dev/'''da5'''</code>

'''ИЛИ''' расширяем до определенного размера:<blockquote> '''-s size''' - Specifies the new size of the partition, in logical blocks. An SI unit suffix is allowed.</blockquote><code>gpart resize -i '''2''' '''-s 19G''' da0</code>

Если gpart show показывает статус раздела [CORRUPT]

<code>gpart recover da5</code>

Расширяем ФС<blockquote>Можно включить автоматические расширение для пула, тогда не придется расширять руками:

zpool set autoexpand=on zfspoolname</blockquote><code>zpool online -e d101 da5p1</code>

Смотрим

<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 31.5G 808K 31.5G - - 0% 0% 1.00x ONLINE -
da5p1 32.0G 808K 31.5G - - 0% 0.00% - ONLINE
...
<code>gpart show</code>
...
=> 40 67108791 da5 GPT (32G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (32G)
...
<code>df -h</code>
...
d101 32G 100K 32G 0% /mnt/d101
...
Готово!

= Вариант 2. Расширение ZFS раздела на шифрованном разделе GELI путем увеличения объема диска (в данном примере через расширение хард-рейда) =

== Ссылки ==
https://genneko.github.io/playing-with-bsd/storage/expanding-zfs-on-geli/

https://www.truenas.com/community/threads/geli-cannot-read-metadata-from-invalid-argument.93142/

== Входные данные ==
- Имеем хардовый RAID5 (24ТБ) в контроллере HP dl380 G9, собранный из 3 дисков 12ТБ

- В nas4free он определяется как /dev/da4 объемом 24ГБ и пришифрован как /dev/da4.elip1

- На da4.elip1 собран ZFS stripe с использованием GPT - /dev/gpt/raid2

== Задача ==
- Необходимо расширить хардовый RAID5 на +1 12ТБ диск (в итоге получим устройство объемом 36ТБ)

== Процесс ==
!!! ОБЯЗАТЕЛЬНО ДЕЛАЕМ БЭКАП МЕТАДАННЫХ ШИФРОВАННОГО ДИСКА '''/dev/da4''' В ФАЙЛ '''da4.eli'''

И СОХРАНЯЕМ ЭТОТ ФАЙЛ ЛОКАЛЬНО

<code>geli backup /dev/da4 /root/da4.eli</code>

Расширяем хард RAID5 через утилиту в BIOS сервера путем добавления одного диска 12ТБ в массив (расширение может длиться 1-2 дня)

Расширяем логический диск на расширенном массиве

Грузимся в nas4free

Копируем ранее сохраненный файл метаданных на '''nas4free''' в <code>/root/</code>

Смотрим размер старого диска - нас интересует "'''provsize: 24000210141184'''"

<code>geli dump /root/da4.eli</code>
...
Metadata on /root/da4.eli:
...
provsize: '''24000210141184'''
...
Расширяем шифрованный раздел<blockquote>'''-s 24000210141184''' - старый объем диска "'''provsize: 24000210141184'''" до расширения, который мы посмотрели в файле метаданных</blockquote><code>geli resize -v -s 24000210141184 /dev/da4</code>
...
Done.
...
В веб-интерфейсе подключаем шифрованный диск da4 с новым объемом 36ТБ, используя пароль шифрования, с которым создавали старый диск до расширения

!!! НЕ ИСПОЛЬЗУЯ ГАЛКУ "INITIALIZE", ИНАЧЕ УБЪЕМ РАНЕЕ ШИФРОВАННЫЙ ДИСК<blockquote>Аналог процедуры через консоль:

'''geli attach /dev/da4'''</blockquote>Импортируем ZFS POOL, который был ранее создан на шифрованном разделе

<code>zpool import -a</code>

Смотрим, ZFS раздел в порядке

<code>zpool status</code>
...
pool: raid2
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
raid2 ONLINE 0 0 0
gpt/raid2 ONLINE 0 0 0
...
Но объем раздела старый, нерасширенный, так и должно быть

<code>df -h</code>
...
raid2 20T 88K 20T 0% /mnt/raid2
raid2/bkup 21T 1.5T 20T 7% /mnt/raid2/bkup
...
Также видим статус CORRUPT

<code>gpart show /dev/da4.eli</code>
...
=> 40 46875410352 da4.eli GPT (33T) [CORRUPT]
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 8152 - free - (4.0M)
...
Лечим раздел

<code>gpart recover da4.eli</code>
...
da4.eli recovered
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 23437713368 - free - (11T)
...
Расширяем партицию до максимального размера

<code>gpart resize -i 1 /dev/da4.eli</code>
...
da4.elip1 resized
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 70313107416 1 freebsd-zfs (33T)
...
Расширяем ZFS-pool raid2<blockquote>'''raid2''' - пул ZFS

'''/dev/gpt/raid2''' - единственный диск, который входит в пул</blockquote><code>zpool online -e raid2 /dev/gpt/raid2</code>

Смотрим

<code>zpool list</code>
...
raid3 32.5T 28.9T 3.59T - 42% 88% 1.00x ONLINE -
...
<code>df -h</code>
...
raid2 30T 88K 30T 0% /mnt/raid2
raid2/bkup 32T 1.5T 30T 5% /mnt/raid2/bkup
...
Готово! Раздел расширен.
[[Категория:ZFS]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

ZFS. Расширение раздела ZFS

2025-01-05T08:00:16Z

Cless:

= Вариант 1. Расширение ZFS раздела путем увеличения объема диска (например на виртуальной машине) =
Изначально имеем диск 16G

<code>gpart show</code>
...
=> 40 67108791 da5 GPT (16G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (16G)
...
<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 15.5G 544K 15.5G - - 0% 0% 1.00x ONLINE -
da5p1 16.0G 544K 15.5G
...
Выключаем машину (обязательно, иначе будет CORRUPT партиция при просмотре через gpart)

Добавляем объема диску до 32G

Включаем машину

<code>gpart show</code>
...
=> 40 67108791 '''da5''' GPT (32G)
40 2008 - free - (1.0M)
2048 33550336 '''1''' freebsd-zfs (16G)
33552384 33556447 - free - (16G)
...
Расширяем диск до максимального объема<blockquote>'''da5''' - имя диска

'''1''' - номер партиции</blockquote><code>gpart resize -i '''1''' /dev/'''da5'''</code>

'''ИЛИ''' расширяем до определенного размера:<blockquote> '''-s size''' - Specifies the new size of the partition, in logical blocks. An SI unit suffix is allowed.</blockquote><code>gpart resize -i '''2''' '''-s 19G''' da0</code>

Если gpart show показывает статус раздела [CORRUPT]

<code>gpart recover da5</code>

Расширяем ФС<blockquote>Можно включить автоматические расширение для пула, тогда не придется расширять руками:

zpool set autoexpand=on zfspoolname</blockquote><code>zpool online -e d101 da5p1</code>

Смотрим

<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 31.5G 808K 31.5G - - 0% 0% 1.00x ONLINE -
da5p1 32.0G 808K 31.5G - - 0% 0.00% - ONLINE
...
<code>gpart show</code>
...
=> 40 67108791 da5 GPT (32G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (32G)
...
<code>df -h</code>
...
d101 32G 100K 32G 0% /mnt/d101
...
Готово!

= Вариант 2. Расширение ZFS раздела на шифрованном разделе GELI путем увеличения объема диска (в данном примере через расширение хард-рейда) =

== Ссылки ==
https://genneko.github.io/playing-with-bsd/storage/expanding-zfs-on-geli/

https://www.truenas.com/community/threads/geli-cannot-read-metadata-from-invalid-argument.93142/

== Входные данные ==
- Имеем хардовый RAID5 (24ТБ) в контроллере HP dl380 G9, собранный из 3 дисков 12ТБ

- В nas4free он определяется как /dev/da4 объемом 24ГБ и пришифрован как /dev/da4.elip1

- На da4.elip1 собран ZFS stripe с использованием GPT - /dev/gpt/raid2

== Задача ==
- Необходимо расширить хардовый RAID5 на +1 12ТБ диск (в итоге получим устройство объемом 36ТБ)

== Процесс ==
!!! ОБЯЗАТЕЛЬНО ДЕЛАЕМ БЭКАП МЕТАДАННЫХ ШИФРОВАННОГО ДИСКА '''/dev/da4''' В ФАЙЛ '''da4.eli'''

И СОХРАНЯЕМ ЭТОТ ФАЙЛ ЛОКАЛЬНО

<code>geli backup /dev/da4 /root/da4.eli</code>

Расширяем хард RAID5 через утилиту в BIOS сервера путем добавления одного диска 12ТБ в массив (расширение может длиться 1-2 дня)

Расширяем логический диск на расширенном массиве

Грузимся в nas4free

Копируем ранее сохраненный файл метаданных на '''nas4free''' в <code>/root/</code>

Смотрим размер старого диска - нас интересует "'''provsize: 24000210141184'''"

<code>geli dump /root/da4.eli</code>
...
Metadata on /root/da4.eli:
...
provsize: '''24000210141184'''
...
Восстанавливаем файл метаданных на новый расширенный диск<blockquote>'''-s 24000210141184''' - старый объем диска "'''provsize: 24000210141184'''" до расширения, который мы посмотрели в файле метаданных</blockquote><code>geli resize -v -s 24000210141184 /dev/da4</code>
...
Done.
...
В веб-интерфейсе подключаем шифрованный диск da4 с новым объемом 36ТБ, используя пароль шифрования, с которым создавали старый диск до расширения

!!! НЕ ИСПОЛЬЗУЯ ГАЛКУ "INITIALIZE", ИНАЧЕ УБЪЕМ РАНЕЕ ШИФРОВАННЫЙ ДИСК<blockquote>Аналог процедуры через консоль:

'''geli attach /dev/da4'''</blockquote>Импортируем ZFS POOL, который был ранее создан на шифрованном разделе

<code>zpool import -a</code>

Смотрим, ZFS раздел в порядке

<code>zpool status</code>
...
pool: raid2
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
raid2 ONLINE 0 0 0
gpt/raid2 ONLINE 0 0 0
...
Но объем раздела старый, нерасширенный, так и должно быть

<code>df -h</code>
...
raid2 20T 88K 20T 0% /mnt/raid2
raid2/bkup 21T 1.5T 20T 7% /mnt/raid2/bkup
...
Также видим статус CORRUPT

<code>gpart show /dev/da4.eli</code>
...
=> 40 46875410352 da4.eli GPT (33T) [CORRUPT]
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 8152 - free - (4.0M)
...
Лечим раздел

<code>gpart recover da4.eli</code>
...
da4.eli recovered
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 23437713368 - free - (11T)
...
Расширяем партицию до максимального размера

<code>gpart resize -i 1 /dev/da4.eli</code>
...
da4.elip1 resized
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 70313107416 1 freebsd-zfs (33T)
...
Расширяем ZFS-pool raid2<blockquote>'''raid2''' - пул ZFS

'''/dev/gpt/raid2''' - единственный диск, который входит в пул</blockquote><code>zpool online -e raid2 /dev/gpt/raid2</code>

Смотрим

<code>zpool list</code>
...
raid3 32.5T 28.9T 3.59T - 42% 88% 1.00x ONLINE -
...
<code>df -h</code>
...
raid2 30T 88K 30T 0% /mnt/raid2
raid2/bkup 32T 1.5T 30T 5% /mnt/raid2/bkup
...
Готово! Раздел расширен.
[[Категория:ZFS]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

ZFS. Расширение раздела ZFS

2025-01-05T08:00:01Z

Cless:

= Вариант 1. Расширение ZFS раздела путем увеличения объема диска (например на виртуальной машине) =
Изначально имеем диск 16G

<code>gpart show</code>
...
=> 40 67108791 da5 GPT (16G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (16G)
...
<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 15.5G 544K 15.5G - - 0% 0% 1.00x ONLINE -
da5p1 16.0G 544K 15.5G
...
Выключаем машину (обязательно, иначе будет CORRUPT партиция при просмотре через gpart)

Добавляем объема диску до 32G

Включаем машину

<code>gpart show</code>
...
=> 40 67108791 '''da5''' GPT (32G)
40 2008 - free - (1.0M)
2048 33550336 '''1''' freebsd-zfs (16G)
33552384 33556447 - free - (16G)
...
Расширяем диск до максимального объема<blockquote>'''da5''' - имя диска

'''1''' - номер партиции</blockquote><code>gpart resize -i '''1''' /dev/'''da5'''</code>

'''ИЛИ''' расширяем до определенного размера:<blockquote> '''-s size''' - Specifies the new size of the partition, in logical blocks. An SI unit suffix is allowed.</blockquote><code>gpart resize -i '''2''' '''-s 19G''' da0</code>

Если gpart show показывает статус раздела [CORRUPT]

<code>gpart recover da5</code>

Расширяем ФС<blockquote>Можно включить автоматические расширение для пула, тогда не придется расширять руками:

zpool set autoexpand=on zfspoolname</blockquote><code>zpool online -e d101 da5p1</code>

Смотрим

<code>zpool list -v d101</code>
...
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
d101 31.5G 808K 31.5G - - 0% 0% 1.00x ONLINE -
da5p1 32.0G 808K 31.5G - - 0% 0.00% - ONLINE
...
<code>gpart show</code>
...
=> 40 67108791 da5 GPT (32G)
40 2008 - free - (1.0M)
2048 67106783 1 freebsd-zfs (32G)
...
<code>df -h</code>
...
d101 32G 100K 32G 0% /mnt/d101
...
Готово!

= Вариант 2. Расширение ZFS раздела на фифрованном разделе GELI путем увеличения объема диска (в данном примере через расширение хард-рейда) =

== Ссылки ==
https://genneko.github.io/playing-with-bsd/storage/expanding-zfs-on-geli/

https://www.truenas.com/community/threads/geli-cannot-read-metadata-from-invalid-argument.93142/

== Входные данные ==
- Имеем хардовый RAID5 (24ТБ) в контроллере HP dl380 G9, собранный из 3 дисков 12ТБ

- В nas4free он определяется как /dev/da4 объемом 24ГБ и пришифрован как /dev/da4.elip1

- На da4.elip1 собран ZFS stripe с использованием GPT - /dev/gpt/raid2

== Задача ==
- Необходимо расширить хардовый RAID5 на +1 12ТБ диск (в итоге получим устройство объемом 36ТБ)

== Процесс ==
!!! ОБЯЗАТЕЛЬНО ДЕЛАЕМ БЭКАП МЕТАДАННЫХ ШИФРОВАННОГО ДИСКА '''/dev/da4''' В ФАЙЛ '''da4.eli'''

И СОХРАНЯЕМ ЭТОТ ФАЙЛ ЛОКАЛЬНО

<code>geli backup /dev/da4 /root/da4.eli</code>

Расширяем хард RAID5 через утилиту в BIOS сервера путем добавления одного диска 12ТБ в массив (расширение может длиться 1-2 дня)

Расширяем логический диск на расширенном массиве

Грузимся в nas4free

Копируем ранее сохраненный файл метаданных на '''nas4free''' в <code>/root/</code>

Смотрим размер старого диска - нас интересует "'''provsize: 24000210141184'''"

<code>geli dump /root/da4.eli</code>
...
Metadata on /root/da4.eli:
...
provsize: '''24000210141184'''
...
Восстанавливаем файл метаданных на новый расширенный диск<blockquote>'''-s 24000210141184''' - старый объем диска "'''provsize: 24000210141184'''" до расширения, который мы посмотрели в файле метаданных</blockquote><code>geli resize -v -s 24000210141184 /dev/da4</code>
...
Done.
...
В веб-интерфейсе подключаем шифрованный диск da4 с новым объемом 36ТБ, используя пароль шифрования, с которым создавали старый диск до расширения

!!! НЕ ИСПОЛЬЗУЯ ГАЛКУ "INITIALIZE", ИНАЧЕ УБЪЕМ РАНЕЕ ШИФРОВАННЫЙ ДИСК<blockquote>Аналог процедуры через консоль:

'''geli attach /dev/da4'''</blockquote>Импортируем ZFS POOL, который был ранее создан на шифрованном разделе

<code>zpool import -a</code>

Смотрим, ZFS раздел в порядке

<code>zpool status</code>
...
pool: raid2
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
raid2 ONLINE 0 0 0
gpt/raid2 ONLINE 0 0 0
...
Но объем раздела старый, нерасширенный, так и должно быть

<code>df -h</code>
...
raid2 20T 88K 20T 0% /mnt/raid2
raid2/bkup 21T 1.5T 20T 7% /mnt/raid2/bkup
...
Также видим статус CORRUPT

<code>gpart show /dev/da4.eli</code>
...
=> 40 46875410352 da4.eli GPT (33T) [CORRUPT]
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 8152 - free - (4.0M)
...
Лечим раздел

<code>gpart recover da4.eli</code>
...
da4.eli recovered
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 46875394048 1 freebsd-zfs (22T)
46875402240 23437713368 - free - (11T)
...
Расширяем партицию до максимального размера

<code>gpart resize -i 1 /dev/da4.eli</code>
...
da4.elip1 resized
...
Смотрим

<code>gpart show /dev/da4.eli</code>
...
=> 40 70313115568 da4.eli GPT (33T)
40 8152 - free - (4.0M)
8192 70313107416 1 freebsd-zfs (33T)
...
Расширяем ZFS-pool raid2<blockquote>'''raid2''' - пул ZFS

'''/dev/gpt/raid2''' - единственный диск, который входит в пул</blockquote><code>zpool online -e raid2 /dev/gpt/raid2</code>

Смотрим

<code>zpool list</code>
...
raid3 32.5T 28.9T 3.59T - 42% 88% 1.00x ONLINE -
...
<code>df -h</code>
...
raid2 30T 88K 30T 0% /mnt/raid2
raid2/bkup 32T 1.5T 30T 5% /mnt/raid2/bkup
...
Готово! Раздел расширен.
[[Категория:ZFS]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Kubernetes. AlmaLinux 8. Kubernetes Cluster installation with the only one Master-Node and many Worker-Nodes

2024-12-17T06:34:13Z

Cless:

[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= About =
Install Kubernetes Master + Node at AlmaLinux 8

= Install =

== MASTER '''kub-master-1''' ==

=== Firewalld off ===
<code>systemctl disable --now firewalld.service</code>

=== Selinux OFF ===
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

=== Set hostname ===
<code>hostnamectl set-hostname kub-master-1</code>

Add IP address and hostname resolve to hosts
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF

=== Swap OFF ===
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

=== Bridge settings ===
<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

=== Docker install ===
<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>

=== Kubernetes install ===
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

Autocompletion kubadm

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code><blockquote>'''Relogin to terminal!'''</blockquote>

=== Docker setup ===
<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code>

<code>systemctl status docker</code>
=== Kubernetes init ===
<blockquote>'''ERROR:'''

[ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

'''SOLUTION:'''

sudo rm /etc/containerd/config.toml

sudo systemctl restart containerd</blockquote>'''''--apiserver-advertise-address=192.168.199.184''''' - LAN interface address, if it is not specified, the default address will be used

'''''--pod-network-cidr=172.16.213.0/24''''' - container virtual network

<code>kubeadm init --apiserver-advertise-address=192.168.199.184 --pod-network-cidr=172.16.213.0/24</code>
 ...
 Your Kubernetes control-plane has initialized successfully!
 To start using your cluster, you need to run the following as a regular user:
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
 Alternatively, if you are the root user, you can run:
 export KUBECONFIG=/etc/kubernetes/admin.conf
 You should now deploy a pod network to the cluster.
 Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 <nowiki>https://kubernetes.io/docs/concepts/cluster-administration/addons/</nowiki>
 Then you can join any number of worker nodes by running the following on each as root:
 kubeadm join 192.168.199.184:6443 --token gn2gva.2h73qvdhk0bg6krn \
 --discovery-token-ca-cert-hash sha256:418ca3a0003c8945a1cb9c108992c33aedcebbd1a4ba3960b43230a71eb8cda5
 ...

<code>systemctl enable kubelet</code>

<code>mkdir -p $HOME/.kube</code>

<code>cp -i /etc/kubernetes/admin.conf $HOME/.kube/config</code>

<code>chown $(id -u):$(id -g) $HOME/.kube/config</code>

=== Setup cluster networking ===
We need to deploy the pod's internal network so that containers on different nodes can communicate with each other. POD network is the overlay network between the worker nodes.

An overlay network is a virtual network of nodes and logical links, which are built on top of an existing network.

<code>kubectl apply -f <nowiki>https://docs.projectcalico.org/manifests/calico.yaml</nowiki></code>

Wait about 1 minute

<code>kubectl get nodes</code>

<code>touch /etc/default/kubelet</code>

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.184" > /etc/default/kubelet</code>

If you somehow miss the output from the kubeadm init command, nothing to worry about as you can always run following command to generate the kubeadm join token again.

<code>kubeadm token create --print-join-command</code>
 ...
 kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb
 ...

== WORKERS '''kub-node-1 (you can add additional nodes this way, for example "kub-node-2")''' ==
<code>systemctl disable --now firewalld.service</code>

<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

<code>hostnamectl set-hostname kub-node-1</code>

Add host and IP match to <code>/etc/hosts</code><blockquote>Also you need to add new node host to <code>/etc/hosts</code> of all k8s nodes and masters in cluster. Or use a DNS server to match IP and hostname.</blockquote>
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code>

<code>echo 'alias k=kubectl' >>~/.bashrc</code>

<code>echo 'complete -o default -F __start_kubectl k' >>~/.bashrc</code><blockquote>'''Relogin to terminal!'''</blockquote><code>touch /etc/default/kubelet</code>

'''''--node-ip=192.168.199.186''''' - kub-node-1 IP address

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.186" > /etc/default/kubelet</code>

<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl enable docker</code>

<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code><blockquote> '''ERROR:'''

 [ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

 '''SOLUTION:'''

 sudo rm /etc/containerd/config.toml

 sudo systemctl restart containerd</blockquote><code>kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb</code>

<code>systemctl enable --now kubelet</code>

= Postinstall and info =

== MASTER '''kub-master-1''' ==

=== Set node(s) role "node" ===
<code>kubectl label node kub-node-1 node-role.kubernetes.io/node=</code>

=== Cluster info ===
<code>kubectl cluster-info</code>

=== Master or node info ===
<code>kubectl describe node kub-master-1</code>

<code>kubectl describe node kub-node-1</code>

=== Get nodes ===
<code>kubectl get nodes -o wide</code>
 ...
 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
 master Ready control-plane,master 65m v1.23.1 192.168.199.169 <none> CentOS Linux 8 4.18.0-348.7.1.el8_5.x86_64 docker://20.10.12
 node-1 Ready <none> 2m28s v1.23.1 192.168.199.179 <none> CentOS Linux 8 4.18.0-305.25.1.el8_4.x86_64 docker://20.10.12
 ...

=== Get pods ===
<code>kubectl get pods --all-namespaces</code>
 ...
 NAMESPACE NAME READY STATUS RESTARTS AGE
 kube-system calico-kube-controllers-85b5b5888d-lrsq8 1/1 Running 0 58m
 kube-system calico-node-gwtl6 1/1 Running 0 2m32s
 kube-system calico-node-lbbbv 1/1 Running 0 58m
 kube-system coredns-64897985d-6jv5w 1/1 Running 0 65m
 kube-system coredns-64897985d-n6c9l 1/1 Running 0 65m
 kube-system etcd-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-apiserver-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-controller-manager-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-44l8g 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-ljfsd 1/1 Running 0 2m32s
 kube-system kube-scheduler-master 1/1 Running 1 (64m ago) 65m
 ...

=== Certificates ===
Check certs expiration

<code>kubeadm certs check-expiration</code>
 ...
 [check-expiration] Reading configuration from the cluster...
 [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
 CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTHORITY EXTERNALLY MANAGED
 admin.conf Feb 20, 2023 19:11 UTC 364d ca no
 apiserver Feb 20, 2023 19:10 UTC 364d ca no
 apiserver-etcd-client Feb 20, 2023 19:11 UTC 364d etcd-ca no
 apiserver-kubelet-client Feb 20, 2023 19:10 UTC 364d ca no
 controller-manager.conf Feb 20, 2023 19:11 UTC 364d ca no
 etcd-healthcheck-client Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-peer Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-server Feb 20, 2023 19:10 UTC 364d etcd-ca no
 front-proxy-client Feb 20, 2023 19:10 UTC 364d front-proxy-ca no
 scheduler.conf Feb 20, 2023 19:11 UTC 364d ca no
 CERTIFICATE AUTHORITY EXPIRES RESIDUAL TIME EXTERNALLY MANAGED
 ca Feb 18, 2032 19:10 UTC 9y no
 etcd-ca Feb 18, 2032 19:10 UTC 9y no
 front-proxy-ca Feb 18, 2032 19:10 UTC 9y no
 ...
Renew all certs

<code>kubeadm certs renew all</code>

<code>reboot</code>

Kubernetes. AlmaLinux 8. Kubernetes Cluster installation with the only one Master-Node and many Worker-Nodes

2024-12-16T12:42:12Z

Cless:

[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= About =
Install Kubernetes Master + Node at AlmaLinux 8

= Install =

== MASTER '''kub-master-1''' ==

=== Selinux OFF ===
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

=== Set hostname ===
<code>hostnamectl set-hostname kub-master-1</code>

Add IP address and hostname resolve to hosts
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF

=== Swap OFF ===
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

=== Bridge settings ===
<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

=== Docker install ===
<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>

=== Kubernetes install ===
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

Autocompletion kubadm

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code><blockquote>'''Relogin to terminal!'''</blockquote>

=== Docker setup ===
<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code>

<code>systemctl status docker</code>
=== Kubernetes init ===
<blockquote>'''ERROR:'''

[ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

'''SOLUTION:'''

sudo rm /etc/containerd/config.toml

sudo systemctl restart containerd</blockquote>'''''--apiserver-advertise-address=192.168.199.184''''' - LAN interface address, if it is not specified, the default address will be used

'''''--pod-network-cidr=172.16.213.0/24''''' - container virtual network

<code>kubeadm init --apiserver-advertise-address=192.168.199.184 --pod-network-cidr=172.16.213.0/24</code>
 ...
 Your Kubernetes control-plane has initialized successfully!
 To start using your cluster, you need to run the following as a regular user:
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
 Alternatively, if you are the root user, you can run:
 export KUBECONFIG=/etc/kubernetes/admin.conf
 You should now deploy a pod network to the cluster.
 Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 <nowiki>https://kubernetes.io/docs/concepts/cluster-administration/addons/</nowiki>
 Then you can join any number of worker nodes by running the following on each as root:
 kubeadm join 192.168.199.184:6443 --token gn2gva.2h73qvdhk0bg6krn \
 --discovery-token-ca-cert-hash sha256:418ca3a0003c8945a1cb9c108992c33aedcebbd1a4ba3960b43230a71eb8cda5
 ...

<code>systemctl enable kubelet</code>

<code>mkdir -p $HOME/.kube</code>

<code>cp -i /etc/kubernetes/admin.conf $HOME/.kube/config</code>

<code>chown $(id -u):$(id -g) $HOME/.kube/config</code>

=== Setup cluster networking ===
We need to deploy the pod's internal network so that containers on different nodes can communicate with each other. POD network is the overlay network between the worker nodes.

An overlay network is a virtual network of nodes and logical links, which are built on top of an existing network.

<code>kubectl apply -f <nowiki>https://docs.projectcalico.org/manifests/calico.yaml</nowiki></code>

Wait about 1 minute

<code>kubectl get nodes</code>

<code>touch /etc/default/kubelet</code>

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.184" > /etc/default/kubelet</code>

If you somehow miss the output from the kubeadm init command, nothing to worry about as you can always run following command to generate the kubeadm join token again.

<code>kubeadm token create --print-join-command</code>
 ...
 kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb
 ...

== WORKERS '''kub-node-1 (you can add additional nodes this way, for example "kub-node-2")''' ==
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

<code>hostnamectl set-hostname kub-node-1</code>

Add host and IP match to <code>/etc/hosts</code><blockquote>Also you need to add new node host to <code>/etc/hosts</code> of all k8s nodes and masters in cluster. Or use a DNS server to match IP and hostname.</blockquote>
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code>

<code>echo 'alias k=kubectl' >>~/.bashrc</code>

<code>echo 'complete -o default -F __start_kubectl k' >>~/.bashrc</code><blockquote>'''Relogin to terminal!'''</blockquote><code>touch /etc/default/kubelet</code>

'''''--node-ip=192.168.199.186''''' - kub-node-1 IP address

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.186" > /etc/default/kubelet</code>

<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl enable docker</code>

<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code><blockquote> '''ERROR:'''

 [ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

 '''SOLUTION:'''

 sudo rm /etc/containerd/config.toml

 sudo systemctl restart containerd</blockquote><code>kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb</code>

<code>systemctl enable --now kubelet</code>

= Postinstall and info =

== MASTER '''kub-master-1''' ==

=== Set node(s) role "node" ===
<code>kubectl label node kub-node-1 node-role.kubernetes.io/node=</code>

=== Cluster info ===
<code>kubectl cluster-info</code>

=== Master or node info ===
<code>kubectl describe node kub-master-1</code>

<code>kubectl describe node kub-node-1</code>

=== Get nodes ===
<code>kubectl get nodes -o wide</code>
 ...
 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
 master Ready control-plane,master 65m v1.23.1 192.168.199.169 <none> CentOS Linux 8 4.18.0-348.7.1.el8_5.x86_64 docker://20.10.12
 node-1 Ready <none> 2m28s v1.23.1 192.168.199.179 <none> CentOS Linux 8 4.18.0-305.25.1.el8_4.x86_64 docker://20.10.12
 ...

=== Get pods ===
<code>kubectl get pods --all-namespaces</code>
 ...
 NAMESPACE NAME READY STATUS RESTARTS AGE
 kube-system calico-kube-controllers-85b5b5888d-lrsq8 1/1 Running 0 58m
 kube-system calico-node-gwtl6 1/1 Running 0 2m32s
 kube-system calico-node-lbbbv 1/1 Running 0 58m
 kube-system coredns-64897985d-6jv5w 1/1 Running 0 65m
 kube-system coredns-64897985d-n6c9l 1/1 Running 0 65m
 kube-system etcd-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-apiserver-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-controller-manager-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-44l8g 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-ljfsd 1/1 Running 0 2m32s
 kube-system kube-scheduler-master 1/1 Running 1 (64m ago) 65m
 ...

=== Certificates ===
Check certs expiration

<code>kubeadm certs check-expiration</code>
 ...
 [check-expiration] Reading configuration from the cluster...
 [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
 CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTHORITY EXTERNALLY MANAGED
 admin.conf Feb 20, 2023 19:11 UTC 364d ca no
 apiserver Feb 20, 2023 19:10 UTC 364d ca no
 apiserver-etcd-client Feb 20, 2023 19:11 UTC 364d etcd-ca no
 apiserver-kubelet-client Feb 20, 2023 19:10 UTC 364d ca no
 controller-manager.conf Feb 20, 2023 19:11 UTC 364d ca no
 etcd-healthcheck-client Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-peer Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-server Feb 20, 2023 19:10 UTC 364d etcd-ca no
 front-proxy-client Feb 20, 2023 19:10 UTC 364d front-proxy-ca no
 scheduler.conf Feb 20, 2023 19:11 UTC 364d ca no
 CERTIFICATE AUTHORITY EXPIRES RESIDUAL TIME EXTERNALLY MANAGED
 ca Feb 18, 2032 19:10 UTC 9y no
 etcd-ca Feb 18, 2032 19:10 UTC 9y no
 front-proxy-ca Feb 18, 2032 19:10 UTC 9y no
 ...
Renew all certs

<code>kubeadm certs renew all</code>

<code>reboot</code>

Kubernetes. AlmaLinux 8. Kubernetes Cluster installation with the only one Master-Node and many Worker-Nodes

2024-12-16T12:31:15Z

Cless:

[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= About =
Install Kubernetes Master + Node at AlmaLinux 8

= Install =

== MASTER '''kub-master-1''' ==

=== Selinux OFF ===
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

=== Set hostname ===
<code>hostnamectl set-hostname kub-master-1</code>

Add IP address and hostname resolve to hosts
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF

=== Swap OFF ===
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

=== Bridge settings ===
<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

=== Docker install ===
<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>

=== Kubernetes install ===
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

Autocompletion kubadm

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code><blockquote>'''Relogin to terminal!'''</blockquote>

=== Docker setup ===
<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code>

<code>systemctl status docker</code>
=== Kubernetes init ===
<blockquote>'''ERROR:'''

[ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

'''SOLUTION:'''

sudo rm /etc/containerd/config.toml

sudo systemctl restart containerd</blockquote>'''''--apiserver-advertise-address=192.168.199.184''''' - LAN interface address, if it is not specified, the default address will be used

'''''--pod-network-cidr=172.16.213.0/24''''' - container virtual network

<code>kubeadm init --apiserver-advertise-address=192.168.199.184 --pod-network-cidr=172.16.213.0/24</code>
 ...
 Your Kubernetes control-plane has initialized successfully!
 To start using your cluster, you need to run the following as a regular user:
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
 Alternatively, if you are the root user, you can run:
 export KUBECONFIG=/etc/kubernetes/admin.conf
 You should now deploy a pod network to the cluster.
 Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 <nowiki>https://kubernetes.io/docs/concepts/cluster-administration/addons/</nowiki>
 Then you can join any number of worker nodes by running the following on each as root:
 kubeadm join 192.168.199.184:6443 --token gn2gva.2h73qvdhk0bg6krn \
 --discovery-token-ca-cert-hash sha256:418ca3a0003c8945a1cb9c108992c33aedcebbd1a4ba3960b43230a71eb8cda5
 ...

<code>systemctl enable kubelet</code>

<code>mkdir -p $HOME/.kube</code>

<code>cp -i /etc/kubernetes/admin.conf $HOME/.kube/config</code>

<code>chown $(id -u):$(id -g) $HOME/.kube/config</code>

=== Setup cluster networking ===
We need to deploy the pod's internal network so that containers on different nodes can communicate with each other. POD network is the overlay network between the worker nodes.

An overlay network is a virtual network of nodes and logical links, which are built on top of an existing network.

<code>kubectl apply -f <nowiki>https://docs.projectcalico.org/manifests/calico.yaml</nowiki></code>

Wait about 1 minute

<code>kubectl get nodes</code>

<code>touch /etc/default/kubelet</code>

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.184" > /etc/default/kubelet</code>

If you somehow miss the output from the kubeadm init command, nothing to worry about as you can always run following command to generate the kubeadm join token again.

<code>kubeadm token create --print-join-command</code>
 ...
 kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb
 ...

== WORKERS '''kub-node-1 (you can add additional nodes this way, for example "kub-node-2")''' ==
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

<code>hostnamectl set-hostname kub-node-1</code>

Add host and IP match to <code>/etc/hosts</code><blockquote>Also you need to add new node host to <code>/etc/hosts</code> of all k8s nodes and masters in cluster. Or use a DNS server to match IP and hostname.</blockquote>
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code>

<code>echo 'alias k=kubectl' >>~/.bashrc</code>

<code>echo 'complete -o default -F __start_kubectl k' >>~/.bashrc</code><blockquote>'''Relogin to terminal!'''</blockquote><code>touch /etc/default/kubelet</code>

'''''--node-ip=192.168.199.186''''' - kub-node-1 IP address

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.186" > /etc/default/kubelet</code>

<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl enable docker</code>

<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code><blockquote> '''ERROR:'''

 [ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

 '''SOLUTION:'''

 sudo rm /etc/containerd/config.toml

 sudo systemctl restart containerd</blockquote><code>kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb</code>

<code>systemctl enable kubelet</code>

= Postinstall and info =

== MASTER '''kub-master-1''' ==

=== Set node(s) role "node" ===
<code>kubectl label node kub-node-1 node-role.kubernetes.io/node=</code>

=== Cluster info ===
<code>kubectl cluster-info</code>

=== Master or node info ===
<code>kubectl describe node kub-master-1</code>

<code>kubectl describe node kub-node-1</code>

=== Get nodes ===
<code>kubectl get nodes -o wide</code>
 ...
 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
 master Ready control-plane,master 65m v1.23.1 192.168.199.169 <none> CentOS Linux 8 4.18.0-348.7.1.el8_5.x86_64 docker://20.10.12
 node-1 Ready <none> 2m28s v1.23.1 192.168.199.179 <none> CentOS Linux 8 4.18.0-305.25.1.el8_4.x86_64 docker://20.10.12
 ...

=== Get pods ===
<code>kubectl get pods --all-namespaces</code>
 ...
 NAMESPACE NAME READY STATUS RESTARTS AGE
 kube-system calico-kube-controllers-85b5b5888d-lrsq8 1/1 Running 0 58m
 kube-system calico-node-gwtl6 1/1 Running 0 2m32s
 kube-system calico-node-lbbbv 1/1 Running 0 58m
 kube-system coredns-64897985d-6jv5w 1/1 Running 0 65m
 kube-system coredns-64897985d-n6c9l 1/1 Running 0 65m
 kube-system etcd-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-apiserver-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-controller-manager-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-44l8g 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-ljfsd 1/1 Running 0 2m32s
 kube-system kube-scheduler-master 1/1 Running 1 (64m ago) 65m
 ...

=== Certificates ===
Check certs expiration

<code>kubeadm certs check-expiration</code>
 ...
 [check-expiration] Reading configuration from the cluster...
 [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
 CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTHORITY EXTERNALLY MANAGED
 admin.conf Feb 20, 2023 19:11 UTC 364d ca no
 apiserver Feb 20, 2023 19:10 UTC 364d ca no
 apiserver-etcd-client Feb 20, 2023 19:11 UTC 364d etcd-ca no
 apiserver-kubelet-client Feb 20, 2023 19:10 UTC 364d ca no
 controller-manager.conf Feb 20, 2023 19:11 UTC 364d ca no
 etcd-healthcheck-client Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-peer Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-server Feb 20, 2023 19:10 UTC 364d etcd-ca no
 front-proxy-client Feb 20, 2023 19:10 UTC 364d front-proxy-ca no
 scheduler.conf Feb 20, 2023 19:11 UTC 364d ca no
 CERTIFICATE AUTHORITY EXPIRES RESIDUAL TIME EXTERNALLY MANAGED
 ca Feb 18, 2032 19:10 UTC 9y no
 etcd-ca Feb 18, 2032 19:10 UTC 9y no
 front-proxy-ca Feb 18, 2032 19:10 UTC 9y no
 ...
Renew all certs

<code>kubeadm certs renew all</code>

<code>reboot</code>

Kubernetes. AlmaLinux 8. Kubernetes Cluster installation with the only one Master-Node and many Worker-Nodes

2024-12-16T12:25:52Z

Cless:

[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= About =
Install Kubernetes Master + Node at AlmaLinux 8

= Install =

== MASTER '''kub-master-1''' ==

=== Selinux OFF ===
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

=== Set hostname ===
<code>hostnamectl set-hostname kub-master-1</code>

Add IP address and hostname resolve to hosts
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF

=== Swap OFF ===
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

=== Bridge settings ===
<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

=== Docker install ===
<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>

=== Kubernetes install ===
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

Autocompletion kubadm

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code><blockquote>'''Relogin to terminal!'''</blockquote>

=== Docker setup ===
<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code>

<code>systemctl status docker</code><blockquote># init

 '''ERROR:'''

 [ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

 '''SOLUTION:'''

 sudo rm /etc/containerd/config.toml

 sudo systemctl restart containerd

 sudo kubeadm init</blockquote>

=== Kubernetes init ===
'''''--apiserver-advertise-address=192.168.199.184''''' - LAN interface address, if it is not specified, the default address will be used

'''''--pod-network-cidr=172.16.213.0/24''''' - container virtual network

<code>kubeadm init --apiserver-advertise-address=192.168.199.184 --pod-network-cidr=172.16.213.0/24</code>
 ...
 Your Kubernetes control-plane has initialized successfully!
 To start using your cluster, you need to run the following as a regular user:
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
 Alternatively, if you are the root user, you can run:
 export KUBECONFIG=/etc/kubernetes/admin.conf
 You should now deploy a pod network to the cluster.
 Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 <nowiki>https://kubernetes.io/docs/concepts/cluster-administration/addons/</nowiki>
 Then you can join any number of worker nodes by running the following on each as root:
 kubeadm join 192.168.199.184:6443 --token gn2gva.2h73qvdhk0bg6krn \
 --discovery-token-ca-cert-hash sha256:418ca3a0003c8945a1cb9c108992c33aedcebbd1a4ba3960b43230a71eb8cda5
 ...

<code>systemctl enable kubelet</code>

<code>mkdir -p $HOME/.kube</code>

<code>cp -i /etc/kubernetes/admin.conf $HOME/.kube/config</code>

<code>chown $(id -u):$(id -g) $HOME/.kube/config</code>

=== Setup cluster networking ===
We need to deploy the pod's internal network so that containers on different nodes can communicate with each other. POD network is the overlay network between the worker nodes.

An overlay network is a virtual network of nodes and logical links, which are built on top of an existing network.

<code>kubectl apply -f <nowiki>https://docs.projectcalico.org/manifests/calico.yaml</nowiki></code>

Wait about 1 minute

<code>kubectl get nodes</code>

<code>touch /etc/default/kubelet</code>

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.184" > /etc/default/kubelet</code>

If you somehow miss the output from the kubeadm init command, nothing to worry about as you can always run following command to generate the kubeadm join token again.

<code>kubeadm token create --print-join-command</code>
 ...
 kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb
 ...

== WORKERS '''kub-node-1 (you can add additional nodes this way, for example "kub-node-2")''' ==
<code>setenforce 0</code>

<code>sed -i 's/#\?$SELINUX\=$.*$/\1disabled/' /etc/sysconfig/selinux</code>

<code>reboot</code>

<code>hostnamectl set-hostname kub-node-1</code>

Add host and IP match to <code>/etc/hosts</code><blockquote>Also you need to add new node host to <code>/etc/hosts</code> of all k8s nodes and masters in cluster. Or use a DNS server to match IP and hostname.</blockquote>
cat <<EOF>> /etc/hosts
192.168.199.184 kub-master-1
192.168.199.186 kub-node-1
192.168.199.187 kub-node-2
EOF
<code>swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab</code>

<code>modprobe br_netfilter</code>

<code>echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables</code>

<code>dnf config-manager --add-repo=<nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf install -y containerd.io</code>

<code>dnf install -y --nobest docker-ce</code>

<code>systemctl enable docker</code>

<code>systemctl start docker</code>
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/</nowiki>
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=<nowiki>https://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key</nowiki>
exclude=kubelet kubeadm kubectl
EOF
<code>yum repolist</code>

<code>yum update -y</code>

<code>yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes</code>

<code>yum install bash-completion -y</code>

<code>curl <nowiki>https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker</nowiki> -o /etc/bash_completion.d/docker.sh</code>

<code>echo 'source <(kubectl completion bash)' >>~/.bashrc</code>

<code>kubectl completion bash >/etc/bash_completion.d/kubectl</code>

<code>echo 'source <(kubeadm completion bash)' >>~/.bashrc</code>

<code>kubeadm completion bash >/etc/bash_completion.d/kubeadm</code>

<code>echo 'alias k=kubectl' >>~/.bashrc</code>

<code>echo 'complete -o default -F __start_kubectl k' >>~/.bashrc</code><blockquote>'''Relogin to terminal!'''</blockquote><code>touch /etc/default/kubelet</code>

'''''--node-ip=192.168.199.186''''' - kub-node-1 IP address

<code>echo "KUBELET_EXTRA_ARGS=--node-ip=192.168.199.186" > /etc/default/kubelet</code>

<code>mkdir /etc/docker</code>
cat <<EOF | sudo tee /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
 "max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
<code>systemctl enable docker</code>

<code>systemctl daemon-reload</code>

<code>systemctl restart docker</code>

<code>kubeadm reset</code><blockquote> '''ERROR:'''

 [ERROR CRI]: container runtime is not running: output: time="2022-05-20T02:06:28Z" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"

 '''SOLUTION:'''

 sudo rm /etc/containerd/config.toml

 sudo systemctl restart containerd</blockquote><code>kubeadm join 192.168.199.184:6443 --token 2qw1q0.hnmu7eggccf7172y --discovery-token-ca-cert-hash sha256:c7832b18f117af05346cf019aa7a9d3ca0029c65a69320f7cb807147ee975efb</code>

<code>systemctl enable kubelet</code>

= Postinstall and info =

== MASTER '''kub-master-1''' ==

=== Set node(s) role "node" ===
<code>kubectl label node kub-node-1 node-role.kubernetes.io/node=</code>

=== Cluster info ===
<code>kubectl cluster-info</code>

=== Master or node info ===
<code>kubectl describe node kub-master-1</code>

<code>kubectl describe node kub-node-1</code>

=== Get nodes ===
<code>kubectl get nodes -o wide</code>
 ...
 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
 master Ready control-plane,master 65m v1.23.1 192.168.199.169 <none> CentOS Linux 8 4.18.0-348.7.1.el8_5.x86_64 docker://20.10.12
 node-1 Ready <none> 2m28s v1.23.1 192.168.199.179 <none> CentOS Linux 8 4.18.0-305.25.1.el8_4.x86_64 docker://20.10.12
 ...

=== Get pods ===
<code>kubectl get pods --all-namespaces</code>
 ...
 NAMESPACE NAME READY STATUS RESTARTS AGE
 kube-system calico-kube-controllers-85b5b5888d-lrsq8 1/1 Running 0 58m
 kube-system calico-node-gwtl6 1/1 Running 0 2m32s
 kube-system calico-node-lbbbv 1/1 Running 0 58m
 kube-system coredns-64897985d-6jv5w 1/1 Running 0 65m
 kube-system coredns-64897985d-n6c9l 1/1 Running 0 65m
 kube-system etcd-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-apiserver-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-controller-manager-master 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-44l8g 1/1 Running 1 (64m ago) 65m
 kube-system kube-proxy-ljfsd 1/1 Running 0 2m32s
 kube-system kube-scheduler-master 1/1 Running 1 (64m ago) 65m
 ...

=== Certificates ===
Check certs expiration

<code>kubeadm certs check-expiration</code>
 ...
 [check-expiration] Reading configuration from the cluster...
 [check-expiration] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
 CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTHORITY EXTERNALLY MANAGED
 admin.conf Feb 20, 2023 19:11 UTC 364d ca no
 apiserver Feb 20, 2023 19:10 UTC 364d ca no
 apiserver-etcd-client Feb 20, 2023 19:11 UTC 364d etcd-ca no
 apiserver-kubelet-client Feb 20, 2023 19:10 UTC 364d ca no
 controller-manager.conf Feb 20, 2023 19:11 UTC 364d ca no
 etcd-healthcheck-client Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-peer Feb 20, 2023 19:10 UTC 364d etcd-ca no
 etcd-server Feb 20, 2023 19:10 UTC 364d etcd-ca no
 front-proxy-client Feb 20, 2023 19:10 UTC 364d front-proxy-ca no
 scheduler.conf Feb 20, 2023 19:11 UTC 364d ca no
 CERTIFICATE AUTHORITY EXPIRES RESIDUAL TIME EXTERNALLY MANAGED
 ca Feb 18, 2032 19:10 UTC 9y no
 etcd-ca Feb 18, 2032 19:10 UTC 9y no
 front-proxy-ca Feb 18, 2032 19:10 UTC 9y no
 ...
Renew all certs

<code>kubeadm certs renew all</code>

<code>reboot</code>

Minikube. Almalinux 8. Installation

2024-12-12T16:50:45Z

Cless:

= Links =
https://technixleo.com/run-minikube-kubernetes-on-centos-almalinux-rhel/

= Description =
Minikube requires your system to be running on a virtual machine environment or a docker container.

= Common installation =
<code>dnf update -y</code>

Install KVM and its dependencies with the following command

<code>dnf install -y qemu-kvm qemu-img libvirt virt-install libvirt-client conntrack</code>

Enable and start the libvirtd service

<code>systemctl enable --now libvirtd</code>

Check for the libvirtd service status

<code>systemctl status libvirtd</code>

Docker install

<code>dnf -y config-manager --add-repo <nowiki>https://download.docker.com/linux/centos/docker-ce.repo</nowiki></code>

<code>dnf -y remove podman buildah</code>

<code>dnf -y install docker-ce docker-ce-cli containerd.io</code>

<code>systemctl enable --now docker.service</code>

<code>docker version</code>

Create user libvirt and add one to groups libvirt, docker

<code>adduser libvirt -g libvirt</code>

<code>passwd libvirt</code>

<code>sudo usermod -a -G libvirt libvirt</code>

<code>sudo usermod -a -G docker libvirt</code>

<code>newgrp libvirt</code>

Sdoers file edit

<code>nano /etc/sudoers</code>
...
%libvirt ALL=(ALL) NOPASSWD: ALL
Edit the main configuration file

<code>nano /etc/libvirt/libvirtd.conf</code>

Set the UNIX domain socket group ownership to libvirt by uncommenting the following line. In other words, remove the #.

<code>unix_sock_group = "libvirt"</code>

Set the UNIX socket permissions for the R/W socket by uncommenting the following line and setting the correct permissions.

<code>unix_sock_rw_perms = "0770"</code>

Save the file and restart the Libvirtd service.

<code>systemctl restart libvirtd</code>

= Install minikube =
Download the latest release of Minikube from the Github Latest releases page and install it.

Alternatively, you can install Minikube using the following command.

<code>curl -LO <nowiki>https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64</nowiki></code>

<code>install minikube-linux-amd64 /usr/local/bin/minikube</code>

Check for the Minikube version to confirm successful installation.

<code>minikube version</code>

= Configure kubectl =
Install kubectl Locally

<code>curl -LO <nowiki>https://storage.googleapis.com/kubernetes-release/release/`curl</nowiki> -s <nowiki>https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectl</nowiki></code>

Make the file executable.

<code>chmod +x ./kubectl</code>

Move it to a directory that is on $PATH.

<code>mv ./kubectl /usr/local/bin/kubectl</code>

Confirm successful installation by checking the version.

<code>kubectl version --client -o json</code>

= Start minikube =
Login to libvirt user

<code>su - libvirt</code>

To start using Minikube as a single node cluster, run the following command

<code>minikube start --addons=ingress</code>

= Run as service =
EXIT to root

<code>nano /etc/systemd/system/minikube.service</code>
[Unit]
Description=Runs minikube on startup
After=docker

[Service]
ExecStart=/usr/local/bin/minikube start
ExecStop=/usr/local/bin/minikube stop
Type=oneshot
RemainAfterExit=yes
User=libvirt
Group=libvirt

[Install]
WantedBy=multi-user.target
<code>systemctl enable --now minikube</code>

<code>reboot</code>

You have to work with minikube as user "libvirt"

<code>su - libvirt</code>
[[Категория:AlmaLinux 8]]
[[Категория:Kubernetes]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Linux. Virtual memory

2024-11-26T20:46:24Z

Cless:

= Общая информация =
Любой запущенный процесс получает собственный выделенный участок памяти. Но этот участок не отображается на доступные физические адреса, а использует виртуальное адресное пространство, которое является дополнительным слоем абстракции между процессом и физической памятью. Для сопоставления адресов между виртуальной и физической памятью используются специальные структуры - таблицы страниц.

Что это дает? Во-первых, изоляцию процессов друг от друга, каждый из них работает в собственном виртуальном адресном пространстве и не имеет доступа к памяти других процессов. Во-вторых, позволяет системе гибко управлять физической памятью, например, для неактивного процесса часть страниц может быть перенесено из оперативной памяти в пространства подкачки, но это никак не повлияет на работу самого процесса, его адресное пространство не изменится, поменяется лишь трансляция в таблице страниц. И, наконец, это позволяет экономить физическую память, так если несколько процессов используют одни и те же данные, то система может транслировать адреса виртуальных пространств на один и тот же участок физической памяти.

Таким образом размер виртуальной памяти в системе теоретически ничем не ограничен и общий ее объем может существенно превышать имеющуюся в наличии физическую память. И в этом нет ничего плохого, например, мы запустили несколько графических приложений, для работы которым требуются библиотеки Qt или GTK, но нужно ли каждый раз загружать их в память? Нет, достаточно сделать это один раз, а затем просто транслировать адреса виртуальной памяти процессов на одни и те же участки физической памяти. Но при этом каждый процесс будет думать, что у него загружена собственная копия библиотек.

= Виды кэша =
'''PageCache''' или '''страничный кэш''' - это место, куда ядро складывает все данные, которые были записаны или считаны из диска.

Кэш '''inode''' и '''dentrie''' - тоже относится к файловой системе. Только в него записываются не сами данные, а структура файловой системы, расположение файлов и папок.

= Работа с памятью =
{| class="wikitable"
|'''cat /proc/meminfo'''
|Информация об объеме RAM, SWAP и другая информация
|-
|'''free -m'''
|Общий объем памяти (RAM, SWAP), количество использованной, свободной памяти в МБайтах [1]
|-
|'''free -m -s 5'''
|Вывод в других единицах — с ключами:-b байтах; -m мегабайтах; -g гигабайтах, -s запустить с заданным периодом обновления информации
|-
|'''<nowiki>free -m | awk 'NR==2{printf "Memory Usage: %s/%sMB (%.2f%%)\n", $3,$2,$3*100/$2}</nowiki>'''
|Расчет использования оперативной памяти
|-
| colspan="2" |'''Очистка кэша памяти'''
|-
|'''free -h'''
|Посмотреть размер страничного кэша можно в последней колонке - cached
|-
|'''<nowiki>cat /proc/slabinfo | egrep dentry\|inode</nowiki>'''
|Просмотр кэша inode и dentrie, относящихся к файловой системе.
В него записываются не сами данные, а структура файловой системы, расположение файлов и папок.
|-
|'''sync; echo 1 > /proc/sys/vm/drop_caches'''
|Очистка кэша PageCache
|-
|'''sync; echo 2 > /proc/sys/vm/drop_caches'''
|Очистка inode и dentrie
|-
|'''sync; echo 3 > /proc/sys/vm/drop_caches'''
|Очистка inode и dentrie и PageCache
|}

= Описание колонок в выводе команды free =
total — общее количество памяти;
used — реально использующая в данный момент и зарезервированная системой память;
free — свободная память (total минус used);
shared — Shared memory или Разделяемая память, можно посмотреть командой ipcs;
buffers — буферы в памяти — страницы памяти, зарезервированные системой для выделения их процессам, когда они затребуют этого, так же известна как heap-memory;
cached — файлы, которые недавно были использованы системой/процессами и хранящиеся в памяти на случай если вскоре они снова потребуются. '''(Страницы которые изменились в памяти но не изменились на диске помечаются грязными (Dirty). Грязные страницы записываются на диск по расписанию или утилитой sync)'''

[[Категория:Linux]]
[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__
__БЕЗ_РЕДАКТИРОВАНИЯ_РАЗДЕЛА__

Linux. Top

2024-11-26T20:37:52Z

Cless:

[[Категория:Linux]]
[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Shortcuts =

=== Человеческое отображение объема памяти (human readable) ===
"'''e'''" в процессе работы top

=== Отсортировать по памяти ===
"'''M'''" в процессе работы top

=== Информация о процессе ===
<code>top -b -n 1 -p 1184</code>

= TOP LEGEND =

== '''%Cpu(s):''' ==
In "top" what are us, sy, ni, id, wa, hi, si and st (for CPU usage)?

'''us''' - user cpu time (or) % CPU time spent in user space

'''sy''' - system cpu time (or) % CPU time spent in kernel space

'''ni''' - user nice cpu time (or) % CPU time spent on low priority processes

'''id''' - idle cpu time (or) % CPU time spent idle

'''wa''' - io wait cpu time (or) % CPU time spent in wait (on disk)

'''hi''' - hardware irq (or) % CPU time spent servicing/handling hardware interrupts

'''si''' - software irq (or) % CPU time spent servicing/handling software interrupts

'''st''' - steal time % CPU time in involuntary wait by virtual cpu while hypervisor is servicing another processor (or) % CPU time stolen from a virtual machine

== '''Process table''' ==
The column headings in the process list are as follows:

'''PID''': Process ID.

'''USER''': The owner of the process.

'''PR''': Process priority.

'''NI''': The nice value of the process.

'''VIRT''': Amount of virtual memory used by the process.

Virtual memory, labelled VIRT: How much memory your process thinks it’s using. Usually much bigger than RES, thanks to the Linux kernel’s clever memory management.

This includes swapped memory, the memory from external libraries, and allocated memory that’s not used.

'''RES''': Amount of resident memory used by the process.

Resident memory, labelled RES: How much physical memory, how much RAM, your process is using. RES is the important number.

This includes memory allocated from shared libraries, given they are still present in memory. Also, it includes all heap and stack memory.

'''SHR''': Amount of shared memory used by the process.

'''S''': Status of the process. (See the list below for the values this field can take).

'''%CPU''': The share of CPU time used by the process since the last update.

'''%MEM''': The share of physical memory used.

'''TIME+''': Total CPU time used by the task in hundredths of a second.

'''COMMAND''': The command name or command line (name + options).

Linux. Top

2024-11-26T20:30:48Z

Cless:

[[Категория:Linux]]
[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Shortcuts =

=== Человеческое отображение объема памяти (human readable) ===
"'''e'''" в процессе работы top

=== Отсортировать по памяти ===
"'''M'''" в процессе работы top

=== Информация о процессе ===
<code>top -b -n 1 -p 1184</code>

= TOP LEGEND =

== '''%Cpu(s):''' ==
In "top" what are us, sy, ni, id, wa, hi, si and st (for CPU usage)?

'''us''' - user cpu time (or) % CPU time spent in user space

'''sy''' - system cpu time (or) % CPU time spent in kernel space

'''ni''' - user nice cpu time (or) % CPU time spent on low priority processes

'''id''' - idle cpu time (or) % CPU time spent idle

'''wa''' - io wait cpu time (or) % CPU time spent in wait (on disk)

'''hi''' - hardware irq (or) % CPU time spent servicing/handling hardware interrupts

'''si''' - software irq (or) % CPU time spent servicing/handling software interrupts

'''st''' - steal time % CPU time in involuntary wait by virtual cpu while hypervisor is servicing another processor (or) % CPU time stolen from a virtual machine

== '''Process table''' ==
The column headings in the process list are as follows:

'''PID''': Process ID.

'''USER''': The owner of the process.

'''PR''': Process priority.

'''NI''': The nice value of the process.

'''VIRT''': Amount of virtual memory used by the process.

Virtual memory, labelled VIRT: How much memory your process thinks it’s using. Usually much bigger than RES, thanks to the Linux kernel’s clever memory management.

'''RES''': Amount of resident memory used by the process.

Resident memory, labelled RES: How much physical memory, how much RAM, your process is using. RES is the important number.

'''SHR''': Amount of shared memory used by the process.

'''S''': Status of the process. (See the list below for the values this field can take).

'''%CPU''': The share of CPU time used by the process since the last update.

'''%MEM''': The share of physical memory used.

'''TIME+''': Total CPU time used by the task in hundredths of a second.

'''COMMAND''': The command name or command line (name + options).

Linux. Top

2024-11-26T20:29:15Z

Cless:

[[Категория:Linux]]
[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Shortcuts =

=== Человеческое отображение объема памяти (human readable) ===
"'''e'''" в процессе работы top

=== Отсортировать по памяти ===
"'''M'''" в процессе работы top

=== Информация о процессе ===
<code>top -b -n 1 -p 1184</code>

= TOP LEGEND =

== '''%Cpu(s):''' ==
In "top" what are us, sy, ni, id, wa, hi, si and st (for CPU usage)?

'''us''' - user cpu time (or) % CPU time spent in user space

'''sy''' - system cpu time (or) % CPU time spent in kernel space

'''ni''' - user nice cpu time (or) % CPU time spent on low priority processes

'''id''' - idle cpu time (or) % CPU time spent idle

'''wa''' - io wait cpu time (or) % CPU time spent in wait (on disk)

'''hi''' - hardware irq (or) % CPU time spent servicing/handling hardware interrupts

'''si''' - software irq (or) % CPU time spent servicing/handling software interrupts

'''st''' - steal time % CPU time in involuntary wait by virtual cpu while hypervisor is servicing another processor (or) % CPU time stolen from a virtual machine

== '''Process table''' ==
The column headings in the process list are as follows:

'''PID''': Process ID.

'''USER''': The owner of the process.

'''PR''': Process priority.

'''NI''': The nice value of the process.

'''VIRT''': Amount of virtual memory used by the process.

Virtual memory, labelled VIRT: How much memory your process thinks it’s using. Usually much bigger than RES, thanks to the Linux kernel’s clever memory management.

'''RES''': Amount of resident memory used by the process.

Resident memory, labelled RES: How much physical memory, how much RAM, your process is using. RES is the important number.

'''SHR''': Amount of shared memory used by the process.

'''S''': Status of the process. (See the list below for the values this field can take).

'''%CPU''': The share of CPU time used by the process since the last update.

'''%MEM''': The share of physical memory used.

'''TIME+''': Total CPU time used by the task in hundredths of a second.

'''COMMAND''': The command name or command line (name + options).

<nowiki>--------------------------------------------------------------------------------</nowiki>

Linux. Top

2024-11-26T20:26:41Z

Cless: Новая страница: «Категория:Linux Категория:Self-education __ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__»

[[Категория:Linux]]
[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Linux. Signals

2024-11-26T19:45:42Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Сигнал в операционных системах семейства Unix — асинхронное уведомление процесса о каком-либо событии, один из основных способов взаимодействия между процессами. Когда сигнал послан процессу, операционная система прерывает выполнение процесса, при этом, если процесс установил собственный ''обработчик сигнала'', операционная система запускает этот обработчик, передав ему информацию о сигнале, если процесс не установил обработчик, то выполняется обработчик по умолчанию.

Названия сигналов «SIG…» являются числовыми константами (макроопределениями Си) со значениями, определяемыми в заголовочном файле <code>signal.h</code>. Числовые значения сигналов могут меняться от системы к системе, хотя основная их часть имеет в разных системах одни и те же значения. Утилита <code>kill</code> позволяет задавать сигнал как числом, так и символьным обозначением.

Спецификация сигналов включена в стандарты POSIX.

== Посылка сигналов ==

Сигналы посылаются:

* из терминала, нажатием специальных клавиш или комбинаций (например, нажатие Ctrl-C генерирует SIGINT, Ctrl-\ SIGQUIT, а Ctrl-Z SIGTSTP);
* ядром системы:
** при возникновении аппаратных исключений (недопустимых инструкций, нарушениях при обращении в память, системных сбоях и т. п.);
** ошибочных системных вызовах;
** для информирования о событиях ввода-вывода;
* одним процессом другому (или самому себе), с помощью системного вызова <code>kill()</code>, в том числе:
** из shell, утилитой <code>/bin/kill</code>.

Сигналы не могут быть посланы завершившемуся процессу, находящемуся в состоянии «зомби».

== Обработка сигналов ==

Обработчик по умолчанию для большинства сигналов завершает выполнение процесса. Для альтернативной обработки всех сигналов, за исключением SIGKILL и SIGSTOP, процесс может назначить свой обработчик или игнорировать их возникновение модификацией своей ''сигнальной маски''. Единственное исключение — процесс с pid 1 (init), который имеет право игнорировать или обрабатывать любые сигналы, включая KILL и STOP.

== Безопасность ==

Процесс (или пользователь из оболочки) с эффективным UID, не равным 0 (UID суперпользователя), может посылать сигналы только процессам с тем же UID.

== Классификация сигналов ==

POSIX определяет 28 сигналов, которые можно классифицировать следующим образом:
{| class="wikitable sortable"
|+
!Название
!Портируемый код
!Действие по умолчанию
!Описание
!Тип
|-
|SIGABRT
|6
|Завершение с дампом памяти
|Сигнал, посылаемый функцией <code>abort()</code>
|Управление
|-
|SIGALRM
|14
|Завершение
|Сигнал истечения времени, заданного <code>alarm()</code>
|Уведомление
|-
|SIGBUS
|—
|Завершение с дампом памяти
|Неправильное обращение в физическую память
|Исключение
|-
|SIGCHLD
|—
|Игнорируется
|Дочерний процесс завершен или остановлен
|Уведомление
|-
|SIGCONT
|—
|Продолжить выполнение
|Продолжить выполнение ранее остановленного процесса
|Управление
|-
|SIGFPE
|8
|Завершение с дампом памяти
|Ошибочная арифметическая операция
|Исключение
|-
|SIGHUP
|1
|Завершение
|Закрытие терминала
|Уведомление
|-
|SIGILL
|4
|Завершение с дампом памяти
|Недопустимая инструкция процессора
|Исключение
|-
|SIGINT
|2
|Завершение
|Сигнал прерывания (Ctrl-C) с терминала
|Управление
|-
|'''SIGKILL'''
|'''9'''
|'''Завершение'''
|'''Безусловное завершение'''
|'''Управление'''
|-
|SIGPIPE
|13
|Завершение
|Запись в разорванное соединение (пайп, сокет)
|Уведомление
|-
|SIGQUIT
|3
|Завершение с дампом памяти
|Сигнал «Quit» с терминала (Ctrl-\)
|Управление
|-
|SIGSEGV
|11
|Завершение с дампом памяти
|Нарушение при обращении в память
|Исключение
|-
|SIGSTOP
|—
|Остановка процесса
|Остановка выполнения процесса
|Управление
|-
|'''SIGTERM'''
|'''15'''
|'''Завершение'''
|'''Сигнал завершения (сигнал по умолчанию для утилиты kill)'''
|'''Управление'''
|-
|SIGTSTP
|—
|Остановка процесса
|Сигнал остановки с терминала (Ctrl-Z).
|Управление
|-
|SIGTTIN
|—
|Остановка процесса
|Попытка чтения с терминала фоновым процессом
|Управление
|-
|SIGTTOU
|—
|Остановка процесса
|Попытка записи на терминал фоновым процессом
|Управление
|-
|SIGUSR1
|—
|Завершение
|Пользовательский сигнал № 1
|Пользовательский
|-
|SIGUSR2
|—
|Завершение
|Пользовательский сигнал № 2
|Пользовательский
|-
|SIGPOLL
|—
|Завершение
|Событие, отслеживаемое <code>poll()</code>
|Уведомление
|-
|SIGPROF
|—
|Завершение
|Истечение таймера профилирования
|Отладка
|-
|SIGSYS
|—
|Завершение с дампом памяти
|Неправильный системный вызов
|Исключение
|-
|SIGTRAP
|5
|Завершение с дампом памяти
|Ловушка трассировки или брейкпоинт
|Отладка
|-
|SIGURG
|—
|Игнорируется
|На сокете получены срочные данные
|Уведомление
|-
|SIGVTALRM
|—
|Завершение
|Истечение «виртуального таймера»
|Уведомление
|-
|SIGXCPU
|—
|Завершение с дампом памяти
|Процесс превысил лимит процессорного времени
|Исключение
|-
|SIGXFSZ
|—
|Завершение с дампом памяти
|Процесс превысил допустимый размер файла
|Исключение
|+
|}
Также есть сигналы, не определённые в POSIX, но присутствующие на некоторых операционных системах.

* SIGEMT
* [[SIGINFO&action=edit&redlink=1|SIGINFO]]. Посылается процессу, когда запрос статуса (info) получен от управляющего терминала.
* SIGPWR
* SIGLOST
* SIGWINCH
* SIGSTKFLT
* SIGUNUSED
* SIGCLD

При обработке исключений и отладочных сигналов перед завершением процесс может записать в текущий каталог файл с дампом памяти процесса (англ. core image), используя который, отладчик может восстановить условия, при которых возникло данное исключение. Иногда (например, для программ, выполняемых от имени суперпользователя) дамп памяти не создаётся из соображений безопасности.

Linux. Signals

2024-11-26T19:42:52Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Сигнал в операционных системах семейства Unix — асинхронное уведомление процесса о каком-либо событии, один из основных способов взаимодействия между процессами. Когда сигнал послан процессу, операционная система прерывает выполнение процесса, при этом, если процесс установил собственный ''обработчик сигнала'', операционная система запускает этот обработчик, передав ему информацию о сигнале, если процесс не установил обработчик, то выполняется обработчик по умолчанию.

Названия сигналов «SIG…» являются числовыми константами (макроопределениями Си) со значениями, определяемыми в заголовочном файле <code>signal.h</code>. Числовые значения сигналов могут меняться от системы к системе, хотя основная их часть имеет в разных системах одни и те же значения. Утилита <code>kill</code> позволяет задавать сигнал как числом, так и символьным обозначением.

Спецификация сигналов включена в стандарты POSIX.

== Посылка сигналов ==

Сигналы посылаются:

* из терминала, нажатием специальных клавиш или комбинаций (например, нажатие Ctrl-C генерирует SIGINT, Ctrl-\ SIGQUIT, а Ctrl-Z SIGTSTP);
* ядром системы:
** при возникновении аппаратных исключений (недопустимых инструкций, нарушениях при обращении в память, системных сбоях и т. п.);
** ошибочных системных вызовах;
** для информирования о событиях ввода-вывода;
* одним процессом другому (или самому себе), с помощью системного вызова <code>kill()</code>, в том числе:
** из shell, утилитой <code>/bin/kill</code>.

Сигналы не могут быть посланы завершившемуся процессу, находящемуся в состоянии «зомби».

== Обработка сигналов ==

Обработчик по умолчанию для большинства сигналов завершает выполнение процесса. Для альтернативной обработки всех сигналов, за исключением SIGKILL и SIGSTOP, процесс может назначить свой обработчик или игнорировать их возникновение модификацией своей ''сигнальной маски''. Единственное исключение — процесс с pid 1 (init), который имеет право игнорировать или обрабатывать любые сигналы, включая KILL и STOP.

== Безопасность ==

Процесс (или пользователь из оболочки) с эффективным UID, не равным 0 (UID суперпользователя), может посылать сигналы только процессам с тем же UID.

== Классификация сигналов ==

POSIX определяет 28 сигналов, которые можно классифицировать следующим образом:
{| class="wikitable sortable"
|+
!Название
!Портируемый код
!Действие по умолчанию
!Описание
!Тип
|-
|SIGABRT
|6
|Завершение с дампом памяти
|Сигнал, посылаемый функцией <code>abort()</code>
|Управление
|-
|SIGALRM
|14
|Завершение
|Сигнал истечения времени, заданного <code>alarm()</code>
|Уведомление
|-
|SIGBUS
|—
|Завершение с дампом памяти
|Неправильное обращение в физическую память
|Исключение
|-
|SIGCHLD
|—
|Игнорируется
|Дочерний процесс завершен или остановлен
|Уведомление
|-
|SIGCONT
|—
|Продолжить выполнение
|Продолжить выполнение ранее остановленного процесса
|Управление
|-
|SIGFPE
|8
|Завершение с дампом памяти
|Ошибочная арифметическая операция
|Исключение
|-
|SIGHUP
|1
|Завершение
|Закрытие терминала
|Уведомление
|-
|SIGILL
|4
|Завершение с дампом памяти
|Недопустимая инструкция процессора
|Исключение
|-
|SIGINT
|2
|Завершение
|Сигнал прерывания (Ctrl-C) с терминала
|Управление
|-
|SIGKILL
|9
|Завершение
|Безусловное завершение
|Управление
|-
|SIGPIPE
|13
|Завершение
|Запись в разорванное соединение (пайп, сокет)
|Уведомление
|-
|SIGQUIT
|3
|Завершение с дампом памяти
|Сигнал «Quit» с терминала (Ctrl-\)
|Управление
|-
|SIGSEGV
|11
|Завершение с дампом памяти
|Нарушение при обращении в память
|Исключение
|-
|SIGSTOP
|—
|Остановка процесса
|Остановка выполнения процесса
|Управление
|-
|SIGTERM
|15
|Завершение
|Сигнал завершения (сигнал по умолчанию для утилиты kill)
|Управление
|-
|SIGTSTP
|—
|Остановка процесса
|Сигнал остановки с терминала (Ctrl-Z).
|Управление
|-
|SIGTTIN
|—
|Остановка процесса
|Попытка чтения с терминала фоновым процессом
|Управление
|-
|SIGTTOU
|—
|Остановка процесса
|Попытка записи на терминал фоновым процессом
|Управление
|-
|SIGUSR1
|—
|Завершение
|Пользовательский сигнал № 1
|Пользовательский
|-
|SIGUSR2
|—
|Завершение
|Пользовательский сигнал № 2
|Пользовательский
|-
|SIGPOLL
|—
|Завершение
|Событие, отслеживаемое <code>poll()</code>
|Уведомление
|-
|SIGPROF
|—
|Завершение
|Истечение таймера профилирования
|Отладка
|-
|SIGSYS
|—
|Завершение с дампом памяти
|Неправильный системный вызов
|Исключение
|-
|SIGTRAP
|5
|Завершение с дампом памяти
|Ловушка трассировки или брейкпоинт
|Отладка
|-
|SIGURG
|—
|Игнорируется
|На сокете получены срочные данные
|Уведомление
|-
|SIGVTALRM
|—
|Завершение
|Истечение «виртуального таймера»
|Уведомление
|-
|SIGXCPU
|—
|Завершение с дампом памяти
|Процесс превысил лимит процессорного времени
|Исключение
|-
|SIGXFSZ
|—
|Завершение с дампом памяти
|Процесс превысил допустимый размер файла
|Исключение
|+
|}
Также есть сигналы, не определённые в POSIX, но присутствующие на некоторых операционных системах.

* SIGEMT
* [[SIGINFO&action=edit&redlink=1|SIGINFO]]. Посылается процессу, когда запрос статуса (info) получен от управляющего терминала.
* SIGPWR
* SIGLOST
* SIGWINCH
* SIGSTKFLT
* SIGUNUSED
* SIGCLD

При обработке исключений и отладочных сигналов перед завершением процесс может записать в текущий каталог файл с дампом памяти процесса (англ. core image), используя который, отладчик может восстановить условия, при которых возникло данное исключение. Иногда (например, для программ, выполняемых от имени суперпользователя) дамп памяти не создаётся из соображений безопасности.

Linux. Signals

2024-11-26T19:41:58Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Сигнал в операционных системах семейства Unix — асинхронное уведомление процесса о каком-либо событии, один из основных способов взаимодействия между процессами. Когда сигнал послан процессу, операционная система прерывает выполнение процесса, при этом, если процесс установил собственный ''обработчик сигнала'', операционная система запускает этот обработчик, передав ему информацию о сигнале, если процесс не установил обработчик, то выполняется обработчик по умолчанию.

Названия сигналов «SIG…» являются числовыми константами (макроопределениями Си) со значениями, определяемыми в заголовочном файле <code>signal.h</code>. Числовые значения сигналов могут меняться от системы к системе, хотя основная их часть имеет в разных системах одни и те же значения. Утилита <code>kill</code> позволяет задавать сигнал как числом, так и символьным обозначением.

Спецификация сигналов включена в стандарты POSIX.

== Содержание ==

* 1Посылка сигналов
* 2Обработка сигналов
* 3Безопасность
* 4Классификация сигналов
* 5SA_SIGINFO
* 6Ссылки

== Посылка сигналов ==
[<nowiki/>[[Сигнал (Unix)&veaction=edit&section=1|править]] | [[Сигнал (Unix)&action=edit&section=1|править код]]]

Сигналы посылаются:

* из терминала, нажатием специальных клавиш или комбинаций (например, нажатие Ctrl-C генерирует SIGINT, Ctrl-\ SIGQUIT, а Ctrl-Z SIGTSTP);
* ядром системы:
** при возникновении аппаратных исключений (недопустимых инструкций, нарушениях при обращении в память, системных сбоях и т. п.);
** ошибочных системных вызовах;
** для информирования о событиях ввода-вывода;
* одним процессом другому (или самому себе), с помощью системного вызова <code>kill()</code>, в том числе:
** из shell, утилитой <code>/bin/kill</code>.

Сигналы не могут быть посланы завершившемуся процессу, находящемуся в состоянии «зомби».

== Обработка сигналов ==
[<nowiki/>[[Сигнал (Unix)&veaction=edit&section=2|править]] | [[Сигнал (Unix)&action=edit&section=2|править код]]]

Обработчик по умолчанию для большинства сигналов завершает выполнение процесса. Для альтернативной обработки всех сигналов, за исключением SIGKILL и SIGSTOP, процесс может назначить свой обработчик или игнорировать их возникновение модификацией своей ''сигнальной маски''. Единственное исключение — процесс с pid 1 (init), который имеет право игнорировать или обрабатывать любые сигналы, включая KILL и STOP.

== Безопасность ==
[<nowiki/>[[Сигнал (Unix)&veaction=edit&section=3|править]] | [[Сигнал (Unix)&action=edit&section=3|править код]]]

Процесс (или пользователь из оболочки) с эффективным UID, не равным 0 (UID суперпользователя), может посылать сигналы только процессам с тем же UID.

== Классификация сигналов ==
[<nowiki/>[[Сигнал (Unix)&veaction=edit&section=4|править]] | [[Сигнал (Unix)&action=edit&section=4|править код]]]

POSIX определяет 28 сигналов, которые можно классифицировать следующим образом:
{| class="wikitable sortable"
|+
!Название
!Портируемый код
!Действие по умолчанию
!Описание
!Тип
|-
|SIGABRT
|6
|Завершение с дампом памяти
|Сигнал, посылаемый функцией <code>abort()</code>
|Управление
|-
|SIGALRM
|14
|Завершение
|Сигнал истечения времени, заданного <code>alarm()</code>
|Уведомление
|-
|SIGBUS
|—
|Завершение с дампом памяти
|Неправильное обращение в физическую память
|Исключение
|-
|SIGCHLD
|—
|Игнорируется
|Дочерний процесс завершен или остановлен
|Уведомление
|-
|SIGCONT
|—
|Продолжить выполнение
|Продолжить выполнение ранее остановленного процесса
|Управление
|-
|SIGFPE
|8
|Завершение с дампом памяти
|Ошибочная арифметическая операция
|Исключение
|-
|SIGHUP
|1
|Завершение
|Закрытие терминала
|Уведомление
|-
|SIGILL
|4
|Завершение с дампом памяти
|Недопустимая инструкция процессора
|Исключение
|-
|SIGINT
|2
|Завершение
|Сигнал прерывания (Ctrl-C) с терминала
|Управление
|-
|SIGKILL
|9
|Завершение
|Безусловное завершение
|Управление
|-
|SIGPIPE
|13
|Завершение
|Запись в разорванное соединение (пайп, сокет)
|Уведомление
|-
|SIGQUIT
|3
|Завершение с дампом памяти
|Сигнал «Quit» с терминала (Ctrl-\)
|Управление
|-
|SIGSEGV
|11
|Завершение с дампом памяти
|Нарушение при обращении в память
|Исключение
|-
|SIGSTOP
|—
|Остановка процесса
|Остановка выполнения процесса
|Управление
|-
|SIGTERM
|15
|Завершение
|Сигнал завершения (сигнал по умолчанию для утилиты kill)
|Управление
|-
|SIGTSTP
|—
|Остановка процесса
|Сигнал остановки с терминала (Ctrl-Z).
|Управление
|-
|SIGTTIN
|—
|Остановка процесса
|Попытка чтения с терминала фоновым процессом
|Управление
|-
|SIGTTOU
|—
|Остановка процесса
|Попытка записи на терминал фоновым процессом
|Управление
|-
|SIGUSR1
|—
|Завершение
|Пользовательский сигнал № 1
|Пользовательский
|-
|SIGUSR2
|—
|Завершение
|Пользовательский сигнал № 2
|Пользовательский
|-
|SIGPOLL
|—
|Завершение
|Событие, отслеживаемое <code>poll()</code>
|Уведомление
|-
|SIGPROF
|—
|Завершение
|Истечение таймера профилирования
|Отладка
|-
|SIGSYS
|—
|Завершение с дампом памяти
|Неправильный системный вызов
|Исключение
|-
|SIGTRAP
|5
|Завершение с дампом памяти
|Ловушка трассировки или брейкпоинт
|Отладка
|-
|SIGURG
|—
|Игнорируется
|На сокете получены срочные данные
|Уведомление
|-
|SIGVTALRM
|—
|Завершение
|Истечение «виртуального таймера»
|Уведомление
|-
|SIGXCPU
|—
|Завершение с дампом памяти
|Процесс превысил лимит процессорного времени
|Исключение
|-
|SIGXFSZ
|—
|Завершение с дампом памяти
|Процесс превысил допустимый размер файла
|Исключение
|+
|}
Также есть сигналы, не определённые в POSIX, но присутствующие на некоторых операционных системах.

* SIGEMT
* [[SIGINFO&action=edit&redlink=1|SIGINFO]]. Посылается процессу, когда запрос статуса (info) получен от управляющего терминала.
* SIGPWR
* SIGLOST
* SIGWINCH
* SIGSTKFLT
* SIGUNUSED
* SIGCLD

При обработке исключений и отладочных сигналов перед завершением процесс может записать в текущий каталог файл с дампом памяти процесса (англ. core image), используя который, отладчик может восстановить условия, при которых возникло данное исключение. Иногда (например, для программ, выполняемых от имени суперпользователя) дамп памяти не создаётся из соображений безопасности.

Linux. Signals

2024-11-26T19:41:41Z

Cless: Новая страница: «Категория:Self-education __ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__»

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Linux. OOM

2024-11-26T19:29:23Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= Что такое OOM Killer и как он работает =
OOM Killer, пожалуй, одна из немногих технологий в Linux, овеянная мифами и легендами. Часто из уст в уста передаются истории, претендующие на хороший триллер. На самом деле все гораздо проще и прозаичнее, а работа OOM Killer подчиняется строгим правилам. Cегодня мы попробуем разобраться в том, что такое OOM Killer и для чего он предназначен, а также разберемся как он работает и по каким критериям выбирает процессы для завершения. Поэтому, если OOM Killer для вас все еще мифический и непонятный черный ящик, то обязательно прочитайте эту статью.

Начнем с начала, т.е. с выделения памяти в Linux. Любой запущенный процесс получает собственный выделенный участок памяти. Но этот участок не отображается на доступные физические адреса, а использует виртуальное адресное пространство, которое является дополнительным слоем абстракции между процессом и физической памятью. Для сопоставления адресов между виртуальной и физической памятью используются специальные структуры - таблицы страниц.

Что это дает? Во-первых, изоляцию процессов друг от друга, каждый из них работает в собственном виртуальном адресном пространстве и не имеет доступа к памяти других процессов. Во-вторых, позволяет системе гибко управлять физической памятью, например, для неактивного процесса часть страниц может быть перенесено из оперативной памяти в пространства подкачки, но это никак не повлияет на работу самого процесса, его адресное пространство не изменится, поменяется лишь трансляция в таблице страниц. И, наконец, это позволяет экономить физическую память, так если несколько процессов используют одни и те же данные, то система может транслировать адреса виртуальных пространств на один и тот же участок физической памяти.

Таким образом размер виртуальной памяти в системе теоретически ничем не ограничен и общий ее объем может существенно превышать имеющуюся в наличии физическую память. И в этом нет ничего плохого, например, мы запустили несколько графических приложений, для работы которым требуются библиотеки Qt или GTK, но нужно ли каждый раз загружать их в память? Нет, достаточно сделать это один раз, а затем просто транслировать адреса виртуальной памяти процессов на одни и те же участки физической памяти. Но при этом каждый процесс будет думать, что у него загружена собственная копия библиотек.

Поэтому современные Linux-системы выделяют память процессам с превышением имеющейся в наличии физической памяти (RAM + Swap), по умолчанию используя эвристические механизмы. Но случается, что процессы съедают всю доступную физическую память и вот тут системе надо выбрать что-то одно. А выбор, скажем честно, между плохим или очень плохим. Можно убить один из процессов и продолжить работать дальше, а можно вызвать Kernel panic. Понятно, что последнее - это совсем ни в какие ворота, поэтому на сцену выходит OOM Killer, это поведение используется в современных Linux системах по умолчанию.

Но кого же убьет OOM Killer? Бытует ошибочное мнение, что самый "толстый" процесс, занимающий самое большое количество памяти, однако это не так. Хотя заблуждения живучи, и народная молва рисует OOM Killer в виде ковбоя, врывающегося в переполненный салун и открывающий беспорядочную стрельбу по посетителям, преимущественно по толстым. Почему? Да попасть, наверное, проще...

На самом деле OOM Killer использует достаточно сложный анализ и присваивает каждому процессу очки негодности (badness) и при исчерпании памяти будет убит не кто-попало, а самый негодный процесс. Очки негодности могут принимать значения от -1000 до 1000, чем выше значение, тем более высока вероятность что OOM Killer убьет процесс. Процесс с -1000 очков никогда не будет убит OOM Killer.

Как вычисляются очки негодности? За основу берется процент физической памяти используемый процессом и умножается на 10, таким образом получаем базовое значение. Нетрудно заметить, что 1000 очков - это 100% использования памяти. Затем к данному значению начинают применяться различные модификаторы:

Прибавляется половина очков всех дочерних процессов, имеющих собственную виртуальную память.

Если приоритет процесса больше нуля очки умножаются на два. Приоритет может иметь значение от -20 (наивысший приоритет) до 20 (самый низкий).

Очки делятся на коэффициент, связанный с процессорным временем, чем более активен процесс и чем больше процессорного времени он использует, тем больше будет этот коэффициент.

Очки делятся на коэффициент, связанный с временем жизни процесса, чем больше времени прошло с момента запуска, тем выше будет это значение.

Для процессов, запущенных от имени root, обслуживающих систему или процессов ввода-вывода очки делятся на 4.

Для процесса, при выделении памяти которому произошла ошибка out of memory и процессам имеющим с ним общую память, очки делятся на 8.

Очки умножаются на 2^oom_adj, где oom_adj - специальный коэффициент, имеющий значения от -17 до 15, при -17 процесс никогда не будет убить OOM Killer.

Если внимательно изучить эти критерии, то становится ясно, что:<blockquote> !!!

OOM Killer убьет '''самый "толстый" процесс''', который '''наименее активен в системе''' и имеет '''самое короткое время жизни'''

!!!</blockquote>Согласитесь, это не тоже самое, что убить процесс с самым большим потреблением памяти. Такой подход позволяет достаточно эффективно бороться с утечкой памяти в кривых приложениях, минимизируя их влияние на систему.

Не так давно нам пришлось разбираться с ситуацией: в Linux Mint начал подвисать и падать браузер Chrome. Анализ ситуации выявил, что пользователь поставил стороннее расширение, которое приводило к утечке памяти и зависанию браузера, после чего на сцену выходил OOM Killer и убивал процесс. При этом параллельно были открыты процессы, которые потребляли больше памяти, чем утекало через Chrome, но OOM Killer их не трогал.

В системах виртуализации это будет неактивная виртуалка с наибольшим выделением памяти. Поэтому если у вас регулярно выключается одна из второстепенных машин - проверьте ситуацию с памятью, скорее всего это работа OOM Killer.

Как узнать количество очков, присвоенных процессу? Довольно просто, выполните команду:

cat /proc/PID/oom_score

Где PID - идентификатор процесса. При необходимости мы можем изменить количество очков используя коэффициент oom_adj:

echo -17 > /proc/PID/oom_adj

В данном случае мы отправили процессу с указанным PID значение -17, т.е. обеспечили ему полную защиту от OOM Killer.

Все это имеет один большой недостаток: применить коэффициент oom_adj мы можем только к запущенному процессу и по факту это ручная работа. Не следует применять эти методы на практике, кроме, разве что диагностики и отладки.

В современных системах для управления службами используется systemd, который дает нам в руки простые и эффективные инструменты для управления очками негодности. Для этого в секцию [Service] юнита службы добавьте опцию:

[Service]

...

OOMScoreAdjust=-500

...

Значение OOMScoreAdjust показывает насколько следует изменить количество очков процесса относительно рассчитанного количества, в нашем примере мы уменьшили его на 500. Таким образом мы можем защитить важные службы вашей системы от убийства со стороны OOM Killer, но не стоит злоупотреблять этой опцией, в критической ситуации будет лучше, если OOM Killer убьет даже важный процесс, но сохранит вам доступ к системе, нежели вы окажетесь в ситуации с полным исчерпанием физической памяти и недоступности или перезагрузки вашего сервера.

В любом случае, если вы столкнулись с работой OOM Killer, то следует тщательно проанализировать причины нехватки физической памяти и принять необходимые меры.

Надеемся, что после прочтения данной статьи OOM Killer перестанет быть для вас мифическим персонажем и вы будете понимать, что именно он делает, зачем и исходя из каких соображений. После чего он перестанет быть непредсказуемым черным ящиком, а станет вашим другом, помогающим сохранить работоспособность системы в критической ситуации нехватки ресурсов.

Linux. OOM

2024-11-26T19:28:43Z

Cless: Новая страница: «Категория:Self-education __ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__»

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Linux. File descriptor

2024-11-26T19:23:10Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Когда процесс открывает файл, файлу присваивается ID, по нему процесс обращается к файлу

Находим PID процесса

<code>[root@ekv01-zb001vvsl ~]# ps ax | grep maria</code>
...
6222 ? Ssl 2352:03 /usr/sbin/mariadbd
...
Просмотр файловых дескрипторов процесса mariadb

// это символические ссылки

// список

<code>ls /proc/6222/fd/</code>

// с ссылками на файлы каждого дескриптора

<code>ls -lh /proc/6222/fd/</code>

// посмотреть ссылку на файл конкретного дескриптора

<code>ls -lh /proc/6222/fd/102</code>
...
lrwx------ 1 mysql mysql 64 Aug 24 14:26 /proc/6222/fd/102 -> /app/data01/mysql/zabbix/hosts_templates.ibd
...
<code>readlink /proc/6222/fd/102</code>

...
/app/data01/mysql/zabbix/hosts_templates.ibd
...

Linux. File descriptor

2024-11-26T19:21:54Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Когда процесс открывает файл, файлу присваивается ID, по нему процесс обращается к файлу

Находим PID процесса

<code>[root@ekv01-zb001vvsl ~]# ps ax | grep maria</code>
...
6222 ? Ssl 2352:03 /usr/sbin/mariadbd
...
Просмотр файловых дескрипторов процесса mariadb

// это символические ссылки

// список

<code>ls /proc/6222/fd/</code>

// с ссылками на файлы каждого дескриптора

<code>ls -lh /proc/6222/fd/</code>

// посмотреть ссылку на файл конкретного дескриптора

<code>ls -lh /proc/6222/fd/102</code>
...
lrwx------ 1 mysql mysql 64 Aug 24 14:26 /proc/6222/fd/102 -> /app/data01/mysql/zabbix/hosts_templates.ibd
...

<code>readlink /proc/6222/fd/102</code>

...
/app/data01/mysql/zabbix/hosts_templates.ibd
...

Linux. File descriptor

2024-11-26T19:20:44Z

Cless: Новая страница: «Категория:Self-education __ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__»

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Linux. Files. Permissions

2024-11-26T19:16:52Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= File permissions =

== What are octal values? ==
When Linux file permissions are represented by numbers, it's called numeric mode. In numeric mode, a three-digit value represents specific file permissions (for example, 744.) These are called octal values. The first digit is for owner permissions, the second digit is for group permissions, and the third is for other users. Each permission has a numeric value assigned to it:

* r (read): 4
* w (write): 2
* x (execute): 1

In the permission value 744, the first digit corresponds to the user, the second digit to the group, and the third digit to others. By adding up the value of each user classification, you can find the file permissions.

For example, a file might have read, write, and execute permissions for its owner, and only read permission for all other users. That looks like this:

* Owner: rwx = 4+2+1 = 7
* Group: r-- = 4+0+0 = 4
* Others: r-- = 4+0+0 = 4

The results produce the three-digit value 744.

= File types =
The file type is one of the following characters:

- regular file

b block special file

c character special file (disk)

C high performance ("contiguous data") file

d directory

D door (Solaris 2.5 and up)

l symbolic link

M off-line ("migrated") file (Cray DMF)

n network special file (HP-UX)

p FIFO (named pipe)

P port (Solaris 10 and up)

s socket

? some other file type

= Посмотреть все аттрибуты файла =
<code>stat ./Тест.part03.rar</code>

File: «./Тест.part03.rar»

Size: 5146762 Blocks: 10056 IO Block: 4096 обычный файл

Device: 871h/2161d Inode: 8650784 Links: 1

Access: (0760/-rwxrw----) Uid: ( 3131/tmb_chishko) Gid: ( 513/Domain Users)

Access: 2019-11-08 13:14:28.768582082 +0400

Modify: 2019-11-06 17:03:47.109375000 +0400

Change: 2019-11-08 13:14:29.065585726 +0400

= Timestamps =
There are 3 kind of "timestamps":

Access - the last time the file was read

Modify - the last time the file was modified (content has been modified)

Change - the last time meta data of the file was changed (e.g. permissions)

= Аттрибуты дополнительные =
Просмотреть аттрибуты

// создадим файл

<code>touch keep.txt</code>

// просмотрим аттрибуты

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

// создадим аттрибут "только для чтения"

<code>sudo chattr +i keep.txt</code>

// теперь даже root не сможет удалить этот файл

<code>lsattr keep.txt</code>

<nowiki>----</nowiki>i--------e-- keep.txt

// удалим аттрибут "только для чтения"

<code>sudo chattr -i keep.txt</code>

// просмотрим

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

= '''SUID, GUID''' =

== Настройка Setuid ==
Setuid – это бит разрешения, который позволяет пользователю запускать исполняемый файл с правами владельца этого файла. Другими словами, использование этого бита позволяет нам поднять привилегии пользователя в случае, если это необходимо. Классический пример использования этого бита в операционной системе это команда sudo.
<code>root@ruvds-hrc [~]# which sudo /usr/bin/sudo
root@ruvds-hrc [~]# ls -l /usr/bin/sudo
-rwsr-xr-x 1 root root 125308 Feb 20 14:15 /usr/bin/sudo</code>
Как мы видим на месте, где обычно установлен классический бит x (на исполнение), у нас выставлен специальный бит s. Это позволяет обычному пользователю системы выполнять команды с повышенными привилегиями без необходимости входа в систему как root.

Установка бита setuid не представляет сложности. Для этого используется команда:
<code>root@ruvds-hrc [~]# chmod u+s <filename></code>
Рассмотрим на примере. Создадим файл с именем ''myfile'', а затем проверим его разрешения с помощью команды ''ls -l''.
<code>root@ruvds-hrc [~]# touch myfile
root@ruvds-hrc [~]# ls -l myfile
-rw-rw-r-- 1 test test 0 Mar 25 17:59 myfile</code>
Как видим, файл не имеет разрешений на выполнение для пользователя, группы и остальных. Добавим бит setuid:
<code>root@ruvds-hrc [~]# chmod u+s myfile
root@ruvds-hrc [~]# ls -l myfile
-rwSrw-r-- 1 test test 0 Mar 25 12:00 myfile</code>
Обратим внимание, что вместо ожидаемой буквы «s», видим заглавную «S». Почему? Это случается, если setuid установлен, но сам владелец файла не имеет прав на его выполнение. Добавим это разрешение с помощью команды ''chmod u + x''.
<code>root@ruvds-hrc [~]# chmod u+x myfile
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 12:59 myfile</code>

== Настройка Setgid ==
Принцип работы Setgid очень похож на setuid с отличием, что файл будет запускаться пользователем от имени группы, которая владеет файлом. Иллюстрирует работу этого бита команда ''crontab'': .
<code>root@ruvds-hrc [~]# which crontab
/usr/bin/crontab
root@ruvds-hrc [~]# ls -l /usr/bin/crontab
-rwxr-sr-x 1 root crontab 34021 Feb 12 2017 /usr/bin/crontab</code>
Теперь перейдем к настройке этого бита. Аналогично setuid, бит setgid выставляется с помощью команды chmod g + s .

Рассмотрим на примере создания нового файл с именем ''myfile2''.
<code>root@ruvds-hrc [~]# touch myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rw-r-- 1 test test 0 Mar 25 19:25 myfile2</code>
Выполним команду ''chmod g + s'' и посмотрим результаты.
<code>root@ruvds-hrc [~]# chmod g+s myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rwSr-- 1 test test 0 Mar 25 19:25 myfile2</code>
Как разобрались выше, меняем заглавную « S » путем выдачи прав на исполнение группе-владельцу:
<code>root@ruvds-hrc [~]# chmod g+x myfile2
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 19:25 myfile
-rw-rwsr-- 1 test test 0 Mar 25 19:25 myfile2</code>

= '''Sticky bit''' =
// благодаря таким правам удалить файл из TMP может только пользователь, который этот файл создал

<code>chmod 1777 /tmp</code>

<code>ls -ld /tmp/</code>
...
drwxrwxrw'''t'''. 15 root root 4096 Sep 22 15:28 /tmp/
...

= Freebsd расширенные атрибуты =
<nowiki>https://www.freebsd.org/doc/ru_RU.KOI8-R/books/handbook/fs-acl.html</nowiki>

// несмотря на полный доступ к файлам, они могут ни удаляться, ни переименовываться

// или не изменяться права доступа даже из под root.

// это значит что на файл установлены дополнительные атрибуты ACL

// увидеть это можно через "ls -lao"

// "+" означает что на файле имеются расширенные атрибуты ACL

<code>ls -lao /mnt/raid1/share/ПТК.xlsx</code>

...

-rwxrw-rw-+ 1 root wheel uarch 17301 Jul 9 08:26 ПТК.xlsx

...

// смотрим атрибуты

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxpD-aARWcCo-:-------:allow

group@:rw-p--a-R-c---:-------:allow

everyone@:rw-p--a-R-c---:-------:allow

// сбрасываем атрибуты

// Параметр -k удалит все установленные на данный момент ACL из файла или файловой системы.

// Более предпочтительный метод это использование параметра -b, который оставит необходимые для работы ACL поля.

<code>setfacl -b /mnt/raid1/share/ПТК.xlsx</code>

// смотрим

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxp--aARWcCos:-------:allow

group@:rwxp--a-R-c--s:-------:allow

everyone@:rwxp--a-R-c--s:-------:allow

<nowiki>--------------------------------------------------------------------------------</nowiki>

Linux. Files. Permissions

2024-11-26T19:10:31Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= File permissions =

== What are octal values? ==
When Linux file permissions are represented by numbers, it's called numeric mode. In numeric mode, a three-digit value represents specific file permissions (for example, 744.) These are called octal values. The first digit is for owner permissions, the second digit is for group permissions, and the third is for other users. Each permission has a numeric value assigned to it:

* r (read): 4
* w (write): 2
* x (execute): 1

In the permission value 744, the first digit corresponds to the user, the second digit to the group, and the third digit to others. By adding up the value of each user classification, you can find the file permissions.

For example, a file might have read, write, and execute permissions for its owner, and only read permission for all other users. That looks like this:

* Owner: rwx = 4+2+1 = 7
* Group: r-- = 4+0+0 = 4
* Others: r-- = 4+0+0 = 4

The results produce the three-digit value 744.

= File types =
The file type is one of the following characters:

- regular file

b block special file

c character special file (disk)

C high performance ("contiguous data") file

d directory

D door (Solaris 2.5 and up)

l symbolic link

M off-line ("migrated") file (Cray DMF)

n network special file (HP-UX)

p FIFO (named pipe)

P port (Solaris 10 and up)

s socket

? some other file type

= Посмотреть все аттрибуты файла =
<code>stat ./Тест.part03.rar</code>

File: «./Тест.part03.rar»

Size: 5146762 Blocks: 10056 IO Block: 4096 обычный файл

Device: 871h/2161d Inode: 8650784 Links: 1

Access: (0760/-rwxrw----) Uid: ( 3131/tmb_chishko) Gid: ( 513/Domain Users)

Access: 2019-11-08 13:14:28.768582082 +0400

Modify: 2019-11-06 17:03:47.109375000 +0400

Change: 2019-11-08 13:14:29.065585726 +0400

= Timestamps =
There are 3 kind of "timestamps":

Access - the last time the file was read

Modify - the last time the file was modified (content has been modified)

Change - the last time meta data of the file was changed (e.g. permissions)

= Аттрибуты дополнительные =
Просмотреть аттрибуты

// создадим файл

<code>touch keep.txt</code>

// просмотрим аттрибуты

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

// создадим аттрибут "только для чтения"

<code>sudo chattr +i keep.txt</code>

// теперь даже root не сможет удалить этот файл

<code>lsattr keep.txt</code>

<nowiki>----</nowiki>i--------e-- keep.txt

// удалим аттрибут "только для чтения"

<code>sudo chattr -i keep.txt</code>

// просмотрим

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

= '''SUID, GUID''' =

== Настройка Setuid ==
Setuid – это бит разрешения, который позволяет пользователю запускать исполняемый файл с правами владельца этого файла. Другими словами, использование этого бита позволяет нам поднять привилегии пользователя в случае, если это необходимо. Классический пример использования этого бита в операционной системе это команда sudo.
<code>root@ruvds-hrc [~]# which sudo /usr/bin/sudo
root@ruvds-hrc [~]# ls -l /usr/bin/sudo
-rwsr-xr-x 1 root root 125308 Feb 20 14:15 /usr/bin/sudo</code>
Как мы видим на месте, где обычно установлен классический бит x (на исполнение), у нас выставлен специальный бит s. Это позволяет обычному пользователю системы выполнять команды с повышенными привилегиями без необходимости входа в систему как root.

Установка бита setuid не представляет сложности. Для этого используется команда:
<code>root@ruvds-hrc [~]# chmod u+s <filename></code>
Рассмотрим на примере. Создадим файл с именем ''myfile'', а затем проверим его разрешения с помощью команды ''ls -l''.
<code>root@ruvds-hrc [~]# touch myfile
root@ruvds-hrc [~]# ls -l myfile
-rw-rw-r-- 1 test test 0 Mar 25 17:59 myfile</code>
Как видим, файл не имеет разрешений на выполнение для пользователя, группы и остальных. Добавим бит setuid:
<code>root@ruvds-hrc [~]# chmod u+s myfile
root@ruvds-hrc [~]# ls -l myfile
-rwSrw-r-- 1 test test 0 Mar 25 12:00 myfile</code>
Обратим внимание, что вместо ожидаемой буквы «s», видим заглавную «S». Почему? Это случается, если setuid установлен, но сам владелец файла не имеет прав на его выполнение. Добавим это разрешение с помощью команды ''chmod u + x''.
<code>root@ruvds-hrc [~]# chmod u+x myfile
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 12:59 myfile</code>

== Настройка Setgid ==
Принцип работы Setgid очень похож на setuid с отличием, что файл будет запускаться пользователем от имени группы, которая владеет файлом. Иллюстрирует работу этого бита команда ''crontab'': .
<code>root@ruvds-hrc [~]# which crontab
/usr/bin/crontab
root@ruvds-hrc [~]# ls -l /usr/bin/crontab
-rwxr-sr-x 1 root crontab 34021 Feb 12 2017 /usr/bin/crontab</code>
Теперь перейдем к настройке этого бита. Аналогично setuid, бит setgid выставляется с помощью команды chmod g + s .

Рассмотрим на примере создания нового файл с именем ''myfile2''.
<code>root@ruvds-hrc [~]# touch myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rw-r-- 1 test test 0 Mar 25 19:25 myfile2</code>
Выполним команду ''chmod g + s'' и посмотрим результаты.
<code>root@ruvds-hrc [~]# chmod g+s myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rwSr-- 1 test test 0 Mar 25 19:25 myfile2</code>
Как разобрались выше, меняем заглавную « S » путем выдачи прав на исполнение группе-владельцу:
<code>root@ruvds-hrc [~]# chmod g+x myfile2
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 19:25 myfile
-rw-rwsr-- 1 test test 0 Mar 25 19:25 myfile2</code>

= '''Sticky bit''' =
// благодаря таким правам удалить файл из TMP может только пользователь, который этот файл создал

<code>chmod 1777 /tmp</code>

= Freebsd расширенные атрибуты =
<nowiki>https://www.freebsd.org/doc/ru_RU.KOI8-R/books/handbook/fs-acl.html</nowiki>

// несмотря на полный доступ к файлам, они могут ни удаляться, ни переименовываться

// или не изменяться права доступа даже из под root.

// это значит что на файл установлены дополнительные атрибуты ACL

// увидеть это можно через "ls -lao"

// "+" означает что на файле имеются расширенные атрибуты ACL

<code>ls -lao /mnt/raid1/share/ПТК.xlsx</code>

...

-rwxrw-rw-+ 1 root wheel uarch 17301 Jul 9 08:26 ПТК.xlsx

...

// смотрим атрибуты

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxpD-aARWcCo-:-------:allow

group@:rw-p--a-R-c---:-------:allow

everyone@:rw-p--a-R-c---:-------:allow

// сбрасываем атрибуты

// Параметр -k удалит все установленные на данный момент ACL из файла или файловой системы.

// Более предпочтительный метод это использование параметра -b, который оставит необходимые для работы ACL поля.

<code>setfacl -b /mnt/raid1/share/ПТК.xlsx</code>

// смотрим

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxp--aARWcCos:-------:allow

group@:rwxp--a-R-c--s:-------:allow

everyone@:rwxp--a-R-c--s:-------:allow

<nowiki>--------------------------------------------------------------------------------</nowiki>

Linux. Files. Permissions

2024-11-26T19:06:25Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= File types =
The file type is one of the following characters:

- regular file

b block special file

c character special file (disk)

C high performance ("contiguous data") file

d directory

D door (Solaris 2.5 and up)

l symbolic link

M off-line ("migrated") file (Cray DMF)

n network special file (HP-UX)

p FIFO (named pipe)

P port (Solaris 10 and up)

s socket

? some other file type

= Посмотреть все аттрибуты файла =
<code>stat ./Тест.part03.rar</code>

File: «./Тест.part03.rar»

Size: 5146762 Blocks: 10056 IO Block: 4096 обычный файл

Device: 871h/2161d Inode: 8650784 Links: 1

Access: (0760/-rwxrw----) Uid: ( 3131/tmb_chishko) Gid: ( 513/Domain Users)

Access: 2019-11-08 13:14:28.768582082 +0400

Modify: 2019-11-06 17:03:47.109375000 +0400

Change: 2019-11-08 13:14:29.065585726 +0400

= Timestamps =
There are 3 kind of "timestamps":

Access - the last time the file was read

Modify - the last time the file was modified (content has been modified)

Change - the last time meta data of the file was changed (e.g. permissions)

= Аттрибуты дополнительные =
Просмотреть аттрибуты

// создадим файл

<code>touch keep.txt</code>

// просмотрим аттрибуты

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

// создадим аттрибут "только для чтения"

<code>sudo chattr +i keep.txt</code>

// теперь даже root не сможет удалить этот файл

<code>lsattr keep.txt</code>

<nowiki>----</nowiki>i--------e-- keep.txt

// удалим аттрибут "только для чтения"

<code>sudo chattr -i keep.txt</code>

// просмотрим

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

= '''SUID, GUID''' =

== Настройка Setuid ==
Setuid – это бит разрешения, который позволяет пользователю запускать исполняемый файл с правами владельца этого файла. Другими словами, использование этого бита позволяет нам поднять привилегии пользователя в случае, если это необходимо. Классический пример использования этого бита в операционной системе это команда sudo.
<code>root@ruvds-hrc [~]# which sudo /usr/bin/sudo
root@ruvds-hrc [~]# ls -l /usr/bin/sudo
-rwsr-xr-x 1 root root 125308 Feb 20 14:15 /usr/bin/sudo</code>
Как мы видим на месте, где обычно установлен классический бит x (на исполнение), у нас выставлен специальный бит s. Это позволяет обычному пользователю системы выполнять команды с повышенными привилегиями без необходимости входа в систему как root.

Установка бита setuid не представляет сложности. Для этого используется команда:
<code>root@ruvds-hrc [~]# chmod u+s <filename></code>
Рассмотрим на примере. Создадим файл с именем ''myfile'', а затем проверим его разрешения с помощью команды ''ls -l''.
<code>root@ruvds-hrc [~]# touch myfile
root@ruvds-hrc [~]# ls -l myfile
-rw-rw-r-- 1 test test 0 Mar 25 17:59 myfile</code>
Как видим, файл не имеет разрешений на выполнение для пользователя, группы и остальных. Добавим бит setuid:
<code>root@ruvds-hrc [~]# chmod u+s myfile
root@ruvds-hrc [~]# ls -l myfile
-rwSrw-r-- 1 test test 0 Mar 25 12:00 myfile</code>
Обратим внимание, что вместо ожидаемой буквы «s», видим заглавную «S». Почему? Это случается, если setuid установлен, но сам владелец файла не имеет прав на его выполнение. Добавим это разрешение с помощью команды ''chmod u + x''.
<code>root@ruvds-hrc [~]# chmod u+x myfile
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 12:59 myfile</code>

== Настройка Setgid ==
Принцип работы Setgid очень похож на setuid с отличием, что файл будет запускаться пользователем от имени группы, которая владеет файлом. Иллюстрирует работу этого бита команда ''crontab'': .
<code>root@ruvds-hrc [~]# which crontab
/usr/bin/crontab
root@ruvds-hrc [~]# ls -l /usr/bin/crontab
-rwxr-sr-x 1 root crontab 34021 Feb 12 2017 /usr/bin/crontab</code>
Теперь перейдем к настройке этого бита. Аналогично setuid, бит setgid выставляется с помощью команды chmod g + s .

Рассмотрим на примере создания нового файл с именем ''myfile2''.
<code>root@ruvds-hrc [~]# touch myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rw-r-- 1 test test 0 Mar 25 19:25 myfile2</code>
Выполним команду ''chmod g + s'' и посмотрим результаты.
<code>root@ruvds-hrc [~]# chmod g+s myfile2
root@ruvds-hrc [~]# ls -l myfile2
-rw-rwSr-- 1 test test 0 Mar 25 19:25 myfile2</code>
Как разобрались выше, меняем заглавную « S » путем выдачи прав на исполнение группе-владельцу:
<code>root@ruvds-hrc [~]# chmod g+x myfile2
root@ruvds-hrc [~]# ls -l
total 0
-rwsrw-r-- 1 test test 0 Mar 25 19:25 myfile
-rw-rwsr-- 1 test test 0 Mar 25 19:25 myfile2</code>

= '''Sticky bit''' =
// благодаря таким правам удалить файл из TMP может только пользователь, который этот файл создал

<code>chmod 1777 /tmp</code>

= Freebsd расширенные атрибуты =
<nowiki>https://www.freebsd.org/doc/ru_RU.KOI8-R/books/handbook/fs-acl.html</nowiki>

// несмотря на полный доступ к файлам, они могут ни удаляться, ни переименовываться

// или не изменяться права доступа даже из под root.

// это значит что на файл установлены дополнительные атрибуты ACL

// увидеть это можно через "ls -lao"

// "+" означает что на файле имеются расширенные атрибуты ACL

<code>ls -lao /mnt/raid1/share/ПТК.xlsx</code>

...

-rwxrw-rw-+ 1 root wheel uarch 17301 Jul 9 08:26 ПТК.xlsx

...

// смотрим атрибуты

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxpD-aARWcCo-:-------:allow

group@:rw-p--a-R-c---:-------:allow

everyone@:rw-p--a-R-c---:-------:allow

// сбрасываем атрибуты

// Параметр -k удалит все установленные на данный момент ACL из файла или файловой системы.

// Более предпочтительный метод это использование параметра -b, который оставит необходимые для работы ACL поля.

<code>setfacl -b /mnt/raid1/share/ПТК.xlsx</code>

// смотрим

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxp--aARWcCos:-------:allow

group@:rwxp--a-R-c--s:-------:allow

everyone@:rwxp--a-R-c--s:-------:allow

<nowiki>--------------------------------------------------------------------------------</nowiki>

Linux. Files. Permissions

2024-11-26T19:01:55Z

Cless:

[[Категория:Self-education]]
__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

= ls =
The file type is one of the following characters:

- regular file

b block special file

c character special file (disk)

C high performance ("contiguous data") file

d directory

D door (Solaris 2.5 and up)

l symbolic link

M off-line ("migrated") file (Cray DMF)

n network special file (HP-UX)

p FIFO (named pipe)

P port (Solaris 10 and up)

s socket

? some other file type

= Посмотреть все аттрибуты файла =
<code>stat ./Тест.part03.rar</code>

File: «./Тест.part03.rar»

Size: 5146762 Blocks: 10056 IO Block: 4096 обычный файл

Device: 871h/2161d Inode: 8650784 Links: 1

Access: (0760/-rwxrw----) Uid: ( 3131/tmb_chishko) Gid: ( 513/Domain Users)

Access: 2019-11-08 13:14:28.768582082 +0400

Modify: 2019-11-06 17:03:47.109375000 +0400

Change: 2019-11-08 13:14:29.065585726 +0400

= Timestamps =
There are 3 kind of "timestamps":

Access - the last time the file was read

Modify - the last time the file was modified (content has been modified)

Change - the last time meta data of the file was changed (e.g. permissions)

= Аттрибуты дополнительные =
Просмотреть аттрибуты

// создадим файл

<code>touch keep.txt</code>

// просмотрим аттрибуты

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

// создадим аттрибут "только для чтения"

<code>sudo chattr +i keep.txt</code>

// теперь даже root не сможет удалить этот файл

<code>lsattr keep.txt</code>

<nowiki>----</nowiki>i--------e-- keep.txt

// удалим аттрибут "только для чтения"

<code>sudo chattr -i keep.txt</code>

// просмотрим

<code>lsattr keep.txt</code>

<nowiki>-------------</nowiki>e-- keep.txt

= '''Sticky bit''' =
// благодаря таким правам удалить файл из TMP может только пользователь, который этот файл создал

<code>chmod 1777 /tmp</code>

= Freebsd расширенные атрибуты =
<nowiki>https://www.freebsd.org/doc/ru_RU.KOI8-R/books/handbook/fs-acl.html</nowiki>

// несмотря на полный доступ к файлам, они могут ни удаляться, ни переименовываться

// или не изменяться права доступа даже из под root.

// это значит что на файл установлены дополнительные атрибуты ACL

// увидеть это можно через "ls -lao"

// "+" означает что на файле имеются расширенные атрибуты ACL

<code>ls -lao /mnt/raid1/share/ПТК.xlsx</code>

...

-rwxrw-rw-+ 1 root wheel uarch 17301 Jul 9 08:26 ПТК.xlsx

...

// смотрим атрибуты

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxpD-aARWcCo-:-------:allow

group@:rw-p--a-R-c---:-------:allow

everyone@:rw-p--a-R-c---:-------:allow

// сбрасываем атрибуты

// Параметр -k удалит все установленные на данный момент ACL из файла или файловой системы.

// Более предпочтительный метод это использование параметра -b, который оставит необходимые для работы ACL поля.

<code>setfacl -b /mnt/raid1/share/ПТК.xlsx</code>

// смотрим

<code>getfacl /mnt/raid1/share/ПТК.xlsx</code>

<nowiki>#</nowiki> file: /mnt/raid1/share/ПТК.xlsx

<nowiki>#</nowiki> owner: root

<nowiki>#</nowiki> group: wheel

owner@:rwxp--aARWcCos:-------:allow

group@:rwxp--a-R-c--s:-------:allow

everyone@:rwxp--a-R-c--s:-------:allow

<nowiki>--------------------------------------------------------------------------------</nowiki>