Git - это система контроля версий, используется для ведения проектов в том числе распределенными группами разработчиков.

Справка по Git | Настройка клиента Git

GitLab - это проект, который используя систему управления репозиториями git полностью обеспечивает жизненный цикл DevOps, включая wiki, CI/CD и многое другое.

GitLab поставляется в нескольких вариантах:

• Docker - запускается в виде контейнера;
• Source code - компилируется под конкретную ОС;
• Omnibus - "все в одном".

Мы рассмотрим вариант Omnibus - он подразумевает установку всех необходимых для функционирования GitLab утилит вместе с GitLab: PostgreSQL, Redis, Nginx, Prometheus, Grafana, Registry, и т.д.

Подготовка системы

Установить имя хоста, записать значение в /etc/hosts

hostnamectl set-hostname gitlab
sed -i s/127.0.1.1/\#127.0.1.1/g /etc/hosts
echo "10.0.3.101 gitlab" >> /etc/hosts

Укажите в DNS IP-адрес Gitlab сервера и настройте обратный прокси в случае необходимости.
Установить дополнительные пакеты

apt install -y curl ca-certificates openssl perl

Установить локаль, потребуется для PostgreSQL

sh -c "echo 'LANG=en_US.UTF-8\nLC_ALL=en_US.UTF-8' > /etc/default/locale"

Установить агент передачи почты (MTA), например Postfix

apt install -y postfix

Для выбора пунктов в установщике используйте клавишу Tab и клавишу Enter для подтверждения.

• Выберите Internet site
• Задайте в Mail name полное доменное имя (FQDN), например gitlab.antroot.ru
• Остальные настройки можно пропустить, нажав Enter
  Запустить и включить postfix

systemctl start postfix
systemctl enable postfix

Установка Gitlab

На официальном сайте gitlab.com можно уточнить инструкции для установки на определенные дистрибутивы операционных систем. В варианте Debian для добавления репозитория используется скрипт (задать переменные os и dist, если скрипт не смог определить):

curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | os=debian dist=buster bash

Установка

EXTERNAL_URL="https://gitlab.antroot.ru" \
GITLAB_ROOT_PASSWORD="MyStrongPassword" \
apt install gitlab-ce gitlab-cli

Если перед установкой не была задана переменная с паролем администратора, после установки пароль администратора в течение 24 часов хранится в файле

/etc/gitlab/initial_root_password

Основные файлы GitLab расположены:

• /etc/gitlab/ - конфигурация gitlab
• /var/log/gitlab/ - журналы gitlab
• /opt/gitlab/ - бинарные файлы gitlab
• /var/opt/gitlab/ - рабочие директории nginx, postgresql, redis, registry, prometheus, grafana

Основные параметры GitLab
В файле /etc/gitlab/gitlab.rb

external_url 'https://gitlab.antroot.ru'
gitlab_rails['time_zone'] = 'UTC'

gitlab_rails['gitlab_email_enabled'] = true
gitlab_rails['gitlab_email_from'] = 'gitlab@antroot.ru'
gitlab_rails['gitlab_email_display_name'] = 'GitLab'
gitlab_rails['gitlab_email_reply_to'] = 'noreply@antroot.ru'
gitlab_rails['gitlab_email_subject_suffix'] = 'gitlab.antroot.ru'

gitlab_rails['gitlab_default_theme'] = 2

Расположение репозиториев по умолчанию /var/opt/gitlab/git-data:

git_data_dirs({
  "default" => {
    "path" => "/mnt/git-data"
   }
})
# или
git_data_dirs({
  "default" => { "path" => "/var/opt/gitlab/git-data" },
  "alternative" => { "path" => "/mnt/git-data" }
})

Для синхронизации выполните:

gitlab-ctl stop
rsync -av --delete /var/opt/gitlab/git-data/repositories /mnt/git-data/
gitlab-ctl reconfigure
gitlab-ctl start

Registry располагается по умолчанию в /var/opt/gitlab/gitlab-rails/shared/registry:

registry_external_url 'https://registry.antroot.ru'
gitlab_rails['registry_enabled'] = true
gitlab_rails['registry_host'] = "registry.antroot.ru"
gitlab_rails['registry_port'] = "5005"
gitlab_rails['registry_path'] = "/mnt/shared/registry"

registry_nginx['enable'] = true
registry_nginx['listen_port'] = 5005

Другие хранилища из /var/opt/gitlab/gitlab-rails/shared/ также можно переместить на подключенные диски:

gitlab_rails['lfs_enabled'] = true
gitlab_rails['lfs_storage_path'] = "/mnt/shared/lfs-objects"

gitlab_rails['uploads_directory'] = "/mnt/uploads"

gitlab_rails['terraform_state_enabled'] = true
gitlab_rails['terraform_state_storage_path'] = "/mnt/shared/terraform_state"

gitlab_rails['pages_local_store_enabled'] = true
gitlab_rails['pages_local_store_path'] = "/mnt/shared/pages"

gitlab_rails['manage_backup_path'] = true
gitlab_rails['backup_path'] = "/mnt/backups"
# default skip
#gitlab_rails['env'] = {
#    "SKIP" => "db,uploads,repositories,builds,artifacts,lfs,registry,pages"
#}
gitlab_rails['env'] = {
    "SKIP" => "uploads,builds,artifacts,lfs,registry"
}

После применения настроек из файла /etc/gitlab/gitlab.rb необходимо выполнить реконфигурацию gitlab

gitlab-ctl reconfigure

Конфигурация обратного прокси (reverse proxy) для gitlab на примере nginx

# переадресация на HTTPS
server {
    listen 80;
    server_name gitlab.antroot.ru;
    return 301 https://$http_host$request_uri;
}

# блок обработки основного сайта с выдачей контента через proxy_pass с сервера в DMZ
server {
    server_name gitlab.antroot.ru;
    listen 443 http2 ssl;

    location / {
        resolver 10.0.2.2;
        proxy_pass https://gitlab.antroot.lan;
        proxy_set_header Host $host;
    }
    access_log /var/log/nginx/gitlab.antroot.ru.access.log;
    error_log  /var/log/nginx/gitlab.antroot.ru.error.log;

    #ssl_certificate /etc/letsencrypt/live/gitlab.antroot.ru/fullchain.pem;
    #ssl_certificate_key /etc/letsencrypt/live/gitlab.antroot.ru/privkey.pem;
}

# блок для реестра registry также с выдачей контента через proxy_pass из DMZ
server {
    server_name registry.antroot.ru;
    listen 5005 ssl;
    listen 443 http2 ssl;

    location / {
        resolver 10.0.2.2;
        proxy_pass https://gitlab.antroot.lan:5005;
        proxy_set_header Host $host;
        proxy_cache off;
        proxy_buffering off;
        proxy_request_buffering off;
    }
    access_log /var/log/nginx/registry.antroot.ru.access.log;
    error_log  /var/log/nginx/registry.antroot.ru.error.log;

    #ssl_certificate /etc/letsencrypt/live/registry.mijor.ru/fullchain.pem;
    #ssl_certificate_key /etc/letsencrypt/live/registry.mijor.ru/privkey.pem;
    include /etc/letsencrypt/options-ssl-nginx.conf;
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem;
}

Здесь закрыты комментарием ссылки на файлы сертификатов, которые можно установить с помощью certbot, подробнее смотрите в статье

Проверка

После установки и настройки можно зайти браузером на адрес http://gitlab.antroot.ru (используйте указанный при настройке gitlab) - первая авторизация по указанному выше в статье паролю или из файла в /etc/gitlab/initial_root_password.
Авторизуйтесь, смените пароль (правое верхнее меню, profile, password), создайте группу (левое верхнее меню, groups, create group) и проект (левое верхнее меню, projects, create project).
В настройках проекта в левом меню Packages & Registries / Container Registry есть настройки доступа к репозиторию образов Container Registry. Например, при указании адреса реестра registry.antroot.ru, в группе group1 и проекте project1:

docker login registry.antroot.ru
docker build -t registry.antroot.ru:/group1/project1 .
docker push registry.antroot.ru/group1/project1

Создадим тестовый образ и проверим работу реестра registry:

docker login registry.antroot.ru
# Введите Username / Password

# сборка образа из Dockerfile
docker image build -t registry.antroot.ru:5005/group1/project1:latest -<<EOF
FROM busybox
RUN echo "Hello from Busybox"
EOF

# копирование образа в registry
docker push registry.antroot.ru/group1/project1:latest

# запуск контейнера из образа
docker run registry.antroot.ru/group1/project1:latest

Установка GitLab Runner

Для установки сборщика нужно воспользоваться официальным репозиторием GitLab, например для Debian 10 (Buster):

# установка Docker
apt install -y ca-certificates curl gnupg lsb-release
curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \
  $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
apt update
apt install -y docker-ce docker-ce-cli containerd.io

# установка GitLab-Runner
curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | bash -
apt update
apt install -y gitlab-runner

После установки открыть в GitLab раздел Admin Area / Runners - скопировать URL и Token, а затем на устанавливаемом раннере запустить регистрацию:

gitlab-runner register

и ответить на вопросы:

• Gitlab URL: https://gitlab.antroot.ru ;
• Registration token: из раздела Admin / Runners;
• Description: описание, отображаемое в GitLab (gitlab-runner-1);
• Tags: теги, по которым можно назначать задания в CI (docker, intel, x86);
• Executor: способ запуска, например docker;
• Default image: образ по умолчанию: alpine:3.12.8

Конфигурация /etc/gitlab-runner/config.toml. Здесь в конфиг по умолчанию добавлены параметры:

• dns - установка своего DNS сервера;
• daemon.json - подключение конфигурации docker на раннере в запускаемый контейнер;
• registry-mirror - подключение зеркала docker hub.

concurrent = 2
check_interval = 0
listen_address = ":9252"

[[runners]]
  name = "gitlab-runner-1"
  url = "https://gitlab.antroot.ru"
  token = "SomeHashedStringXJKSKFJS"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.docker]
    dns = ["10.0.3.2"]
    pull_policy = ["always", "if-not-present"]
    tls_verify = false
    image = "alpine:3.12.8"
    privileged = true
    disable_cache = false
    volumes = ["/var/run/docker.sock:/var/run/docker.sock", "/cache", "/certs/client","/etc/docker/daemon.json:/etc/docker/daemon.json:ro"]
    shm_size = 0
    [[runners.docker.services]]
      command = ["--registry-mirror", "https://dockerhub.antroot.ru"]
  [runners.cache]
    Type = "s3"
    Shared = true
    [runners.cache.s3]
      ServerAddress = "s3.antroot.ru:9000"
      AccessKey = "minio"
      SecretKey = "S3SecretPass"
      BucketName = "runners"
      BucketLocation = "ru-east-1"
      Insecure = true

Конфигурация /etc/docker/daemon.json

{
    "registry-mirrors": [ "https://dockerhub.antroot.ru" ],
    "dns": ["10.0.3.2", "8.8.8.8", "1.1.1.1"]
}

После изменения конфиугурации gitlab-runner, она должна автоматически подхватиться раннером. Перезапуск и просмотр состояния выполняется простыми командами:

gitlab-runner restart
gitlab-runner status

В GitLab в администрировании можно увидеть статус подключенного раннера.

Обновление GitLab

GitLab обновляется очень просто!

apt update
apt install gitlab-ce

Обновление GPG ключа репозитория:

curl -L https://packages.gitlab.com/gitlab/gitlab-ee/gpgkey | sudo apt-key add -

Для обновления на специфичную версию, нужно выяснить номер версии и затем обновиться:

apt update
apt-cache policy gitlab-ce
apt install gitlab-ce=14.4.1-ce.0

Версии GitLab нумеруются так: XX.YY.ZZ, где:

• XX - мажорная версия
• YY - минор
• ZZ - патч

Обновления без изменения минорной версии можно выполнять через любое количество патчей.
Обновления минора лучше выполнить последовательно.

Иногда после обновления GitLab может не стартовать автоматически, тогда достаточно попробовать выполнить перезапуск:

gitlab-ctl restart

Если все ещё не работает, выполнить переконфигурацию:

gitlab-ctl reconfigure
gitlab-ctl restart

Также при обновлении через большое количество версий, или с большим количеством проектов внутри GitLab возможны ошибки:

• TASK: gitlab tasks: top => db:migrate
• Upgrade fails with "Error executing action 'run' on resource 'bash[migrate gitlab-rails database]'

это связано с ошибкой миграции данных при обновлении. Посмотреть состояние миграций можно так:

gitlab-rake db:migrate:status

на выходе появится длинный список миграций в состоянии up - выполнена, down - не выполнена. Запустить миграции вручную можно так:

gitlab-rake db:migrate

После выполнения иногда может понадобиться завершить какую-нибудь миграцию блокирующую дальнейшие преобразования вручную, о чем будет выведено сообщение, например такое:

... run it manually
sudo gitlab-rake gitlab:background_migrations:finalize[CopyColumnUsingBackgroundMigrationJob,taggings,id,'[["id"\, "taggable_id"]\, ["id_convert_to_bigint"\, "taggable_id_convert_to_bigint"]]']

нужно выполнить это вручную, затем снова запустить миграции gitlab-rake db:migrate, и так до победного, чтобы в выводе gitlab-rake db:migrate:status все миграции были выполнены. Затем останется перезапустить gitlab

gitlab-ctl restart

Проверка состояния GitLab

gitlab-rake gitlab:env:info
gitlab-rake gitlab:check

Миграция GitLab на другой сервер

GitLab сервер - источник

Убедиться, что все необходимые компоненты сохраняются в резервной копии в конфигурационном файле /etc/gitlab/gitlab.rb - SKIP определяет, какой компонент пропустить и не копировать:

#"SKIP" => "db,uploads,repositories,builds,artifacts,lfs,registry,pages"
gitlab_rails['env'] = {
    "SKIP" => "uploads,builds,artifacts,lfs"
}

Вначале нужно остановить сервер, чтобы сохранить целостность резервной копии:

gitlab-ctl stop unicorn
gitlab-ctl stop puma
gitlab-ctl stop sidekiq

Сохранить конфигурацию и данные:

gitlab-ctl backup-etc
# для версий до 12.1 включительно
gitlab-rake gitlab:backup:create
# для версий после 12.1
gitlab-backup create

Полученные файлы необходимо скопировать на новый сервер:

• /etc/gitlab/config_backups/gitlab_config_<TIMESTAMP>_<DATE>.tar - архви с конфигурационными файлами gitlab.rb, config.json, ssl
• /var/opt/gitlab/backups/<TIMESTAMP>_<DATE>_<VERSION>_gitlab_backup.tar - архив с данными

scp /etc/gitlab/config_backups/* user@newserver.antroot.ru:~
scp /var/opt/gitlab/backups/* user@newserver.antroot.ru:~

GitLab сервер - приемник

Установить GitLab такой же версии, что исходный сервер, согласно инструкции по Установке GitLab (описано выше)

apt install gitlab-ce=14.4.1-ce.0

Распаковать архив конфигурационных файлов в /etc/gitlab

tar zxvf ~/config_backups/gitlab_config_<TIMESTAMP>_<DATE>.tar -C /

Скопировать архив данных в директорию с резервными копиями:

scp ~/<TIMESTAMP>_<DATE>_gitlab_backup.tar /var/opt/gitlab/backups/
chown -R git:git /var/opt/gitlab/backups/

Поправить значения в конфигурации /etc/gitlab/gitlab.rb при необходимости (например, указать новый URL):

gitlab-ctl reconfigure
gitlab-ctl restart

Остановить сервисы, использующие PostgreSQL:

gitlab-ctl stop unicorn
gitlab-ctl stop puma
gitlab-ctl stop sidekiq

Восстановить архив:

# для версий до 12.1 включительно
gitlab-rake gitlab:backup:restore BACKUP=<TIMESTAMP>_<DATE>_<VERSION>
# для версий после 12.1
gitlab-backup restore BACKUP=<TIMESTAMP>_<DATE>_<VERSION>

Запустить GitLab и выполнить проверку:

gitlab-ctl start
gitlab-rake gitlab:check SANITIZE=true

apt -y install gnupg2
wget -qO - https://www.mongodb.org/static/pgp/server-4.2.asc | apt-key add -
echo "deb http://repo.mongodb.org/apt/debian buster/mongodb-org/4.2 main" | tee /etc/apt/sources.list.d/mongodb-org.list
apt install mongodb

Включить доступ по сети к MongoDB
Доступ по сети определяется интерфейсами, которые слушает MongoDB, для этого в файле /etc/mongod.conf добавляем IP адрес (замените <your_server_ip_address> IP адресом своего сервера MongoDB):

# network interfaces
net:
  port: 27017
  bindIp: 127.0.0.1,<your_server_ip_address>
  

после чего нужно перезапустить MongoDB

systemctl restart mongod

Зайти в CLI MongoDB

mongo
mongo -u root -p <password>

Посмотреть список баз данных MongoDB

show dbs

Подключиться к выбранной базе данных <database_name> в MongoDB или создать ее, если не существует

use database_name

Создать пользователя <database_user> для базы данных <database_name>

use database_name
db.createUser(
  {
    user: "database_user",
    pwd: "SecretPassword,
    roles: [
      { role: "readWrite", db: "database_name" }
    ]
  }
)

Посмотреть список коллекций в выбранной базе данных MongoDB

show collections

Посмотреть список пользователей базы данных MongoDB

show users

Создать пользователя базы данных MongoDB

db.createUser({user:'username', pwd:'SecretPassword', roles:["readWrite"]})

Безопасность в MongoDB

Для включения авторизации доступа к MongoDB нужно добавить суперпользователя и запустить демона MongoDB с ключом --auth
Подключиться к MongoDB CLI

mongo

Выполнить

use admin
db.createUser(
  {
    user: “superuser”,
    pwd: “SecretPassword”,
    roles: [ “root” ]
  }
)

Проверить, что пользователь создан

show users

Выключить сервер

db.shutdownServer()
exit

и запустить демона MongoDB

mongod --auth

apt update

Создать виртуальное окружение для Python 2

apt install python python-pip python-dev
cd /srv/www/antroot
pip install virtualenv
virtualenv antroot

Создать виртуальное окружение для Python 3

apt install python3.5 python3-pip python3-dev python3-venv
cd /srv/www/antroot
pip3 install virtualenv
python3 -m venv antroot

Установить gunicorn

source antroot/bin/activate
pip install gunicorn
pip install -r requirements.txt

Отключить виртуальное окружение

deactivate

Запуск приложения через systemd

Для запуска в /etc/systemd/system нужно создать единицу запуска:

[Unit]
Description=Gunicorn antroot Web server
After=network.target

[Service]
EnvironmentFile=-/srv/www/antroot/.env
ExecStart=/srv/www/antroot/bin/gunicorn --config /srv/www/antroot/gunicorn_config.py antroot:app
ExecReload=/bin/kill -9 $MAINPID
KillMode=process
Restart=on-failure
RestartPreventExitStatus=255
Type=notify

[Install]
WantedBy=multi-user.target
Alias=antroot.service

Включить и запустить

systemctl daemon-reload
systemctl enable antroot
systemctl start antroot

Установка HAProxy

Чаще всего HAProxy уже находится в стандартном репозитории:

apt install -y haproxy
mv /etc/haproxy/haproxy.conf{,.orig}

Например настроим haproxy для перенаправления всего трафика http (80) и https (443) на виртуальную машину router, предварительно настроенную для маршрутизации, например в гипервизоре Proxmox VE, с выдачей IP адреса по DHCP и регистрацией в DNS, с настроенным Nginx и виртуальными хостами.

haproxy.conf - simple

global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners
        stats timeout 30s
        user haproxy
        group haproxy
        daemon
defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        option forwardfor
        #option http-server-close
        timeout connect 10s
        timeout client  60s
        timeout server  60s

        errorfile 400 /etc/haproxy/errors/400.http
        errorfile 403 /etc/haproxy/errors/403.http
        errorfile 408 /etc/haproxy/errors/408.http
        errorfile 500 /etc/haproxy/errors/500.http
        errorfile 502 /etc/haproxy/errors/502.http
        errorfile 503 /etc/haproxy/errors/503.http
        errorfile 504 /etc/haproxy/errors/504.http

listen stats
        stats enable
        mode http
        bind :7000
        stats realm      Haproxy\ Statistics
        stats auth someuser:somepassword
        stats uri /haproxystats
        stats refresh    30s

frontend http_bind
        bind *:80
        mode tcp
        option tcplog
        default_backend router_http

frontend https_bind
        bind *:443
        mode tcp
        option tcplog
        default_backend router_https

backend router_http
        mode tcp
        balance leastconn
        option httpclose
        option forwardfor
        server router_server router.antroot.lan:80
        server router_server router2.antroot.lan:80

backend router_https
        mode tcp
        server router_server router.antroot.lan:443

Добавим немного логики в haproxy, чтобы убрать из цепочки nginx.
Включим виртуальные хосты, перенаправим http-трафик на порт 80 соответствующих виртуальных машин, а https-трафик перенаправим на четвертом уровне сетевой модели по TCP, чтобы не пришлось устанавливать SSL-сертификаты на haproxy. Также это полезно, если в качестве конечного пункта выступает ingress кластера Kubernetes:

haproxy.conf - ssl passthrough

global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners
        stats timeout 30s
        user haproxy
        group haproxy
        daemon

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        timeout connect 10s
        timeout client  60s
        timeout server  60s
        errorfile 400 /etc/haproxy/errors/400.http
        errorfile 403 /etc/haproxy/errors/403.http
        errorfile 408 /etc/haproxy/errors/408.http
        errorfile 500 /etc/haproxy/errors/500.http
        errorfile 502 /etc/haproxy/errors/502.http
        errorfile 503 /etc/haproxy/errors/503.http
        errorfile 504 /etc/haproxy/errors/504.http

frontend http_in
        mode http
        option httplog
        bind *:80
        option forwardfor
        acl host_pve hdr(host) -i pve.antroot.ru
        acl host_git hdr(host) -i gitlab.antroot.ru
        acl host_wik hdr(host) -i wiki.antroot.ru
        acl host_k8s hdr(host) -i k8s.antroot.ru
        use_backend http_pve if host_pve
        use_backend http_git if host_git
        use_backend http_wik if host_wik
        use_backend http_k8s if host_k8s

backend http_pve
        mode http
        option httplog
        option forwardfor
        server pve pve.antroot.lan:80
backend http_git
        server git gitlab.antroot.lan:80
backend http_wik
        server wiki wiki.antroot.lan:80
backend http_k8s
        server k8s k8s.antroot.lan:80

frontend https_in
        mode tcp
        option tcplog
        option ssl-hello-chk # !
        bind *:443
        acl tls req.ssl_hello_type 1
        tcp-request inspect-delay 5s
        tcp-request content accept if tls
        #tcp-request content accept if { req.ssl_hello_type 1 }

        acl host_pve hdr(host) req.ssl_sni -i pve.antroot.ru
        acl host_git hdr(host) req.ssl_sni -i gitlab.antroot.ru
        acl host_wik hdr(host) req.ssl_sni -i wiki.antroot.ru
        acl host_k8s hdr(host) req.ssl_sni -i k8s.antroot.ru
        use_backend https_pve if host_pve
        use_backend https_git if host_git
        use_backend https_wik if host_wik
        use_backend https_k8s if host_k8s

backend https_pve
        mode tcp
        option tcplog
        option ssl-hello-chk
        server pve pve.antroot.lan:443
backend https_git
        server git gitlab.antroot.lan:443
backend https_wik
        server wiki wiki.antroot.lan:443
backend https_k8s
        mode tcp
        balance source # source leastconn roundrobin
        server k8s1 k8s1.antroot.lan:443 check ssl verify none fall 3 rise 2
        server k8s2 k8s2.antroot.lan:443 check ssl verify none fall 3 rise 2

Посмотреть статус файервола:

ufw status
ufw status verbose

Получить список всех правил с номерами и удалить правило с номером:

ufw status numbered
ufw delete <number>
ufw delete allow ssh

Установить политику по умолчанию:

ufw default deny incoming
ufw default allow outgoing
ufw default allow routed

Разрешить подключение по SSH только с IP адреса 10.20.30.40

ufw allow from 10.20.30.40 to any port 22

Разрешить подключения на порты http и https:

ufw allow http
ufw allow https

Включить файервол UFW:

ufw enable

Сброс и отключение UFW:

ufw reset
ufw disable

iptables -L -n

Например, добавить правила для почтового сервера:

iptables -A INPUT -i eth0 -p tcp --dport 25 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 143 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 993 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 110 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 995 -m state --state NEW,ESTABLISHED -j ACCEPT
bash -c 'iptables-save > /etc/iptables/rules.v4'

Для сохранения правил после перезагрузки понадобится пакет iptables-persistent, после установки пакета будет задан вопрос о сохранении текущей конфигурации файерволла:

apt install -y iptables-persistent

После добавления своих правил нужно обновить содержимое таблиц iptables

bash -c 'iptables-save > /etc/iptables/rules.v4'

Установка DHCP

Этот пакет скорее всего один из старейших резидентов всевозможных репозиториев. Устанавливаем из стандартного:

apt install isc-dhcp-server bind9utils

Включить в файле /etc/default/isc-dhcp-server интерфейсы для прослушивания:

INTERFACESv4="ens18,eth0,vlan3"

Основной конфигурационный файл /etc/dhcp/dhcpd.conf,

option domain-name "antroot.ru";
option domain-name-servers 10.0.2.2, 10.0.2.3;
authoritative;
subnet 10.0.1.0 netmask 255.255.255.0 {
}
subnet 10.0.2.0 netmask 255.255.255.0 {
}
subnet 10.0.3.0 netmask 255.255.255.0 {
    range 10.0.3.50 10.0.3.99;
    option subnet-mask 255.255.255.0;
    option routers 10.0.3.2;
    option ntp-servers 10.0.3.2;
    option domain-name-servers 10.0.3.2;
    option domain-name "antroot.lan";
    ddns-domainname "antroot.lan";
    default-lease-time 300;
    max-lease-time 600;
}

Немного тюнинга:

authoritative;
allow declines;
update-conflict-detection false;
update-optimization on;
update-static-leases off;

Запуск isc-dhcp-server

systemctl start isc-dhcp-server
systemctl enable isc-dhcp-server
systemctl status isc-dhcp-server

Настройка обновления DNS из DHCP

Включить обновление сервера DNS в dhcpd.conf

ddns-update-style interim;
ddns-domainname "antroot.lan";
allow declines;

Сгенерировать секретные ключи:

• DHCP_UPDATER - для обновления DNS;
• dhcp_omapi - для взаимодействия между репликами DHCP сервера.

dnssec-keygen -a HMAC-MD5 -b 512 -n USER DHCP_UPDATER
dnssec-keygen -a HMAC-MD5 -b 512 -n USER DHCP_OMAPI
cat Kdhcp_updater.+*.private | grep ^Key | cut -d ' ' -f2-
cat Kdhcp_omapi.+*.private   | grep ^Key | cut -d ' ' -f2-

и добавить в конфигурационный файл dhcpd.conf под псевдонимом DHCP_UPDATER

key DHCP_UPDATER {
     algorithm HMAC-MD5.SIG-ALG.REG.INT;
     secret S2RoX3bfdXXkYgRlco4rMMM3KzU4MzkwCg==;
}
key dhcp_omapi {
     algorithm hmac-md5;
     secret S2RoBEXfb21hexDFdf5K3zE1NyswMDA2Mgo=;
}

Для включения режима failover понадобится указать порт OMAPI. OMAPI протокол используется, чтобы определять и изменять состояние DHCP сервера.

omapi-port 7911;
omapi-key dhcp_omapi;

Указать зоны, которые необходимо обновлять в dhcpd.conf

zone antroot.lan. {
    primary 10.0.3.2;
    secondary 10.0.3.3;
    key DHCP_UPDATER;
}
zone 3.0.10.in-addr.arpa. {
    primary 10.0.3.2;
    secondary 10.0.3.3;
    key DHCP_UPDATER;
}

Добавить резервный DHCP сервер (опционально)

failover peer "failover-partner" {
     primary;
     address 10.0.1.2;
     port 519;
     peer address 10.0.1.3;
     peer port 520;
     max-response-delay 60;
     max-unacked-updates 10;
     mclt 3600;
     split 128;
     load balance max seconds 3;
}

и указать в подсети pool, который должен реплицироваться:

subnet 10.0.3.0 netmask 255.255.255.0 {
    pool {
        failover peer "failover-partner";
        range 10.0.3.50 10.0.3.99;
        option subnet-mask 255.255.255.0;
        option routers 10.0.3.2;
        option domain-name-servers 10.0.3.2;
        option domain-name "antroot.lan";
        ddns-domainname "antroot.lan";
    }
}

На резервном DHCP сервере все то же самое, за исключением

failover peer "failover-partner" {
     secondary;
     address 10.0.1.3;
     port 520;
     peer address 10.0.1.2;
     peer port 519;
     max-response-delay 60;
     max-unacked-updates 10;
     load balance max seconds 3;
}

Установка DNS сервера

Сервер DNS (Domain Name Services - сервис доменных имен) предназначен для преобразования доменных имен в IP адрес (прямое преобразование) и обратно (обратное преобразование, reverse DNS).
Этот пакет также является основополагающим, и присутствует во всяческих репозиториях.
Установка производится стандартным образом:

apt install -y bind9

Стандартными для Debian/Ubuntu Linux расположениями файлов Bind9 являются

• /etc/default/bind9 - параметры запуска демона;
• /etc/bind/ - файлы конфигурации;
• /var/cache/bind/ - директория обслуживаемых доменных зон.

Четко установившаяся традиция разделения длинных конфигурационных файлов на части здесь может быть использована максимально эффективно при помощи директивы include, где основной файл конфигурации выглядит так

include "/etc/bind/named.conf.options";
include "/etc/bind/named.conf.local";
include "/etc/bind/named.conf.default-zones";
include "/etc/bind/named.conf.zones";
include "/etc/bind/named.conf.zones.dynamic";

Для добавления своей динамической в данном случае зоны воспользуемся файлом, например, named.conf.zones.dynamic.
Сгенерируем конфигурацию для обновления зоны:

ddns-confgen -z antroot.lan

Добавим секретный ключ, который создали для DHCP

key DHCP_UPDATER {
    algorithm HMAC-MD5.SIG-ALG.REG.INT;
    secret S2RoX3bfdXXkYgRlco4rMMM3KzU4MzkwCg==;
};

И зоны, прямую и обратную:

zone "antroot.lan" {
    type master;
    file "antroot.lan.hosts";
    masterfile-format text;
    allow-update {
        key DHCP_UPDATER;
        10.0.3.2;
        10.0.3.3;
    };
    notify no;
};

zone "3.0.10.in-addr.arpa" IN {
    type master;
    file "_db.10.0.3";
    masterfile-format text;
    allow-update {
        key DHCP_UPDATER;
        10.0.3.2;
        10.0.3.3;
    };
};

И также необходимо создать мастер-файлы этих зон в директории /var/cache/bind
Мастер файл прямой зоны antroot.lan.hosts

$ORIGIN .
$TTL 86400      ; 1 day
antroot.lan  IN SOA  antroot.lan. admin.antroot.lan. (
                                2021100601 ; serial
                                600        ; refresh (10 minutes)
                                300        ; retry (5 minutes)
                                3600       ; expire (1 hour)
                                600        ; minimum (10 minutes)
                                )
                        NS      ns.antroot.lan.
                        MX      10 mx.antroot.lan.
                        TXT     "antroot.ru server"
                        HINFO   "Pentium-III-1200" "Linux"
                        A       10.0.3.2
$ORIGIN antroot.lan.
ns                      A       10.0.3.2
mx                      A       10.0.3.2
$TTL 300        ; 5 minutes
nas.                    A       10.0.3.8

Мастер файл обратной _db.10.0.3

$ORIGIN .
$TTL 600        ; 10 minutes
3.0.10.in-addr.arpa     IN SOA  mijor.lan. cd.mijor.lan. (
                                34         ; serial
                                600        ; refresh (10 minutes)
                                3600       ; retry (1 hour)
                                86400      ; expire (1 day)
                                3600       ; minimum (1 hour)
                                )
                        NS      localhost.
$ORIGIN 3.0.10.in-addr.arpa.
$TTL 300        ; 5 minutes
90                      PTR     nas.mijor.lan.

Проверка конфигурационных файлов:

named-checkconf /etc/bind/named.conf

Управление DNS через утилиту rndc

Сгенерировать конфигурацию rndc

rndc-confgen > /etc/bind/rndc.conf

следующего содержания:

key "rndc-key" {
      algorithm hmac-md5;
    secret "ABCDEFGHIJKLMNOPQRSTUVWXYZ==";
};
options {
     default-server 127.0.0.1;
     default-port 953;
     default-key "rndc-key";
};

Добавить в /etc/bind/named.conf

include "/etc/bind/rndc.key";
controls {
        inet 127.0.0.1 port 953
        allow { 127.0.0.1; } keys { "rndc-key"; };
    };

После перезапуска bind9 (systemctl restart bind9) можно воспользоваться:

• rndc status - вывод общего состояния DNS сервера;
• rndc freeze antroot.lan - заморозка зоны antroot.lan для ручного внесения изменений;
• rndc thaw antroot.lan - вернуть возможность обновления зоны antroot.lan

Ошибки конфигурации

dhcp_updater: updating zone 'antroot.lan/IN': update unsuccessful: srv1.antroot.lan: 'name not in use' prerequisite not satisfied (YXDOMAIN)

Решение: в dhcpd.conf
заменить ignore client-updates; на allow client-updates;

Forward map from srv1.antroot.lan to xx.xx.xx.xx FAILED: Has an A record but no DHCID, not mine.

DHCP-ID формируется, как хэш, вычисленный из комбинации FQDN машины, MAC адреса. DHCP-ID сохраняется в TXT записи в DNS
Решение: в dhcpd.conf добавить
update-conflict-detection off;

Не разрешаются имена, кроме укзанных своих зон:

Убедитесь, что не включена опция allow-recursion { none; };

Установка DNS сервера

Этот пакет является основополагающим, и присутствует во всяческих репозиториях.
Установка производится стандартным образом:

apt install -y bind9 bind9utils

Стандартными для Debian/Ubuntu Linux расположениями файлов Bind9 являются

• /etc/default/bind9 - параметры запуска демона;
• /etc/bind/ - файлы конфигурации;
• /var/cache/bind/ - директория обслуживаемых доменных зон;
• /var/log/bind/ - файлы журналов.

Четко установившаяся традиция разделения длинных конфигурационных файлов на части здесь может быть использована максимально эффективно при помощи директивы include, где основной файл конфигурации выглядит так

include "/etc/bind/named.conf.options";
include "/etc/bind/named.conf.local";
include "/etc/bind/named.conf.default-zones";
include "/etc/bind/named.conf.zones";
include "/etc/bind/named.conf.zones.dynamic";

Основные параметры конфигурации DNS Bind9

В разделе options определяются общие параметры DNS сервера.

• directory - определяет расположение мастер-файлов зон;
• forwarders - вышестоящие DNS серверы (заменить 0.0.0.0 и убрать комментарий);
• listen-on - какие интерфейсы должны прослушиваться;
• version - информация о версии сервера.

options {
        // forwarders { 0.0.0.0; };
        directory "/var/cache/bind";
        listen-on { 10.0.1.2; 10.0.2.2; 10.0.3.2; 127.0.0.1; };
        version none;
};

Журналирование в DNS Bind9

Для разбивки журналов можно использовать каналы, которые записывать в различные файлы.

logging {
        // Общий канал для всех запросов в DNS
        channel default_ch {
                // Параметры ротации файла: размер 100КБ, 4 версии
                file "/var/log/bind/named.log" versions 4 size 100k;
                severity info;      // Уровень информативности
                print-time yes;     // Показывать время
                print-category yes; // Указывать категорию
        };
        // Канал для упрощенных запросов
        channel lame_ch {
                file "/var/log/bind/lame_servers.log" versions 4 size 100k;
                severity info;
                print-time yes;
                print-category yes;
                };
        // Канал безопасности
        channel security_ch {
                file "/var/log/bind/security.log" versions 4 size 100k;
                severity info;
                print-severity yes;
                print-time yes;
                print-category yes;
                };
        // Канал передачи зон между серверами
        channel xfer_ch {
                file "/var/log/bind/xfer.log" versions 4 size 100k;
                severity info;
                print-time yes;
                print-category yes;
                };
        // Канал отладки обновлений зон
        channel update_debug {
                file "/var/log/bind/update_debug.log" versions 4 size 100k;
                severity debug 3;
                print-category yes;
                print-severity yes;
                print-time     yes;
                print-severity yes;
                print-time     yes;
        };
        // Канал обновлений зон
        channel update_log {
                file "/var/log/bind/update.log" versions 4 size 100k;
                severity dynamic;
                print-category yes;
                print-severity yes;
                print-time     yes;
        };

        // Направление категорий сообщений в соответствующие каналы
        category lame-servers { lame_ch; };
        category xfer-in  { xfer_ch; };
        category xfer-out { xfer_ch; };
        category update   { update_debug; update_log; };
        category update-security { update_debug; };
        category security { security_ch; };
        category default  { default_ch; };
};

При необходимости отключения любой категории, направьте ее в null

category lame-servers { null; };

Добавление зоны в DNS

Для добавления своей динамической в данном случае зоны воспользуемся файлом, например, named.conf.zones.dynamic.
Добавим секретный ключ для DHCP

key DHCP_UPDATER {
    algorithm HMAC-MD5.SIG-ALG.REG.INT;
    secret S2RoX3bfdXXkYgRlco4rMMM3KzU4MzkwCg==;
};

И зоны, прямую и обратную:

zone "antroot.lan" {
    type master;
    file "antroot.lan.hosts";
    masterfile-format text;
    allow-update {
        key DHCP_UPDATER;
        10.0.3.2;
        10.0.3.3;
    };
    notify no;
};

zone "3.0.10.in-addr.arpa" IN {
    type master;
    file "_db.10.0.3";
    masterfile-format text;
    allow-update {
        key DHCP_UPDATER;
        10.0.3.2;
        10.0.3.3;
    };
};

И также необходимо создать мастер-файлы этих зон в директории /var/cache/bind
Мастер файл прямой зоны antroot.lan.hosts

$ORIGIN .
$TTL 86400      ; 1 day
antroot.lan  IN SOA  antroot.lan. admin.antroot.lan. (
                                2021100601 ; serial
                                600        ; refresh (10 minutes)
                                300        ; retry (5 minutes)
                                3600       ; expire (1 hour)
                                600        ; minimum (10 minutes)
                                )
                        NS      ns.antroot.lan.
                        MX      10 mx.antroot.lan.
                        TXT     "antroot.ru server"
                        HINFO   "Pentium-III-1200" "Linux"
                        A       10.0.3.2
$ORIGIN antroot.lan.
ns                      A       10.0.3.2
mx                      A       10.0.3.2
$TTL 300        ; 5 minutes
nas.                    A       10.0.3.8

Мастер файл обратной _db.10.0.3

$ORIGIN .
$TTL 600        ; 10 minutes
3.0.10.in-addr.arpa     IN SOA  mijor.lan. cd.mijor.lan. (
                                34         ; serial
                                600        ; refresh (10 minutes)
                                3600       ; retry (1 hour)
                                86400      ; expire (1 day)
                                3600       ; minimum (1 hour)
                                )
                        NS      localhost.
$ORIGIN 3.0.10.in-addr.arpa.
$TTL 300        ; 5 minutes
90                      PTR     nas.mijor.lan.

Проверка конфигурационных файлов:

named-checkconf /etc/bind/named.conf

Настройка Split DNS

Иногда требуется сделать различное отображение данных DNS для внутренних клиентов в корпоративной сети и для внешних, обращающихся через интернет. В частности, для использования машин с несколькими IP адресами, или работающими через nginx/haproxy прокси серверы.
Определим внешних и внутренних клиентов:

acl internal_nets { 172.16.72.0/24; 192.168.1.0/24; };
acl external_nets { bastion-ips-go-here; };

и определим отображения view

view "internal" {
    match-clients {
        192.168.0.0/16;
        172.16.0.0/12;
        10.0.0.0/8;
        127.0.0.0/8;
    };
    recursion yes;

    zone "antroot.ru" {
        type master;
        file "antroot.ru.local.hosts";
        ...
    }
    include "named.conf.zones";
}
view "external" {
    match-clients { any; };
    zone "antroot.ru" {
        type master;
        file "antroot.ru.hosts";
        notify yes;
        allow-transfer { slave_ns; };
    };
    include "named.conf.zones";
};

Здесь определено два отображения view, internal - внутренняя, котороая будет отдаваться только на запросы из внутренних сетей, и external - внешняя, которая будет отвечать на запросы любому клиенту. При помощи директивы include подключаются общие для всех клиентов данные.
В приведенном примере, разделяется (split) зона antroot.ru. Мы определяем адреса серверов из демилитаризованной зоны в файле antroot.ru.local.hosts

srv1  IN A 10.0.3.101
srv2  IN A 10.0.3.102

и наряду с этим задаем в файле antroot.ru.hosts белый IP адрес, на котором установлен, например, прокси сервер, перенаправляющий запросы по имени хоста на соответствующий адрес в локальной сети:

srv1  IN A 50.60.70.80
srv2  IN A 50.60.70.80

Запуск сервера DNS Bind9

Запуск, перезапуск осуществляется через утилиту systemctl

systemctl start bind9
systemctl enable bind9
systemctl status bind9

Управление DNS через утилиту rndc

Сгенерировать конфигурацию rndc:

rndc-confgen > /etc/bind/rndc.conf

следующего содержания:

key "rndc-key" {
      algorithm hmac-md5;
    secret "ABCDEFGHIJKLMNOPQRSTUVWXYZ==";
};
options {
     default-server 127.0.0.1;
     default-port 953;
     default-key "rndc-key";
};

Добавить в /etc/bind/named.conf

include "/etc/bind/rndc.key";
controls {
        inet 127.0.0.1 port 953
        allow { 127.0.0.1; } keys { "rndc-key"; };
    };

После перезапуска bind9 (systemctl restart bind9) можно воспользоваться:

• rndc status - вывод общего состояния DNS сервера;
• rndc freeze antroot.lan - заморозка зоны antroot.lan для ручного внесения изменений;
• rndc thaw antroot.lan - вернуть возможность обновления зоны antroot.lan.

Некоторые ошибки

Ошибка синхронизации журнала изменений зоны

general: zone antroot.lan/IN: journal rollforward failed: journal out of sync with zone

Удалить файл журнала и перезапустить DNS сервер

rm var/cache/bind/antroot.lan.hosts.jnl
systemctl restart bind9

Установка сервера DHCP

Этот пакет скорее всего один из старейших резидентов всевозможных репозиториев. Устанавливаем из стандартного:

apt install isc-dhcp-server

Настройка сервера DHCP

Первая настройка в файле /etc/default/isc-dhcp-server, в котором нужно указать необходимые для прослушивания интерфейсы системы, физические и виртуальные.

INTERFACESv4="ens18,eth0,vlan1"

Файл записей аренды адресов располагается по умолчанию /var/lib/dhcp/dhcpd.leases
Дальнейшая настройка производится в основном конфигурационном файле /etc/dhcp/dhcpd.conf,
где необходимо указать основное имя домена и DNS

option domain-name "antroot.ru";
option domain-name-servers 10.0.2.1, 10.0.2.2;

Если устанавливается DHCP сервер, значит планируется раздавать IP адреса этим сервером, поэтому указываем, что он уполномочен это делать:

authoritative;

Следует указать все подсети, к которым подключен сервер, чтобы он понимал конфигурацию сети, указывая только в нужной параметры раздачи IP адресов

subnet 10.0.1.0 netmask 255.255.255.0 { }
subnet 10.0.2.0 netmask 255.255.255.0 { }
subnet 10.0.3.0 netmask 255.255.255.0 {
    range 10.0.3.50 10.0.3.99;
    option subnet-mask 255.255.255.0;
    option routers 10.0.3.2;
    option domain-name-servers 10.0.2.1;
}

Для фиксации IP адреса определенному устройству в сети можно указать его MAC адрес

host some-client {
  hardware ethernet fe:ce:12:34:56:78;
  fixed-address 10.0.3.11;
  option host-name "antroot-1";
  ddns-hostname "antroot-1";
}

Несколько хостов можно объединить в группу group, чтобы задать общие для группы параметры:

group {
  # общие для группы параметры
  option domain-name "antroot.lan";
  option domain-name-servers 10.0.3.2;
  option routers 10.0.3.2;
  host srv1 {
    # параметры хоста srv1
    hardware ethernet fe:ce:12:34:56:78;
    fixed-address 10.0.3.11;
  }
  host srv2 {
    # параметры хоста srv2
    hardware ethernet fe:ce:12:34:56:79;
    fixed-address 10.0.3.12;
  }
}

Для определенной подсети subnet пула pool группы group можно указать время аренды IP адреса в секундах - это бывает нужно для тестовых машин, когда их создается очень много на короткое время, чтобы пул адресов быстрее освобождался:

max-lease-time 300;
default-lease-time 300;

Подсеть subnet может быть разделена на пулы pool, каждому из которых можно определить свои дополнительные параметры:

subnet 10.0.3.0 netmask 255.255.255.0 {
  option routers 10.0.3.2;
  pool {
    range 10.0.3.150 10.0.3.199;
    option domain-name-servers 10.0.3.2;
    max-lease-time 300;
    default-lease-time 300;
    allow unknown-clients;
  }
  pool {
    range 10.0.3.50 10.0.3.99;
    option domain-name-servers 10.0.2.1, 10.0.3.2;
    deny unknown-clients;
  }
}

Журналирование сервера DHCP

Включаем маркирование логов в файле dhcpd.conf

log-facility local7;

Затем необходимо добавить в конфигурацию syslog перенаправление в отдельный файл, для чего в директории /etc/rsyslog.d/ добавить файл isc-dhcp-server.conf с таким содержимым:

local7.* /var/log/dhcpd.log
& ~

и в основном файле конфигурации отключить запись в /var/log/syslog этих сообщений

*.*;auth,authpriv.none -/var/log/syslog
# заменить на
*.*;auth,authpriv.none;local7.none -/var/log/syslog

и перезапустить syslog

systemctl restart rsyslog

Запуск сервера DHCP

Запускаем isc-dhcp-server

systemctl start isc-dhcp-server
systemctl enable isc-dhcp-server
systemctl status isc-dhcp-server

• Публикация и подписка на каналы записей, что очень похоже на очередь сообщений
• Сохранение каналов записей в отказоустойчивом долгосрочном хранилище
• Обработка калаов записей сразу при их появлении

Kafka обычно используется для приложений:

• Построения конвейеров передачи данных в реальном времени между приложениями
• Построения потоковых приложений, преобразовывающих или реагирующих на потоки данных

Концепция:

• Kafka запускается, как кластер, выполняющийся на одном или нескольких серверах, расположенных, возможно, в нескольких дата-центрах
• Kafka сохраняет потоки записей в категориях, называемых "тема"
• Каждая запис состоит из ключа, значения и отметки времени

Kafka содержит четыре API:

• Producer API - позволяет приложениям публиковать потоки записей в одну или несколько тем
• Consumer API - позволяет приложениям подписываться на темы и обрабатывать потоки записей, публикуемых в них
• Streams API - позволяет приложениям работать, как обработчик потоков, предполагая извлечение записей из входящего потока по одной или нескольким темам, и публикуя выходящий поток в одну или несколько тем, выполняя некоторое преобразование входящих потоков в исходящие потоки
• Connector API - позволяет строить и запускать переиспользуемых публикаторов и подписчиков, что соединяет темы Kafka с существующими приложениями. К примеру, коннектор к реляционной базе данных может отлавливать каждое изменение таблицы.

В Kafka коммуникация между клиентами и серверами выполняется на простом, высокопроизводительном языке по TCP протоколу. Протокол версионен и поддерживает обратную совместимость со старыми версиями. Существует множество клиентов для Kafka на различных языках, среди которых Go, Java, PHP, Python, Rust, Swift.

Установка Apache Kafka на Ubuntu Linux

Установить Java

apt install -y default-jre
java -version

Создать пользователя

adduser kafka
adduser kafka sudo
su -l kafka

Установки Apache Kafka 3.1.0 со Scala 2.13

curl -fsSLO https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
tar zxvf kafka_2.13-3.1.0.tgz
mv kafka_2.13-3.1.0 ~/kafka
cd ~/kafka
#./bin/kafka-server-start.sh config/server.properties
#./bin/zookeeper-server-start.sh config/zookeeper.properties

Настройка

vi ~/kafka/config/server.properties
# установить следующие значечния
delete.topic.enable = true
log.dirs=/home/kafka/logs

Настроить Systemd Units
sudo vi /etc/systemd/system/zookeeper.service

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

sudo vi /etc/systemd/system/kafka.service

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

systemctl start zookeeper
systemctl start kafka
systemctl enable zookeeper
systemctl enable kafka

Тестирование Kafka

# создать тему QUEUE
#./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic QUEUE
./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic QUEUE
# создать публикатора для темы QUEUE, и написать несколько строк сообщений
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic QUEUE
# показать список тем
#./bin/kafka-topics.sh --list --zookeeper localhost:2181
./bin/kafka-topics.sh --list --bootstrap-server localhost:9092
# создать подписчика на тему QUEUE и просмотреть сообщения
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic QUEUE --from-beginning

их соседнего терминала можно отправить сообщение в открытый с подписчиком

echo "Hello World!" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic QUEUE > /dev/null

Установка утилиты администрирования KafkaT

sudo apt install ruby ruby-dev build-essential
sudo CFLAGS=-Wno-error=format-overflow gem install kafkat

vi ~/.kafkatcfg

{
  "kafka_path": "~/kafka",
  "log_path": "/home/kafka/logs",
  "zk_path": "localhost:2181"
}

kafkat partitions