Развертывание кластера

После завершения установки программного обеспечения все необходимые сервисы запускаются автоматически. В состав ключевых сервисов входят:

• nginx — используется в качестве шлюза (Gateway) для маршрутизации обращений к веб-интерфейсу и RESTful API;
• RESTful API-сервис — реализует основную логику функционирования комплекса.

Также в процессе установки автоматически генерируется самоподписанный SSL-сертификат, обеспечивающий шифрование HTTPs-соединений. Сформированный сертификат может быть загружен пользователем после завершения установки.

Для доступа к веб-интерфейсу администратора необходимо выполнить следующие действия:

1. Открыть веб-браузер.
2. В адресной строке указать https://<IP>, где <IP> — IP-адрес, заданный при установке.
3. При первом подключении браузер отобразит предупреждение о недоверенном сертификате. Следует подтвердить исключение и разрешить подключение.

После выполнения указанных шагов откроется стартовая страница веб-интерфейса комплекса. После установки изделия веб-интерфейс запускается в режиме развёртывания, где авторизация отсутствует. Она появится после развёртывания кластера.

Процесс развёртывания кластера осуществляется поэтапно и включает две основные процедуры:

1. Создание нового кластера:

Этот этап выполняется только один раз при настройке первого узла кластера. В рамках процедуры необходимо указать параметры:

• общей конфигурации кластера;
• текущего узла (узел, на котором осуществляется настройка).

После завершения данного этапа создаётся основа кластера, к которой могут быть подключены дополнительные узлы.

2. Подключение к существующему кластеру:

Этап выполняется при добавлении нового узла к уже существующей кластерной инфраструктуре. Требуется указать только параметры текущего узла. Система автоматически получит остальную информацию из центрального кластера.

Примечание: Добавление узлов возможно только при наличии как минимум одного ранее развёрнутого и доступного узла.

Развертывание первого узла

Инициализация кластера

1. При конфигурировании первого узла в кластере необходимо инициировать создание нового кластера. На первом этапе задаются ключевые параметры:

• Имя кластера — должно быть уникальным, так как впоследствии используется для межкластерного взаимодействия.
• Пароль доступа — применяется для пользователя root при межузловом взаимодействии по SSH до момента генерации ключей. Рекомендуется использовать сложный пароль, включающий заглавные буквы, специальные символы и цифры. Минимальная длина — 8 символов.

2. После ввода параметров нажать кнопку Далее.
3. По завершении валидации параметров обновляются метаданные кластера, а пароль применяется к соответствующему пользователю.

Настройка сети кластера

На следующем этапе производится настройка сети кластера.

1. Требуется указать параметры внутренней сети, возможно также изменение параметров публичной сети. Настраиваемые поля:

• Подсеть (IPv4)
• Маска подсети (IPv4)
• IP-адрес шлюза
• MTU (по умолчанию 1500, изменение возможно при наличии соответствующих требований)

2. Для сервисов указывается приоритетная сеть — public (публичная) или cluster (внутренняя). По умолчанию используется публичная сеть.
3. Нажать кнопку Далее.

4. После заполнения параметров данные сохраняются в конфигурации кластера.

Настройка параметров кластера

На данном этапе задаются глобальные параметры развёртывания:

1. Сервис синхронизации времени: возможен выбор между NTP и Chrony. Использование Chrony сокращает время синхронизации до 2–3 минут (против 8–10 минут при NTP).

2. Пулы по умолчанию:

• rbd — используется для блочных устройств (iSCSI);
• cephfs — создаются пулы данных и метаданных, а также файловая система default для CIFS/NFS;
• radosgw — используется для S3-доступа через Rados Gateway.
• Указывается произвольная комбинация пулов в зависимости от сценариев эксплуатации.

3. Размер кластера: влияет на значение PG (Placement Groups). Необходимо учитывать количество физических дисков; при избыточном значении PG возможна деградация производительности. В веб-интерфейсе указаны верхняя и нижняя границы. Минимально - 256 PG (требуется порядка 10 дисков, если развёртывать со всеми дефолтными пулами). Максимально - 8192 PG (примерно 320 дисков требуется, если развёртывать со всеми дефолтными пулами).
4. Количество копий: задаёт уровень избыточности хранения данных.
5. Шаблон настройки: включает три конфигурационных блока (кластер, LIO, postinstall-скрипт), доступных для редактирования при необходимости.

Настройка сети узла

На четвёртом шаге конфигурируется внутренняя сеть конкретного узла:

• Бэкенд IP узла — IP-адрес узла во внутренней сети;
• Интерфейс сети узла — сетевой интерфейс для взаимодействия внутри кластера.

Настройка дисковой подсистемы узла

На завершающем этапе развёртывания указываются диски, задействуемые в кластере. Для каждого диска задаётся режим использования:

• OSD Block — основной носитель пользовательских данных (обязателен);
• OSD DB — журнал (опционален).

Также отображается информация о службах, развёртываемых на узле. Изменение этих параметров не рекомендуется.

Завершение развёртывания

После завершения всех шагов инициируется процесс развертывания узла. В случае успешного выполнения отображается статус, подтверждающий завершение процедуры.

Развертывание второго узла

Подключение к существующему кластеру

На втором и последующих узлах развёртывание выполняется в режиме подключения к уже существующему кластеру.

1. В мастере установки выбирается опция «Подключение к кластеру», после чего инициируется переход к форме подключения.

2. В поле IP главного узла указывается IP-адрес первого (инициирующего) узла кластера.
3. В поле Пароль кластера вводится пароль, заданный при создании кластера на первом узле. Данный пароль используется для аутентификации и настройки доверенных SSH-соединений между узлами.

После успешной аутентификации осуществляется синхронизация конфигурации и происходит смена пароля пользователя root на значение, указанное в параметре Пароль кластера.

Конфигурация параметров узла

1. Конфигурация параметров сети.

На данном этапе выполняется настройка параметров сети. Данный шаг полностью аналогичен шагу 4 при развертывании первого узла, однако значения сетевых параметров (IP-адрес, шлюз, DNS и пр.) задаются индивидуально для текущего узла.

2. Конфигурация дисковой подсистемы.

Данный шаг повторяет шаг 5 при развертывании первого узла. Выбираются устройства хранения и настраивается разметка томов в соответствии с требованиями к текущему узлу.

Завершение развертывания

После завершения всех этапов настройки и развёртывания отображается соответствующее уведомление об успешном добавлении узла в кластер. Указанный узел становится доступен для последующей эксплуатации в составе распределённой системы хранения данных.

Развертывание третьего узла

1. Подключение к существующему кластеру.

На данном этапе выполняются действия, аналогичные шагу 1 при развертывании второго узла. Указывается IP-адрес главного узла и пароль кластера. После успешного подключения будет выполнена синхронизация учетных данных пользователя root.

2. Конфигурация параметров сети.

Данный этап аналогичен шагу 4 при развёртывании первого узла. Параметры сети задаются индивидуально в соответствии с сетевой топологией.

3. Конфигурация дисковой подсистемы.

На этом этапе повторяется шаг 5 из развертывания первого узла: выбираются устройства хранения данных и выполняется их разметка.

Инициализация кластера

После добавления третьего узла в кластер автоматически инициируется процесс развёртывания всего кластера. Длительность процедуры зависит от параметров аппаратного обеспечения, числа дисков, конфигурации пулов по умолчанию, используемой службы синхронизации времени и сетевой инфраструктуры.

Пример: В рамках тестового стенда (3 виртуальные машины с 16 ГБ ОЗУ, 16 CPU, 4×200 ГБ дисков, служба синхронизации времени Chrony) полное развертывание занимает 25–30 минут.

Развёртывание кластера включает следующие этапы:

• Проверка сетевой доступности между узлами;
• Проверка доступности по SSH;
• Обновление файла /etc/hosts на всех узлах;
• Обновление конфигурации кластера и синхронизация метаданных;
• Синхронизация времени между узлами;
• Очистка устаревших метаданных (в случае переустановки);
• Развёртывание сервиса Consul для межсервисного взаимодействия;
• Загрузка конфигурации и данных в Consul;
• Генерация конфигурации Ceph;
• Создание учетных записей Admin и Bootstrap-osd;
• Создание мониторов Ceph (основной элемент управления кластером);
• Создание менеджеров Ceph (отвечают за мониторинг и состояние кластера);
• Создание резервных сервисов метаданных Ceph (используются в CephFS);
• Применение шаблона конфигурации, заданного на этапе 3 первого узла;
• Инициализация Ceph OSD на основе указанных дисков;
• (опционально) Создание пула по умолчанию rbd;
• Создание файловой системы storm_backend, а также пулов storm_data и storm_metadata;
• (опционально) Создание пула CephFS;
• (опционально) Создание пула radosgw;
• Генерация стандартных профилей EC (erasure coding);
• Запуск сервисов Stormwind;
• Создание стандартного пользователя admin с паролем P@ssw0rd;
• Синхронизация SSL-сертификатов между узлами;
• Настройка и запуск веб-сервера Nginx;
• Настройка и запуск системы сбора метрик;
• Выполнение скрипта донастройки узлов на основе шаблона конфигурации.

После успешного завершения всех этапов кластер считается развёрнутым. Веб-интерфейс на всех узлах переходит в административный режим. Для доступа используется логин и пароль, указанные при создании пользователя Stormwind.

Развёртывание N-го узла

Развёртывание N-го узла (четвёртого и далее) производится по упрощённой процедуре, идентичной подключению второго и третьего узлов. Все шаги предварительного конфигурирования (шаги 1–3) выполняются аналогично:

1. Выбор режима подключения – указывается «Подключение к кластеру».
2. Настройка параметров подключения – вводятся IP-адрес первого узла и пароль кластера.
3. Заполнение конфигурационных параметров – аналогично шагам настройки узлов 2 и 3.

Процедура развертывания включает только минимальный необходимый набор этапов для подключения узла к уже функционирующему кластеру, без повторной инициализации служб кластера и сервисов Ceph.