Калькулятор расчета ресурсов

На этой странице доступны калькуляторы для расчета дискового пространства, необходимого для хранения логов и метрик Sage. Используйте их, чтобы рассчитать значения под параметры вашей инфраструктуры.

Совет

Введенные параметры автоматически сохраняются в URL страницы. Чтобы сохранить расчет, скопируйте ссылку из адресной строки — при открытии такой ссылки поля калькулятора заполнятся значениями из нее.

Расчет дискового пространства

Расчет носит оценочный характер и служит ориентиром при планировании. Фактический объем дискового пространства зависит от нагрузки и может отличаться от расчетного значения.

Kafka

Рассчитайте объем дискового пространства для хранения потока логов в Kafka.

Поток логовГБ/суткиМБ/секундуИспользуется для расчета объема хранения в Kafka. При выборе МБ/секунду значение пересчитывается в объем за сутки

Период храненияч.Период хранения в часах (retention)

Количество нод Kafkaшт.

Формула расчета

поток логов — входной поток данных

× retention / 24 часа — перевод часов хранения в сутки

× 3 — фактор репликации

× 30% — накладные расходы на процессы репликации Kafka

÷ 3 — распределение на каждую ноду Kafka

Объем хранилища на каждой ноде Kafka??? ГБ

Суммарный объем хранилища для логов в Kafka??? ГБ

OpenSearch

Рассчитайте объем дискового пространства на нодах кластера OpenSearch.

Поток логовГБ/суткиМБ/секундуИспользуется при расчете hot- и warm-нод. При выборе МБ/секунду значение пересчитывается в объем за сутки

Коэффициент исходного сжатияМножитель, показывающий, во сколько раз уменьшается объем логов после сжатия

Период хранениядн.Используется при расчете warm-нод (для hot-нод время хранения фиксировано — 4 дня)

Hot-ноды

Хранение данных на hot-нодах

Количество нодшт.

поток логов — входной поток данных, с учетом коэффициента сжатия

× 2 — фактор репликации: primary + replica в параметре index.number_of_replicas = 1

× 50% — накладные расходы на индексы и запас для ОС

× 25% — запас на перемещение данных между нодами

× 15% — запас для параметра cluster.routing.allocation.disk.watermark.low = 85%

× 4 дня — время хранения на hot-нодах:
2 дня хранения + 1 день на охлаждение + 1 день запас на сбой охлаждения

÷ 3 — распределение на каждую ноду

Объем дисков на каждой ноде??? ГБ

Объем дисков на всех нодах??? ГБ

Warm-ноды

Хранение данных на warm-нодах

Количество нодшт.

поток логов — входной поток данных, с учетом коэффициента сжатия

× 2 — фактор репликации: primary + replica в параметре index.number_of_replicas = 1

× 50% — накладные расходы на индексы и запас для ОС

× 25% — запас на перемещение данных между нодами

× 15% — запас для параметра cluster.routing.allocation.disk.watermark.low = 85%

− 4 дня — вычитается время хранения на hot-нодах

÷ 3 — распределение на каждую ноду

Объем дисков на каждой ноде??? ГБ

Объем дисков на всех нодах??? ГБ

VictoriaMetrics

Рассчитайте объем дискового пространства на нодах vmstorage кластера VictoriaMetrics.

Компоненты vminsert и vmselect — stateless-приложения, они не хранят данные на дисках и не учитываются в расчетах.

Количество временных рядовшт.Примерное количество уникальных временных рядов (time series)

Интервал опросасек.scrape_interval — интервал опроса в секундах

Период хранениядн.Длительность хранения в сутках (retention)

Количество нод vmstorageшт.

Формула расчета

1 000 000 — уникальных временных рядов

× retention × 86400 / scrape_interval — перевод суток в секунды:
60 секунд × 60 минут × 24 часа

× 1 байт — размер одного сэмпла после сжатия,
высокий Churn Rate может увеличить это значение

× 2 — фактор репликации

× 25% — запас свободного места:
20% для операций слияния + 5% для задач ОС

× 20% — запас для индекса indexdb,
может быть больше в случае высокой кардинальности метрикКак правило, индекс занимает около 20% дискового пространства, выделенного для хранения данных. В системах с высокой кардинальностью, то есть с большим количеством уникальных временных рядов, индекс может занимать более 50% объема хранилища. Подробнее

÷ 1 073 741 824 — перевод байтов в ГБ по формуле 1024³

÷ 3 — распределение на каждую ноду vmstorage

Объем хранилища на каждой ноде vmstorage81 ГБ

Объем хранилища на всех нодах vmstorage242 ГБ