Перейти к основному содержимому
Версия: 1.10

Политики хранения данных (Retention)

Хранение данных на Kafka​

Укажите политики хранения данных для Kafka в файле clans/{{ clan }}/{{ env }}/{{ dc }}/group_vars/sage/kafka.yml. Например:

kafka_retention_bytes: "{{ '5G' | human_to_bytes }}"
kafka_retention_hours: 24

Примечание: При указании времени хранения учитывайте, что политика хранения задается для партиции, а не для топиков. Количество партиций по умолчанию равно количеству Furry-хостов, указать иное значение параметра невозможно.

По умолчанию фактор репликации равен количеству Kafka-хостов (параметр не может быть изменен).

Хранение данных Opensearch​

Время хранения данных задается в настройках каждой из групп. Также можно ограничить общие допустимые политики хранения данных для Opensearch в файле clans/{{ clan }}/{{ env }}/{{ dc }}/group_vars/sage/luna.yml. Например:

custom_luna_jobs_settings:
  Elastic:
    IlmRolloverService:
      MinRetentionInDays: 7
      MaxRetentionInDays: 14
      ShardSizeForRollingInGb: 20

Расширенные параметры ротации индексов​

  • MinRetentionInDays - минимально возможный интервал ротации индексов в днях (например, если период хранения логов для группы равен 3 дням, то ротация будет выполняться каждые 7 дней, т.е. будем хранить логи 7 дней вместо 3 и создадим 1 индекс);
  • MaxRetentionInDays - максимально возможный интервал ротации индексов в днях (например, если период хранения логов для группы равен 30 дней, то ротация будет выполняться каждые 14 дней, т.е. будем хранить логи 42 дня вместо 30 и создадим 3 индекса);
  • ShardSizeForRollingInGb - требуемый средний размер всех шардов индекса для выполнения ротации.

Если индекс не попадает ни под одно из условий, ротация выполняется по истечении периода хранения логов для группы. После ротации индексы, которые вышли за период хранения логов для группы, удаляются.

Хранение данных VictoriaMetrics​

Укажите политики хранения данных VictoriaMetrics в файле clans/{{ clan }}/{{ env }}/{{ dc }}/group_vars/sage/victoriametrics.yml. Например:

victoriametrics_cluster_params_override:
  retentionPeriod: 30d

Хранение данных ClickHouse​

Трейсы хранятся 7 дней (параметр не может быть изменен).

Последнее обновление