GDPR (Европа)
Статья 33 обязывает хранить логи действий (audit logs) 36 месяцев после обработки персональных данных. Для обычных логов — 2 года.
Блог • Оптимизация
Сколько хранить логи: баланс между затратами и соответствием требованиям
Почему "хранить всё навсегда" — плохая идея. Как оптимизировать бюджет, соблюдая регуляторы и удерживая релевантные данные.
Введение: почему "хранить всё навсегда" — плохая идея
Представьте: вы платите $1500 в месяц за хранение 10 ТБ логов, хотя доступ к ним нужен только в первые 30 дней.
В современной архитектуре "хранить всё" — это не только нарушение безопасности, но и финансовая неэффективность. С ростом объёмов данных стоимость хранения на объектах хранения (Object Storage) может съедать значительную часть бюджета ИТ-департамента. LogKit позволяет автоматически перемещать данные в холодные хранилища, экономя до 80% бюджета на хранение.
Правильный подход к ретеншну (хранению) — это баланс между комплаенсом (соответствием законам) и стоимостью. Стратегия "Hot/Warm/Cold" позволяет хранить критически важные данные на быстрых дисках, а архивы — на дешёвом холодном хранилище.
Регуляторы
Требования регуляторов
Разные типы данных требуют разных сроков хранения. Ошибка может стоить штрафов.
152-ФЗ (Россия)
Логи, содержащие персональные данные, должны храниться не менее 5 лет. Срок хранения для системных логов — 3 года.
PCI DSS
Требует хранить логи транзакций и событий безопасности минимум 1 год, а полные логи доступа к данным — 3 года.
Практика
Типы логов и рекомендуемые сроки хранения
Не все логи одинаковы. Access logs важны для анализа трафика, но хранить их 5 лет дорого и бессмысленно.
Access Logs
Срок: 1-3 месяца.
Используются для анализа трафика, DDoS-атак и проблем с доступом. После 30 дней ценность падает, и их можно отправлять на Cold storage.
Application Logs
Срок: 1 год.
Ошибки, stack traces, бизнес-события. Часто требуются для отладки инцидентов в первые месяцы.
Audit / Security Logs
Срок: 3-5 лет.
Подтверждение того, кто и когда что-то делал. Критически важны для расследований инцидентов и аудита.
System / Infrastructure Logs
Срок: 6-12 месяцев.
Состояние серверов, контейнеров, баз данных. Используются для мониторинга и анализа производительности.
Архитектура
Hot / Warm / Cold storage: стратегия тиринга
Тиринг позволяет управлять стоимостью хранения, автоматически перемещая данные между уровнями на основе возраста и типа.
Hot Storage (Северный контур): SSD/NVMe. Максимальная скорость записи и чтения. Идеально для логов за последние 30-90 дней и критических алертов.
Warm Storage (Средний контур): HDD Enterprise. Баланс между ценой и скоростью. Подходит для логов за последние 1 год.
Cold Storage (Южный контур): Object Storage (S3-совместимый). Самая низкая цена. Используется для архивирования логов старше 1-3 лет, к которым доступ требуется редко.
LogKit
Как настроить политики ретеншн в LogKit
Настройка происходит через YAML-конфигурацию агента. Мы поддерживаем гибкие правила на основе времени и тегов.
retention_policy:
default_age: 365d
hot_storage:
enabled: true
duration: 90d
tier: hot
warm_storage:
enabled: true
duration: 730d
tier: warm
cold_storage:
enabled: true
tier: cold
archive_after: 2y
[OK] Policy applied: Hot (90d) + Warm (730d) + Cold (rest)
Расчёт
Расчёт: сколько вы можете сэкономить на тиринге
Гипотетический кейс: 10 ТБ логов в месяц за год. Сравнение стратегии "Hot Only" против "Hot/Warm/Cold".
Стратегия A: Hot Only
Весь объём хранится на быстрых SSD. Цены: Hot $0.15/ГБ/мес.
$5.40
Стоимость 1 ГБ в месяц
$64.8K
Расход за год (10 ТБ)
Стратегия B: Hot/Warm/Cold
30 дней Hot, 11 месяцев Warm, 24 месяца Cold. Цены: Hot $0.15, Warm $0.05, Cold $0.02.
$1.18
Стоимость 1 ГБ в месяц
$14.1K
Расход за год (10 ТБ)
Экономия: $50.7K в год
Готовы оптимизировать хранение?
Настройте автоматический тиринг данных в LogKit. Начните с 14-дневного триала без кредитной карты.