Экспорт данных

Система Пуаро предоставляет возможность экспорта данных для интеграции с внешними системами, такими как SIEM, системы аналитики и другие инструменты мониторинга безопасности.

Обзор

Данные хранятся в двух базах данных:

• PostgreSQL — события центра управления, конфигурация, метаданные
• ClickHouse — данные аудита, профилирования, поведенческая аналитика

Это позволяет:

• Интегрировать данные аудита с SIEM-системами (Splunk, QRadar, ArcSight и др.)
• Строить собственные аналитические отчёты
• Экспортировать данные для архивного хранения
• Создавать кастомные дашборды

Подключение к базам данных

Подключение к PostgreSQL

Для подключения к базе данных PostgreSQL используйте следующие параметры:

Подключение к ClickHouse

Для подключения к базе данных ClickHouse используйте следующие параметры:

Поддерживаемые протоколы

PostgreSQL:

• TCP/IP — стандартное подключение через порт 5432
• JDBC/ODBC — через соответствующие драйверы

ClickHouse:

• HTTP/HTTPS — порт 8123, подходит для большинства интеграций
• Native — порт 9000, оптимальная производительность
• JDBC/ODBC — через соответствующие драйверы

Таблицы PostgreSQL

Таблица событий центра управления (pu_main_center)

Основная таблица событий и инцидентов системы. Содержит информацию о всех зарегистрированных событиях безопасности.

База данных: PostgreSQL Таблица: pu_main_center

Типы событий:

Уровни критичности:

Пример запроса:

SELECT
    event_num,
    event_type,
    event_name,
    event_crit,
    pu_db_hostname,
    event_start_datetime,
    event_status
FROM pu_main_center
WHERE event_status = 'новый'
  AND event_start_datetime >= NOW() - INTERVAL '1 day'
ORDER BY event_start_datetime DESC
LIMIT 100

Таблица отчётов о событиях (pu_mc_report)

Детализированные отчёты по событиям центра управления. Содержит логи и дополнительную информацию о событиях.

База данных: PostgreSQL Таблица: pu_mc_report

Пример запроса:

SELECT
    r.event_num,
    e.event_name,
    r.event_report_time,
    r.event_logs_type,
    r.event_logs_text
FROM pu_mc_report r
JOIN pu_main_center e ON r.event_id = e.event_num
WHERE e.event_crit = 'критический'
ORDER BY r.event_report_time DESC
LIMIT 50

Таблицы ClickHouse

Таблица косвенных улик (pu_raw_data)

Основная таблица с данными аудита SQL-запросов. Содержит информацию о всех отслеживаемых событиях в базах данных.

База данных: ClickHouse Схема: lector Таблица: pu_raw_data

Пример запроса:

SELECT
    pu_logtime,
    pu_db_hostname,
    pu_db_username,
    pu_sqltext
FROM lector.pu_raw_data
WHERE pu_logtime >= now() - INTERVAL 1 DAY
ORDER BY pu_logtime DESC
LIMIT 1000

Таблица учётных записей (pu_db_users)

Справочник учётных записей баз данных с информацией о статусе и метаданных.

База данных: ClickHouse Схема: lector Таблица: pu_db_users

Пример запроса:

SELECT
    pu_db_hostname,
    pu_db_username,
    account_status,
    last_login
FROM lector.pu_db_users
WHERE account_status = 'OPEN'
ORDER BY last_login DESC

Таблица системных привилегий (pu_catalog_privs)

Справочник системных привилегий, назначенных учётным записям.

База данных: ClickHouse Схема: lector Таблица: pu_catalog_privs

Пример запроса:

SELECT
    pu_db_hostname,
    pu_priv_name,
    priv_tab,
    priv_data_created
FROM lector.pu_catalog_privs
WHERE priv_db_type = 'Oracle'
ORDER BY priv_data_created DESC

Таблица объектов БД (pu_db_object)

Справочник объектов баз данных (таблицы, представления, процедуры и др.).

База данных: ClickHouse Схема: lector Таблица: pu_db_object

Пример запроса:

SELECT
    pu_db_hostname,
    pu_object_schema,
    pu_object_name,
    pu_object_rank
FROM lector.pu_db_object
WHERE pu_object_rank = 'СОДЕРЖИТ ПДН'
ORDER BY created DESC

Таблица объектных привилегий (pu_catalog_object_privs)

Справочник привилегий на объекты баз данных.

База данных: ClickHouse Схема: lector Таблица: pu_catalog_object_privs

Пример запроса:

SELECT
    pu_db_hostname,
    pu_object_name,
    privelege,
    pu_username_granted
FROM lector.pu_catalog_object_privs
WHERE privelege IN ('SELECT', 'INSERT', 'UPDATE', 'DELETE')
ORDER BY priv_data_created DESC

Таблица профилированных объектов (pu_profiled_object)

Результаты профилирования объектов баз данных на наличие персональных данных (ПДн).

База данных: ClickHouse Схема: lector_ai Таблица: pu_profiled_object

Категории ПДн в weights_details:

Уровни критичности по итоговой оценке:

Пример запроса:

SELECT
    o.pu_object_name,
    o.pu_object_schema,
    o.pu_db_hostname,
    p.final_score,
    p.weights_details
FROM lector_ai.pu_profiled_object p
LEFT JOIN lector.pu_db_object o ON p.pu_object_id = o.pu_object_id
WHERE p.final_score > 15
ORDER BY p.final_score DESC
LIMIT 100

Таблица алертов поведенческой модели (pu_ueba_alerts)

Алерты системы поведенческого анализа (UEBA). Содержит информацию об аномальном поведении пользователей.

База данных: ClickHouse Схема: lector_ai Таблица: pu_ueba_alerts

Пример запроса:

SELECT
    pu_db_hostname,
    pu_db_name,
    user,
    rule,
    ts,
    value,
    evidences
FROM lector_ai.pu_ueba_alerts
WHERE ts >= now() - INTERVAL 1 DAY
ORDER BY ts DESC
LIMIT 100

Таблица профилей пользователей (pu_ueba_30d_dynamic_profiles)

Динамические профили поведения пользователей за 30 дней. Используются для выявления отклонений от нормального поведения.

База данных: ClickHouse Схема: lector_ai Таблица: pu_ueba_30d_dynamic_profiles

Пример запроса:

SELECT
    user,
    pu_db_hostname,
    pu_db_name,
    work_start_hour,
    work_end_hour,
    avg_req_per_hour,
    pct_failed_logins
FROM lector_ai.pu_ueba_30d_dynamic_profiles
WHERE pct_failed_logins > 10
ORDER BY pct_failed_logins DESC

Интеграция с SIEM

Рекомендации по интеграции

1. Периодический экспорт — настройте регулярную выгрузку данных из таблицы pu_raw_data с фильтрацией по времени
2. Инкрементальная загрузка — используйте поле pu_logtime для получения только новых записей
3. Фильтрация событий — экспортируйте только релевантные события для снижения нагрузки на SIEM

Пример инкрементальной выгрузки

SELECT *
FROM lector.pu_raw_data
WHERE pu_logtime > '{last_export_time}'
ORDER BY pu_logtime ASC

Форматы экспорта

ClickHouse поддерживает экспорт в различных форматах:

Пример экспорта в JSON:

curl -X POST 'http://clickhouse:8123/?query=SELECT * FROM lector.pu_raw_data FORMAT JSONEachRow'

Безопасность

При настройке экспорта данных соблюдайте следующие требования безопасности:

• Используйте отдельную учётную запись с минимальными правами (только SELECT)
• Настройте сетевую изоляцию для подключений к ClickHouse
• Включите шифрование соединений (HTTPS/TLS)
• Ведите журнал экспортных операций
• Ограничьте объём выгружаемых данных по времени