1С и ClickHouse: когда нужна аналитическая база и как организовать загрузку

Для аналитики в ClickHouse недостаточно регулярно копировать строки из 1С. Нужен контракт изменений: ключ события, версия, исправления и удаления. Разберём учебный SQL, который сохраняет правильный итог после повторной загрузки.

Содержание статьи
  1. Когда ClickHouse нужен для данных 1С
  2. Определите источник и контракт загрузки
  3. Пример ReplacingMergeTree: почему обычной суммы недостаточно
  4. Как обрабатывать повтор пакета, дату и удаление
  5. Первичная загрузка и дальнейшие изменения
  6. Как выбрать зерно и идентичность события
  7. Первичная выгрузка при продолжающейся работе 1С
  8. Партиционирование и жизненный цикл версий
  9. Соединения и производные показатели
  10. Нагрузка, стоимость и эксплуатационное решение
  11. Как принять аналитическую витрину
  12. Источники и дата проверки

Когда ClickHouse нужен для данных 1С

ClickHouse стоит рассматривать, когда аналитика читает большие наборы событий, объединяет несколько источников или мешает оперативной работе учётной системы. Решение принимают по измерениям: объём сканирования, задержка отчёта, частота обновления и стоимость сопровождения. Универсального числа документов, после которого необходимо менять СУБД, нет.

Если согласованный отчёт или витрина PostgreSQL уже укладываются в требования, отдельный ClickHouse может добавить лишнюю инфраструктуру. Подключение BI и определение показателя разобраны в статье про DataLens и 1С. Здесь задача другая: как сохранять актуальное состояние событий при повторных загрузках и исправлениях.

Определите источник и контракт загрузки

Используйте поддерживаемый интерфейс 1С, готовый экстрактор или согласованную файловую выгрузку. Не считайте физические таблицы рабочей базы готовой аналитической схемой. Для собственного интерфейса сначала проверьте доступные объекты и права в материале про OData.

Поле примераНазначение
organization_id и event_idСтабильный ключ события внутри одной базы-источника
versionМонотонно растущая версия события
event_dateДата признания по методике показателя
net_amount_rubСумма без НДС в рублях с согласованным знаком
is_deletedПризнак исключения события
Идентификатор пакета в журналеСверка состава, повторов и полноты загрузки

Это учебный контракт, а не имена реквизитов типовой конфигурации. Для нескольких баз добавьте в ключ область источника. Отправка старой версии после новой не должна отменять актуальное состояние. Одинаковая версия с разным содержимым — конфликт, который нужно обнаружить в загрузчике.

Загрузка 1С в ClickHouse с версиями событий
Исправления и удаления входят в контракт; повтор пакета не меняет итог.

Пример ReplacingMergeTree: почему обычной суммы недостаточно

В тестовой базе создадим таблицу без партиционирования. Ключ сортировки содержит только неизменные поля идентичности; исправляемая дата в него не входит. Версия выбирает актуальную запись. В реальном проекте партиционирование подбирают отдельно: версии одного ключа не должны бесконтрольно расходиться по партициям.

CREATE TABLE demo_1c_events (
    organization_id UInt32,
    event_id String,
    version UInt64,
    event_date Date,
    net_amount_rub Decimal(18, 2),
    is_deleted UInt8
) ENGINE = ReplacingMergeTree(version)
ORDER BY (organization_id, event_id);

INSERT INTO demo_1c_events VALUES
    (7, 'S-1', 1, '2026-10-01', 10000, 0),
    (7, 'S-1', 2, '2026-10-01', 12000, 0),
    (7, 'S-2', 1, '2026-10-02', 6000, 0),
    (7, 'S-2', 2, '2026-10-02', 6000, 1);

SELECT sum(net_amount_rub) AS net_revenue_rub
FROM demo_1c_events FINAL
WHERE organization_id = 7
  AND event_date >= '2026-10-01'
  AND event_date < '2026-10-04'
  AND is_deleted = 0;

Ожидаемый итог — 12 000 ₽: S-1 исправлено, S-2 исключено последней версией. Пример использует один аргумент движка и явно фильтрует наш признак удаления после выбора версии через FINAL. Не путайте это с отдельными режимами движка, использующими специальный параметр удаления.

Фоновое слияние частей не является моментом гарантированной готовности отчёта. Обычная сумма может учитывать несколько версий до их объединения. FINAL даёт нужную семантику примера, но его стоимость нужно измерить. Не переносите все отчёты на него без оценки; альтернативная схема с выбором последней версии также требует корректного порядка фильтров.

Как обрабатывать повтор пакета, дату и удаление

Повторите тот же INSERT: запрос с FINAL по неизменному ключу и одинаковым версиям должен сохранить итог 12 000 ₽. Пришлите затем старую версию S-1: актуальной остаётся версия 2. Для этого ожидается, что одинаковые ключ и версия всегда обозначают одинаковое содержимое.

Изменение даты — отдельный контрольный тест. Сначала выберите актуальную версию, затем относите её к отчётному периоду. Если сначала отфильтровать старую историю по дате, можно вернуть в отчёт запись, уже перенесённую в другой месяц. Удаление передают явным событием или выявляют сверкой полного среза; отсутствие строки в очередном неполном пакете не доказывает удаление.

Первичная загрузка и дальнейшие изменения

  1. Согласуйте границу среза и способ регистрации изменений во время выгрузки.
  2. Загрузите исходный набор, сохранив контрольные суммы и число уникальных событий.
  3. Догрузите изменения с перекрытием или журналом, не теряя окно между срезом и запуском обмена.
  4. Сверьте исправления прошлых периодов и удалённые события.
  5. Подключите отчёты только после сверки по организациям и периодам.

Дата документа не является курсором изменений. Пакет может быть доставлен повторно, частично или с опозданием. Порядок подтверждения и возобновления должен быть описан в загрузчике, а не зависеть от ручного запуска после ошибки.

Как выбрать зерно и идентичность события

Не начинайте проект с копирования всех таблиц. Сначала определите вопрос отчёта и строку факта: документ, строка документа, движение или отдельное бизнес-событие. Эти варианты дают разный объём и разные правила исправлений. Если сумма хранится на уровне документа, соединение с несколькими строками без распределения размножит её. Ошибка зерна не исправляется выбором движка ClickHouse или более быстрым сервером.

Ключ должен оставаться тем же при изменении значимых атрибутов события. В примере дата признания и сумма исправляются, поэтому не входят в идентичность. Если исправление меняет сам состав объектов, опишите, какие старые события исключаются и какие новые создаются. Нельзя одновременно сохранять старую строку и добавлять её исправленный вариант под новым ID, если отчёт считает их независимыми операциями.

Для нескольких информационных баз добавьте источник и область данных. Организация и локальный номер не всегда уникальны глобально. Выберите формат ключа, который можно восстановить в журнале и исходной системе. При этом отображаемый номер документа лучше хранить отдельно: он удобен пользователю, но может изменяться или повторяться. Устойчивый технический ключ и понятный бизнес-номер решают разные задачи.

Первичная выгрузка при продолжающейся работе 1С

Если сотрудники продолжают менять данные во время полного копирования, страницы выгрузки могут относиться к разным моментам. Простое чтение «всего по очереди» не гарантирует целостный срез. Согласуйте механизм источника: фиксированный набор, журнал изменений, окно остановки или иной поддерживаемый способ. Для небольшого проекта короткое контролируемое окно иногда надёжнее сложной самописной схемы без подтверждённой семантики.

После среза нужно покрыть промежуток до постоянного обмена. При использовании перекрытия версии должны позволять безопасно повторять события. Если есть журнал, подтвердите, что записи не удалятся до догрузки и сохраняют необходимые изменения. Снимок и последовательность изменений должны быть связаны общей границей; иначе исправление, сделанное между этапами, может не попасть ни в один из них.

Не отмечайте выгрузку успешной только по числу отправленных страниц. Сохраняйте состав пакетов и результаты приёма, проверяйте пропуски и дубли ID. При прерывании процесс должен продолжаться по понятной точке или повторяться с безопасными версиями. Для приёмки полезно искусственно остановить загрузку, изменить несколько старых документов и проверить, что после восстановления итог совпадает с источником.

Партиционирование и жизненный цикл версий

Партиционирование помогает управлять объёмом и обслуживанием, но не должно противоречить идентичности. Если дата события меняется, версии могут оказаться в разных частях истории. Нельзя полагаться только на случайное фоновое объединение для исправления бизнес-результата. Сначала докажите корректность запросов на нескольких версиях, затем выбирайте физическую организацию таблицы и настройки на измеряемой нагрузке.

Признак удаления нужно хранить достаточно долго, чтобы поздняя старая запись не вернула исключённое событие. Допустим, S-2 удалено версией 2, а через неделю приходит прежняя версия 1 из резервной выгрузки. Если информация об удалении уже исчезла из механизма выбора состояния, старая запись может снова стать видимой. Политика очистки должна учитывать все допустимые источники повторной доставки.

Отдельно определите сроки хранения исходных событий и опубликованного состояния. Аудит и аналитика могут требовать разных представлений. Пользовательский отчёт обычно показывает актуальные данные по методике, а расследованию нужны предыдущие значения и происхождение исправления. Не выдавайте историю версий за независимые продажи. Если меняется архитектура хранения, подготовьте миграцию и сверку, а не только новую схему таблицы.

Соединения и производные показатели

До объединения продаж с оплатами решите, какую связь нужно анализировать. Одна реализация может иметь несколько оплат, а одна оплата относиться к нескольким документам. Простое соединение по клиенту увеличит число строк и даст внешне правдоподобные суммы. Сначала агрегируйте стороны до согласованного зерна или моделируйте распределение. Проверяйте результат на минимальном примере с двумя платежами одной реализации.

Показатель отношения тоже требует методики. Средняя цена по строкам не всегда равна общей выручке, делённой на общее количество; веса и единицы влияют на результат. Валютные значения нельзя суммировать без согласованного приведения. Версия формулы и справочников должна быть связана с отчётом. Быстро полученная цифра не становится верной только потому, что запрос выполняется без ошибок.

Если строится предрасчитанный агрегат, проверьте, как он реагирует на исправление старого события. Добавление новой версии в исходную историю не означает автоматического вычитания прежнего вклада из любого производного набора. Способ пересчёта зависит от выбранной реализации. В приёмку включите исправление суммы, даты и удаления после публикации агрегата, а не только поток новых документов.

Нагрузка, стоимость и эксплуатационное решение

Сравнивайте варианты на одинаковых запросах и объёмах. Укажите размер данных, число версий, селективность фильтров, параллельные пользователи и фоновую загрузку. Среднее время одного запроса после прогрева не описывает весь сервис. Проверьте первый запуск, длительные запросы и влияние пакетного обновления. Приёмка должна опираться на задержку, допустимую для конкретного решения пользователя, а не на абстрактный рекорд.

В стоимость включайте хранение, резервирование, загрузчик, наблюдение и разбор расхождений. Более дешёвый сервер может потребовать больше сопровождения, а отдельная аналитическая база — снизить нагрузку рабочей 1С. Эти эффекты нужно измерять раздельно. Итоговый выбор оформите с условиями применимости: какие сценарии проверены, какие ограничения остались и что станет причиной пересмотра архитектуры.

Как принять аналитическую витрину

Сравните отчёт с эталоном 1С на одном срезе. Проверьте повтор, исправление суммы, перенос даты, удаление и позднюю старую версию. Измерьте задержку актуализации и время запроса при согласованной нагрузке, включая фоновую загрузку. Нужны резервирование, минимальные права и проверка восстановления.

Учебный SQL можно выполнить в отдельной тестовой ClickHouse. Он не подключается к вашей 1С и не подтверждает производительность. Для наблюдения загрузки используйте метрики и оповещения интеграций.

Скачать учебный пример (SQL). Перед запуском адаптируйте его к тестовому контуру.

Дополнительный тест для S-1: пришлите версию 3 с датой 4 октября и той же суммой 12 000 ₽. Для периода 1–3 октября актуальное событие больше не должно учитываться. Затем доставьте старую версию 2 ещё раз. Она не должна вернуть продажу в прежний период. Этот сценарий проверяет одновременно версию, изменяемую дату и порядок фильтрации.

Источники и дата проверки

Проверено . ClickHouse: ReplacingMergeTree; ClickHouse: работа с версиями и FINAL.