При интеграции 1С в распределенный контур под управлением Apache Kafka возникают проблемы:

• Дублирование событий на стороне приемников из-за некорректной семантики доставки (At-Least-Once).
• Потеря сообщений при сетевых сбоях и отсутствии ожидания подтверждений (Acks).
• Смещение оффсетов (Offset lag) и отставание консьюмеров 1С от потока событий реального времени.
• Блокировка сеансов 1С при синхронной отправке сообщений в Kafka топики.

1. Выбор архитектурного шлюза для 1С

Поскольку платформа 1С не имеет встроенного бинарного протокола Kafka, интеграция организуется через:

• Confluent Kafka REST Proxy: HTTP-шлюз enterprise-уровня, позволяющий публиковать и вычитывать сообщения JSON/Avro через стандартное HTTPСоединение 1С.
• Специализированные внешние компоненты C++ (librdkafka): для высоконагруженных сценариев (десятки тысяч сообщений в секунду).

2. Реализация Kafka Producer на 1С (через REST Proxy)

Соединение = Новый HTTPСоединение("kafka-rest.corp.local", 8082, , , , 5);
Запрос = Новый HTTPЗапрос("/topics/orders_events");
Запрос.Заголовки.Вставить("Content-Type", "application/vnd.kafka.json.v2+json");
Запрос.Заголовки.Вставить("Accept", "application/vnd.kafka.v2+json");

// Формирование пакета с ключом партиционирования (для сохранения порядка)
СтрокаJSON = 
"{
|  \"records\": [
|    {
|      \"key\": \"" + ДокументСсылка.УникальныйИдентификатор() + "\",
|      \"value\": {
|        \"event\": \"OrderCreated\",
|        \"doc_num\": \"" + ДокументОбъект.Номер + "\",
|        \"amount\": " + Формат(ДокументОбъект.СуммаДокумента, "ЧГ=0; ЧДЦ=2; ЧРД=.") + "
|      }
|    }
|  ]
|}";

Запрос.УстановитьТелоИзСтроки(СтрокаJSON, КодировкаТекста.UTF8);
Ответ = Соединение.ОтправитьДляОбработки(Запрос);

3. Управление фиксацией смещений (Manual Offset Commit)

При чтении топика консьюмером на стороне 1С фиксируйте оффсет только после успешной записи изменений в базу данных. Это гарантирует сохранение позиции даже при аварийном рестарте ноды 1С.