• Обработка «Поиск и удаление дублей» в БСП зависает или падает по таймауту на базах с миллионами записей.
• 100% нагрузка на CPU и переполнение оперативной памяти при расчете расстояния Левенштейна.
• Блокировки таблиц документов при слиянии и пакетной замене ссылок дублей на оригиналы.

1. Предварительная фильтрация через Полнотекстовый поиск (ППП)

Никогда не выполняйте полное декартово произведение записей для нечеткого сравнения строк. Сначала отбирайте кандидатов через индекс полнотекстового поиска или точные совпадения по маске (ИНН, КПП, нормализованное наименование):

// ПРАВИЛЬНЫЙ ШАГ: Первичный поиск кандидатов по точному хэшу/ИНН
Запрос = Новый Запрос;
Запрос.Текст = 
    "ВЫБРАТЬ ИНН, КОЛИЧЕСТВО(Ссылка) КАК КолВо
    |ИЗ Справочник.Контрагенты
    |ГДЕ НЕ ЭтоГруппа И ИНН <> """"
    |СГРУППИРОВАТЬ ПО ИНН
    |ИМЕЮЩИХ КОЛИЧЕСТВО(Ссылка) > 1";

2. Оптимизация нечеткого сравнения (Сходство строк)

Для поиска дублей по наименованию вычисляйте хэш-сигнатуры (Soundex, Metaphone или очищенные от спецсимволов подстроки) заранее в отдельном реквизите при записи объекта, выполняя поиск по индексу, а не вызовом алгоритмов в цикле.

3. Пакетная замена ссылок с контролем блокировок

Замену дублирующихся ссылок выполняйте порциями с отключением проверки итогов там, где это допустимо регламентом:

// Замена ссылок с использованием механизмов БСП
Параметры = ПоискИУдалениеДублейСлужебный.ПараметрыЗаменыСсылок();
Параметры.УдалятьДубли = Ложь; // Пометить на удаление вместо жесткого DELETE
ПоискИУдалениеДублейСлужебный.ЗаменитьСсылки(МассивДублей, СсылкаОригинал, Параметры);