Text Duplicate Killer — программа, предназначенная для удаления из текста повторяющихся строк. Например, есть у нас столбец со повторяющимся словами:
слово1
слово1
слово2
слово2
слово2
Программа позволит получить на выходе файл, который будет содержать только:
слово1
слово2
т.е. все лишние дубли будут удалены и останутся только уникальные значения.
Точно работает с кодировкой ANSI (простой блокнот и txt). Скачать программку можно по ссылке —
Text Duplicate Killer (365 kb) ZIP
Спасибо автору!