Text Duplicate Killer — программа, предназначенная для удаления из текста повторяющихся строк. Например, есть у нас столбец со повторяющимся словами:

слово1
слово1
слово2
слово2
слово2

Программа позволит получить на выходе файл, который будет содержать только:

слово1
слово2

т.е. все лишние дубли будут удалены и останутся только уникальные значения.

Точно работает с кодировкой ANSI (простой блокнот и txt). Скачать программку можно по ссылке —
Text Duplicate Killer (365 kb) ZIP

Спасибо автору!