Наткнулся на маленькую утилитку – fdupes. Не знаю, в каких дистрибутивах она есть, но у меня в gentoo точно лежит. Вот официальная страница проекта – http://netdial.caribe.net/~adrian2/fdupes.html.

Утилита написана Андрианом Лопесом. Программа сканирует директории (может рекурсивно) в поиске дубликатов файлов. Может вывести список файлов или автоматически удалить дубликаты (с этим надо осторожней!).

Работает программа просто – она сравнивает размер файла и MD5-хэш, и после сравнения начинает сверку по-байтно. Написана на языке программирования C и выпущена под Лицензией MIT.

Да, существует куча программ для решения подобных задач – duff, dupmerge, fdf, freedup, fslint, liten, rdfind, findrepe и т.п. Но эта как-то мне понравилась своей простотой что ли…

Работает элементарно просто. Например:

fdups -r /home/vit/

Будет рекурсивно искать дубли и выводить их на дисплей (если файлов слишком много, никто не запрещает перенаправить вывод в файл).