Поиск дубликатов файлов. Обзор лучших инструментов

Поиск дубликатов фотографий. Сравнение 6 лучших программ

В этом материале речь пойдёт об инструментах выявления дублирующихся фото. В частности, сегодня в нашем обзоре побывают сразу шесть программ для поиска дубликатов фотографий на компьютере под управлением Windows. Мы сравним и выберем среди них лучшие и самые быстрые.

Причин востребованности программ для поиска одинаковых фото на компьютере может быть несколько, например:

• Ваша коллекция могла разрастись настолько, что дубликаты уже занимают немало места;
• Вам нужен инструмент, который найдёт одинаковые или похожие фотографии, избавив вас от необходимости просматривать эти изображения самостоятельно.

В нашей подборке нашлось место для шести интересных программ, четыре из которых распространяются бесплатно. Ниже по тексту мы:

1. Расскажем о каждой из этих программ для поиска и поможем вам быстрее сориентироваться в их интерфейсе;
2. Проведём сравнение всех программ, в котором посмотрим, как они справляются с поиском одинаковых изображений при их лёгком видоизменении;
3. Проверим насколько программы хорошо могут справиться с большим набором фото весом в несколько гигабайт.

Поиск дубликатов файлов. Обзор лучших инструментов

dupeGuru [Windows, Mac, Linux]

Эта утилита наверное мой фаворит в инструментах для поиска и удаления дубликатов, потому что имеет массу замечательных возможностей: Она является кросс платформенной, полностью бесплатная, а так же имеет продвинутый алгоритм меток и отбора.

Что такое не явные дубли? Несколько одинаковых файла могут иметь разное имя. Например у вас на компьютере может быть два файла: пример-файла.avi и пример файла(1).avi — утилитка это прекрасно понимает и тоже может пометить их как дубликат.

Кстати утилита имеет и другие издания: Music Edition и Picture Edition, оптимизированные для поиска дублей графических и аудио файлах — даже если они записаны в разных форматах. Это очень важно, ведь именно аудио и графические файлы наиболее часто становятся дублями.

Duplicate Files Finder [Windows, Linux]

Duplicate Files Finder представляет собой приложение, которое осуществляет поиск дублированных файлов (которые имеют одинаковое содержание, но не обязательно с таким же именем) и позволяет удалить пользователю ненужные файлы.

Duplicate Files Finder может находить только точные дубликаты. Принцип ее работы — перебор всех файлов на компьютере по размеру и сравнение их по содержанию. С одной стороны это логично, но это совсем печально для видео и графики (ведь они в зависимости от алгоритма сжатия могут иметь разный размер), но для всего остального программа просто отличная.

Благодаря такому алгоритму сравнения Duplicate Files Finder работает гораздо быстрее своих конкурентов.

AllDup [Windows]

AllDup является мощным инструментов для поиска дубликатов созданный одним человеком, Michael Thummerer. Утилита имеет ряд настроек для поиска дублей из: имени файла, расширения и типа данных, даты создания и изменения и еще много разных параметров.

AllDup имеет много полезных функций и большую гибкость в условиях поиска дубликатов, однако за функционал нужно заплатить. Интерфейс тут совсем не дружелюбный и это может загнать неуверенного пользователя в тупик. Однако если вы сможете разобраться в программе, то это приложение будет хорошим инструментом для поиска повторяющихся файлов.

Duplicate Cleaner [Windows]

Duplicate Cleaner требует тонкой ручной настройки, прежде чем вы сможете использовать функционал данной программы на все сто процентов.

При ручной настройке вы можете выбрать в какой папке нужно найти дубли, а не сканировать весь компьютер как предлагают нам некоторые другие программы. В итоге вы можете эти дубли удалить, переместить их все в отдельную папку или вместо них создать ярлыки на единственный нужный файл. В целом впечатления положительные — так что рекомендую.

SimilarImages [Windows]

Если вы пользователь Windows, и хотите избавиться от бесконечных копий изображений, то SimilarImages будет вам как никогда кстати. Изображения на мой взгляд самый частый источник дублированного контента на компьютере. Я например знаю что у меня есть куча дублирующихся фотографий в разных папках… а учитывая их количество разбираться с ними вручную у меня нет никакого желания.

Программа имеет гибкие настройки и может обнаруживать неточные дубликаты — это особенно актуально из-за присутствия артефактов появившимся в процессе сжатия изображения.

Самое замечательное в SimilarImages — она показывает вам два изображения когда находит дубли, и вы можете сделать вывод — оставить их или удалить дубль.

Заключение

Все как в реальной жизни, когда ненужное барахло создает ужасный беспорядок в вашем доме, так и дубликаты файлов могут накапливаться на вашем жестком диске. Такие файлы очень трудно удалить, потому что вы о нем забыли, а обычные программы для очистки системы не найдут их — так как они обосновалить на винчестере на вполне законных основаниях.

Используйте программы которые я вам перечислил для поиска дубликатов файлов чтобы освободить место на вашем жестком диске. Если вы знаете о других утилитах — поделитесь с нами в комментариях.

Лучший и простой в использовании инструмент: Auslogics Duplicate File Finder

Многие инструменты поиска дубликатов файлов довольно сложны и содержат множество различных опций. Auslogics Duplicate File Finder отличается от большинства, предлагая простой интерфейс, который проведет Вас через весь процесс. Он имеет другие удобные функции, которые способен оценить каждый: например, встроенную панель предварительного просмотра, которая позволяет просматривать изображения, слушать музыкальные файлы и просматривать видео, чтобы Вы могли видеть, какие файлы Вы удаляете.

Некоторые вещи выбивают Auslogics из колеи из-за дополнительного мусора, но с тех пор они несколько исправили свои алгоритмы. Кстати установщик предлагает установить Auslogics Driver Updater как средство поиска дубликатов файлов. Обязательно снимите флажки с любого дополнительного программного обеспечения, предлагаемого в процессе установки, так как Вам не нужно средство обновления драйверов. Скорее всего.

Это приложение имеет разумные настройки по умолчанию и предлагает простой мастер, который проведет вас через весь процесс. Он будет сканировать несистемные папки на всех подключенных дисках по умолчанию, но вы можете легко выбрать, какие диски и папки Вы хотите сканировать и сами, — на боковой панели.

После того, как вы выполнили поиск, вы увидите список дубликатов файлов и сможете легко просматривать их превью и другую информацию. Или, чтобы еще больше сузить круг, вы можете нажать кнопку «Фильтр» и выполнить фильтрацию по дате, размеру или типу файла. Выберите файлы, которые вы хотите удалить, и нажмите кнопку «Удалить выбранные файлы», чтобы отправить их в корзину.

Процесс удаления дубликатов так же нечеловечески прост.

Duplicate File Finder

Что нам понравилось:

• Легко и быстро отсеивает несколько экземпляров файлов
• Работает со всеми типами файлов
• Настраиваемый поиск

Что нас разочаровало:

• Поставляется в комплекте с другим программным обеспечением (но вы можете отказаться)
• Нет опции «переместить» для дубликатов файлов (только «удалить»)

Существует множество программ, которые могут искать файлы, но не все они созданы для поиска дубликатов файлов. Duplicate File Finder от Auslogics делает именно это.

С каждым пользователем случалось загрузить музыку, которая уже есть в коллекции, а вы не подозреваете, или у вас есть старые резервные копии, которые вам больше не нужны, средство поиска дубликатов файлов поможет избавиться от копий.

Duplicate File Finder может искать дубликаты файлов всех типов, или вы можете выбрать только изображения, аудиофайлы, видео, архивы и/или файлы приложения.

После выбора типа файла для поиска на странице критериев поиска можно указать некоторые параметры, чтобы поиск действительно был избирательным. Вы можете игнорировать файлы меньшего и/или большего размера, чем определенный размер, игнорировать имена файлов и даты файлов, игнорировать скрытые файлы и искать файлы, которые имеют определенные слова в имени файла. Все эти настройки не являются обязательными.

Вы также можете указать, что должно произойти с дубликатами, которые вы удаляете: отправьте их в корзину, сохраните во встроенном Rescue Center на случай, если захотите позже восстановить.

Когда пришло время удалить файлы, вы можете отсортировать дубликаты по имени, пути, размеру и дате изменения. Программа автоматически выбирает один из дубликатов, поэтому удаление происходит всего за пару нажатий.

Обязательно откажитесь от любых сторонних предложений программного обеспечения во время установки, если вам нужен только инструмент поиска файлов.

DupeGuru

DupeGuru – это простейший поисковик дубликатов файлов для тех, у кого нет времени или желания осваивать все тонкости функциональных узкоспециализированных программ типа рассмотренных выше. Внизу небольшого окошка программы выбирается область поиска и запускается сканирование.

Результаты поиска дубликатов могут быть отсортированы по пути размещения и размеру файлов. Контекстное меню результатов поиска DupeGuru содержит лишь необходимые для работы с найденными дубликатами операции.

Результаты поиска сохраняются в файл программы или экспортируются в HTML.

DupeGuru – кроссплатформенная программа, но под Windows адаптированы только ее старые версии. Предлагаемый на официальном сайте инсталлятор программы для Windows 7 подойдет также для версий системы 8.1 и 10.

Auslogics Duplicate File Finder

Auslogics Duplicate File Finder является совершенно бесплатное решение он предлагает те же функции, что и некоторые инструменты. Программа может сканировать указанные папки на наличие дубликатов и представлять их в довольно аккуратном интерфейсе, который упрощает управление найденными преступниками. Есть различные параметры поиска, которые вы можете определить, включая типы файлов, минимальный / максимальный размер файла, имена, даты создания и тому подобное.

Содержимое файла сопоставляется на основе контрольной суммы MD5, но побайтное сравнение отсутствует (MD5 все еще достаточно точен для реального использования). Вы также можете решить, что произойдет с найденными дубликатами, с помощью которых они могут быть отправлены в корзину или центр спасения или удалены навсегда. Это программное обеспечение также поддерживает работу в один клик, хотя и с менее дружественным пользовательским интерфейсом. Что касается бесплатного поиска дубликатов файлов для Windows, это лучший вариант на рынке. Черт возьми, это даже дает оплаченным опционам пробежку за свои деньги.

Скачать Auslogics Duplicate File Finder для Windows (бесплатно)

Список программ для поиска дубликатов

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике — показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

В общем, рекомендую к использованию (особенно тем, кому постоянно не хватает места на жестком диске

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Статья с кратким обзором: 1_Glary_Utilites_-___Windows

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных — что называется на все случаи жизни!) еще раз на страницах сайта.

Программа для поиска дубликатов файлов

В таком случае волей неволей приходится делать выбор: покупать внешний жесткий диск, перемещать файлы на флешки и DVD-диски или попросту удалять часть контента, чтобы освободить место для новых данных. Однако спешить не стоит.Одной из самых распространенных причин нехватки места на винчестере является дублирование файлов.

Бывает такое, что пользователь, забыв, что файл уже был скачан, загружает его повторно, возможно под другим именем и с другими метаданными.

Поэтому так важно перед освобождением диска от “балласта” произвести поиск на предмет наличия дубликатов файлов.

8 комментариев

В новой версии интерфейс, конечно, мое почтение. Все поменяли, нужные функции спрятали, ненужные наоборот на виду и еще дублируются в виде пиктограмм, но все получилось. За гайд спасибо!

Автор: Владимир Белев

Любят разработчики намудрить. Этот «тренд» с изменением интерфейсов каждые несколько месяцев даже подбешивать стал.

ооочень сильно помог!

Автор: Владимир Белев

Рад был помочь, надеюсь и другие статьи будут полезными! 🙂

Всем добрый день. Спасибо за подробную инструкцию по работе с программой. Первая моя попытка работы с программой выдала для меня странную ситуацию. Программа выдала ошибку открытия нескольких WinRar файлов. Указала подробные пути этих файлов. Возникает вопрос, как поступать в подобных случаях? И не совсем понятен порядок действия при удалении дубликатов. Для перестраховке я хочу удалить дубликаты в отдельную папку на другом HDD. Где и какие настройки мне надо сделать, чтобы файлы оказались именно в этой папке и на другом жёстком диске? Спасибо.

Автор: Владимир Белев

andreus, здравствуйте! На счёт WinRAR. Смотря что вы пытались с ними сделать. Может, к примеру, архивы были повреждены. А что касается удаления дубликатов, то после выбора дубликатов, нужно открыть меню «Результаты поиска» и выбрать «Операции с выбранными файлами», после чего настроить, что с ними хотите сделать, например: удалить, переместить куда-либо или ещё что-то. Там каждая команда простая и настраивается легко.

Есть вопрос. У меня есть множество видеоуроков. В процессе их «собирания» образовались и многие дубликаты. Естественно группы видеоуроков у меня связанны в определённые группы в отдельных папках и подпапках. Если я обнаужил, что во время каких-либо манипуляций с папками (чтобы освободить место на определённом диске) я папку с набором видеоуроков перенёс в другое место, а потом, забыв, что именно эти уроки у меня есть создал новую папку с такими же уроками. Получается, что эти уроки у меня находятся дважды. Мне бы хотелось, чтобы дубликаты у меня удалились полность из одной и той-же папки (вместе с папкой). А не так, чтобы на одном диске остался урок 1, 2, 5, 7, а на другом 3, 4, 6, 8. Для этого есть необходимость, чтобы показывая дубликаты программа указывала их местоположение. Тогда я, убедившись, что эти файлы идентичны, я просто бы зашёл на диск и удалил всё папку дубликатов целяком, оставив целую паку (единственную) с оригиналами. И не появились бы две(три, четыре и т.д.) «рваные» папки. Позволяет ли программа осуществление таких действий. В Ваших скриншотах я не видел, что напротив названия файлов и размеров были бы указаны их физическое расположение.

Автор: Владимир Белев

На нескольких скриншотах видно, что указывается пусть к каждому файлу, который находит программа (колонка «Путь»). Также вы можете кликнуть правой кнопкой мыши по предполагаемому дубликату и выбрать «Открыть расположение файла» откроется обычный проводник Windows и в нём та папка, в которой расположен файл.