Программа для поиска дубликатов файлов

Мне нужны рекомендации для программного обеспечения для дедупликации.

Требования:

  • Работает в Windows

  • Возможность поиска дубликатов архивов: файлов, которые имеют точно такое же содержимое (и, следовательно, одинаковый размер). Имена, пути или даты не имеют значения.

  • Варианты выполнения автоматических действий (например, сохранение самых новых, самых старых файлов или файлов по какому-либо пути), а также ручное действие «ничего не делать, запрашивать действие». Этот последний случай (ручное действие) может быть выполнен более чем с одним файлом.

  • Возможность создания символических ссылок: вместо простого удаления всех вхождений, кроме одного, создайте символическую ссылку на одну версию.

  • Графический интерфейс (и не только командная строка)

Это также можно сделать с помощью инструментов поиска проводника Windows. Это не автоматизировало бы процесс управления файлами и не позволяло бы так легко находить дубликаты файлов с разными именами.
Я попробовал CCleaner, который рекламирует инструмент для создания дубликатов файлов. При тестировании это выявило некоторые, но не все, дубликаты файлов. Zip-файлы казались серьезной проблемой для CCleaner.

Ответы (4)

Поиск дубликатов файлов : http://doubles.sourceforge.net/

Для Windows и Linux. Позволяет пользователю находить дублированные файлы (по их содержимому, а не только по именам). Поиск может включать и исключать файлы (например, исключать все файлы *.tmp) и ограничивать размер файлов, подлежащих поиску.

Может удалить дубликаты файлов, удалив их или создав ссылки.

Вместо использования хэшей он использует следующий алгоритм:

Алгоритм такой: Сначала все файлы сортируются по размеру, т.к. файлы могут быть равными только в том случае, если они имеют одинаковый размер (логически). Затем файлы сравниваются друг с другом, и таким образом определяются одинаковые файлы. Если два файла не равны с заданной точки, чтение прерывается; больше не нужно читать, чтобы определить, что эти файлы не равны. Благодаря этому результаты определяются гораздо быстрее, чем в программах, использующих алгоритмы хэширования, для которых все файлы должны быть прочитаны полностью. Дополнительное кэширование содержимого файлов дополнительно повышает производительность.

Он прост в использовании и быстр. Может сохранять результаты (список имен файлов) в файле .txt, чтобы вы могли обрабатывать их дальше с помощью какой-либо другой техники.

Лицензия: GPL

Программа до сих пор работает на Windows 7 x64, хотя и не упоминается. Однако вы не можете сказать ему удалить все файлы в папке «backup2011», если вы определили другой каталог «backup2012». Требуется щелчок для каждого файла, что невозможно с 45000 файлов. Или вам нужно разобрать файл, который является проприетарным форматом. В остальном он отлично работает даже с 2 000 000 файлов.
Это программное обеспечение не обновлялось с 17 декабря 2013 г.
Протестировано в Windows 11 — хорошо работает для сортировки примерно 50 000 файлов, выявлено более 20 000 дубликатов.

Что ж, уже много лет я использую Duplicate Cleaner Free . Он имеет интуитивно понятный, но мощный графический интерфейс и множество функций, включая «Превратить дубликат файла в жесткие ссылки».

 -    Find duplicate files, fast!  
 -    Cleaner hard drives means faster performance.  
 -    Fast Scanning and accurate duplicate comparison.  
 -    Locate duplicate music (includes MP3, iTunes (M4A) and more.)  
 -    Find Similar images (resized, rotated, edited and more.)  
 -    Find duplicate folders.  
 -    Flexible search settings - search the way you want to.  
 -    Intelligent Selection Assistant.  
 -    Search home or networked drives.  
 -    Search multiple locations.  
 -    Export / Import your results.  
 -    View all file information in a detailed list.  
 -    Large, resizable windows for easy browsing.  
 -    Handy image preview window with side-by-side comparison.  
 -    Delete duplicate files to the Recycle bin.  
 -    Move dupe files to a new location.  
 -    ***Turn duplicate file into hard links***.  
 -    Protection for Windows and system files.  
 -    Supports multiple languages.  
 -    Comprehensive user manual.  
 -  For Microsoft Windows XP, Windows Vista, Windows 7 and 8.

введите описание изображения здесь

Я использую Manyprog Find Duplicate Files для успешного удаления повторяющихся файлов в течение многих лет.

Total Commander : Alt+F7, расширенный поиск дубликатов: [x] размер, [x] содержимое. Он использует аналогичный алгоритм, такой как Duplicate Files Finder.

Лицензия: условно-бесплатная, но вы можете использовать ее вечно, она только просит нажать кнопку при запуске. Полный текст :

Total Commander для Windows является условно-бесплатной программой (демонстрационная версия). Это означает, что вы можете протестировать его в течение 30 дней. После тестирования программы необходимо либо заказать полную версию, либо удалить программу с жесткого диска.

Дальний менеджер , вероятно, тоже может это сделать.

Программа для поиска дубликатов файлов
СпросиСетьПолитика конфиденциальности1y, 2v