Optimierung der direkten Dateivergleiche
Optimierung der direkten Dateivergleiche
Alldup hat ja bereits die clevere Option, zuerst den letzten Block zweier Dateien zu vergleichen. Ich denke, man kann den Dateivergleich noch weiter verbessern: Man speichert einen ordentlichen Hash (etwa SHA1) der ersten Vergleichsblöcke (Einstellungsabhängig eben der erste oder letzte Block einer Datei). Vergleicht man nun eine neue Datei, so kann man den Hash mit allen vorherigen Hashes abgleichen und sieht welche Dateien überhaupt in Frage kommen. Um der formellen Suchmethode genüge zu tun, kann man dann von den Hash-Treffern ausgehend Die Dateien direkt vergleichen - man spart sich aber viele kleine Lesevorgänge, was gerade bei HDDs einen deutlichen Zeitunterschied machen dürfte.