Problème algorithmique

Problème : j’ai 7000 enregistrements dans une base, et je dois rechercher les doublons par comparaison textuelle.

Pour faire simple : si j’ai 8 mots consécutifs, ou plus, identiques entre 2 textes, ils sont en doublon.

Question : comment faire pour que ça ne prenne pas des plombes ?

Vous avez 4 heures.