Para hacerlo es simple, con este comando:
cat fichero.txt | sort | uniq > fichero-sin-repeticiones.txt