Para hacerlo es simple, con este comando:

cat fichero.txt | sort | uniq > fichero-sin-repeticiones.txt