убрать повторы строк из файла

Решение через PHP.

Создаем php-парсер без наворотов. Комментарии я привел в коде, думаю, там все понятно. Сортировка по алфавиту и удаление повторов, это то, что в 90% случаев требуется сделать.

<?php
$file= file ('1.txt'); // файл на входе
sort ($file); // сортируем по алфавиту
$file = array_unique($file); // убираем повторы
foreach($file as $val){
$end .= $val ;
}
$out=fopen('2.txt','w'); // файл на выходе
fwrite($out,$end);
fclose($out);
?>

Файл, который нужно отпарсить, может быть и удаленным, и задаваться следующим образом:

$file= file (‘http://127.0.0.1/1.txt’);

Главное, чтобы это позволили настройки PHP-интерпретатора.