var uniq = require('uniq-stream')
  , split = require('split')
  , fs = require('fs')
 
fs.createReadStream('dupe-ridden-file.txt')
  .pipe(split())
  .pipe(uniq())
  .pipe(fs.createWriteStream('clean-file.txt'))

{
    global: false // de-dupe data globally rather than line-wise
  , ignoreCase: false // case insensitive comparison
  , skip: 0 // ignore first (value) characters of input string for comparison
  , inverse: false // only emit duplicated lines
}