从文本文件中删除重复项

这是关于保留顺序（与集合不同）的选项，但是仍然具有相同的行为（请注意，EOL字符被有意剥离，并且空行被忽略）…

from collections import OrderedDictwith open('/home/jon/testdata.txt') as fin:    lines = (line.rstrip() for line in fin)    unique_lines = OrderedDict.fromkeys( (line for line in lines if line) )print unique_lines.keys()# ['None_None', 'ConfigHandler_56663624', 'ColumnConverter_56963312',PredicatesFactory_56963424', 'PredicateConverter_56963648', 'ConfigHandler_80134888']

然后，您只需要将以上内容写入输出文件即可。