为了避免二次运行,您需要进行一次初始遍历以找出哪些元素出现在多个集合中:
import itertoolsimport collectionselement_counts = collections.Counter(itertools.chain.from_iterable(allsets))
然后,您可以简单地列出一组保留仅出现一次的所有元素的集合:
nondupes = [{elem for elem in original if element_counts[elem] == 1} for original in allsets]或者,代替构建
nondupes从
element_counts直接,我们可以使一个附加通构建一套出现在正好一个输入所有元件。这需要附加的语句,但是它允许我们利用
&运算符来设置交集,以使列表理解更短,更有效:
element_counts = collections.Counter(itertools.chain.from_iterable(allsets))all_uniques = {elem for elem, count in element_counts.items() if count == 1}# ^ viewitems() in Python 2.7nondupes = [original & all_uniques for original in allsets]时间似乎表明使用
all_uniques集合可以大大加快整个重复消除过程。对于高度重复的输入集,它在Python
3上的速度提高了约3.5倍,尽管在Python
2上,整个重复消除过程的速度只有大约30%的提高,因为更多的运行时受构造Counter支配。这种加速是相当可观的,尽管其重要性不如首先避免使用二次运行时重要
element_counts。如果您使用的是Python
2,并且此代码对速度要求很高,则需要使用普通
dict或
collections.defaultdict而不是
Counter。
另一种方法是根据munk的建议从列表理解中构造和使用一个
dupes集合,
element_counts而
original- dupes不是
original & all_uniques在列表理解中使用。这是比使用set
更好还是更坏,取决于输入的重复程度和所使用的Python版本,但这两种方式似乎并没有多大区别。
all_uniques``&



