Python含dict的list去重

功能：list里面的每一个元素都是dict，根据dict某一个key进行去重

from itertools import compress import pandas as pd from operator import itemgetter from itertools import groupby #功能：list里面的每一个元素都是dict，根据dict某一个key进行去重 #函数1 def distinct(items,key):key = itemgetter(key)items = sorted(items, key=key)return [next(v) for _, v in groupby(items, key=key)] #函数2 #def distinct(items,key): # mask = (~pd.Series(map(itemgetter(key), items)).duplicated()).tolist() # return list(compress(items, mask)) with open("/data/fjs/data/math/math.json",'r') as load_f:items = json.load(load_f)print (len(items))#去重前条目items =distinct(items,'quid')#去重key=quidprint (len(items))#去重后条目 去重前条目：850000 去重后条目：50016

总结

以上是生活随笔为你收集整理的Python含dict的list去重的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。