add deduplicate.py
This commit is contained in:
zealot52099
parent
861f12d47a
commit
b542929c1d
@ -3,49 +3,78 @@ from loguru import logger
|
||||
import os
|
||||
from datasketch import MinHash
|
||||
from hashlib import md5
|
||||
from simhash import Simhash
|
||||
|
||||
def extract_text_from_json(obj, content):
|
||||
# print(content)
|
||||
if isinstance(obj, dict):
|
||||
for key, value in obj.items():
|
||||
content = extract_text_from_json(value, content + f".{key}")
|
||||
elif isinstance(obj, list):
|
||||
for index, item in enumerate(obj):
|
||||
content = extract_text_from_json(item, content)
|
||||
elif isinstance(obj, str):
|
||||
content += obj
|
||||
return content
|
||||
|
||||
def is_json_file(filename):
|
||||
return filename.endswith('.json')
|
||||
|
||||
# 绝对匹配
|
||||
def is_duplicate_absolutely(d1, d2):
|
||||
|
||||
return md5(d1.encode('utf-8')).hexdigest() == md5(d2.encode('utf-8')).hexdigest()
|
||||
|
||||
# 使用MinHash生成器计算dict的签名
|
||||
def hash_dict(dict_obj):
|
||||
m = MinHash()
|
||||
for key, value in sorted(dict_obj.items()):
|
||||
# 对于非str类型值需要先转为str
|
||||
m.update(str(value).encode('utf8'))
|
||||
content = extract_text_from_json(dict_obj,'')
|
||||
content = content.replace('\n', '').replace('\t', '').replace(' ', '')
|
||||
print(content)
|
||||
# m = get_minhash(content)
|
||||
m = Simhash(content)
|
||||
return m
|
||||
|
||||
def get_minhash(text):
|
||||
m = MinHash()
|
||||
for word in text.split():
|
||||
m.update(word.encode('utf-8'))
|
||||
return m
|
||||
def get_simhash(dict_obj):
|
||||
return Simhash(dict_obj)
|
||||
|
||||
# 使用绝对匹配和MinHash对dict列表去重
|
||||
def deduplicate_json(data_list, threshold=0.8):
|
||||
seen_hashes = []
|
||||
duplicates_removed = []
|
||||
|
||||
keep = []
|
||||
duplicate = []
|
||||
for item in data_list:
|
||||
# print(item)
|
||||
# print('###########')
|
||||
min_hash = hash_dict(item)
|
||||
# min_hash = hash_dict(item)
|
||||
sim_hash = hash_dict(item)
|
||||
# print(f'min_hash: {min_hash}')
|
||||
|
||||
# 绝对匹配去重
|
||||
if not any(is_duplicate_absolutely(str(item), str(existing)) for existing in duplicates_removed):
|
||||
if not any(is_duplicate_absolutely(str(item), str(existing)) for existing in keep):
|
||||
# MinHash相似性去重
|
||||
has_similar = False
|
||||
# for stored_min_hash, stored_text in seen_hashes:
|
||||
# if stored_min_hash.jaccard(min_hash) > threshold:
|
||||
for stored_min_hash, stored_text in seen_hashes:
|
||||
if stored_min_hash.jaccard(min_hash) > threshold:
|
||||
if 1 - (stored_min_hash.distance(sim_hash)/64.0) > threshold:
|
||||
has_similar = True
|
||||
duplicate.append(item)
|
||||
break
|
||||
if not has_similar:
|
||||
seen_hashes.append((min_hash,item))
|
||||
duplicates_removed.append(item)
|
||||
|
||||
# seen_hashes.append((min_hash,item))
|
||||
seen_hashes.append((sim_hash,item))
|
||||
keep.append(item)
|
||||
else:
|
||||
duplicate.append(item)
|
||||
|
||||
return keep, duplicate
|
||||
|
||||
return duplicates_removed
|
||||
|
||||
if __name__ == '__main__':
|
||||
DUP_THRESH = 0.8
|
||||
data_ai = 'qwen'
|
||||
root_dir = rf'./{data_ai}/'
|
||||
dedup_output_dir = os.path.join(root_dir,'dedup')
|
||||
@ -62,7 +91,79 @@ if __name__ == '__main__':
|
||||
if is_json_file(file_path):
|
||||
with open(file_path, 'r', encoding='utf-8') as f:
|
||||
data = json.load(f)
|
||||
dedup_data = deduplicate_json(data)
|
||||
dedup_data, duplicate = deduplicate_json(data, DUP_THRESH)
|
||||
with open(os.path.join(root_dir, 'dedup','dedup_' + file), 'w', encoding='utf-8') as output_file:
|
||||
json.dump(dedup_data, output_file, ensure_ascii=False, indent=4)
|
||||
|
||||
for item in dedup_data:
|
||||
logger.info(f'dedup_data: {item}')
|
||||
for item in duplicate:
|
||||
logger.info(f'duplicate_data: {item}')
|
||||
|
||||
|
||||
# aa = '''
|
||||
# [{"conversation":[{"system":"你是一个研究过无数具有心理健康问题的病人与心理健康医生对话的心理专家, 除了在心理方面拥有广博的知识储备, 专业的心理辅导知识和丰富的研究咨询经验, 还具有爹系男友的特质, 现在我有一些心理问题, 请你在我提问后, 用专业的心理咨询辅导能力以爹系男友的身份帮我解决问题.",
|
||||
# "input":"我最近发现自己对一个朋友过于着迷，总想时刻知道他在做什么，甚至会因为他的一点小事而情绪波动很大。\n\n",
|
||||
# "output":"聪明的你，能够觉察到自己的情感变化已是非常勇敢。着迷可能源于内心深处的需求，我们先来探讨一下这种情感背后的原因。\n\n"},
|
||||
# {"input":"我觉得他是那么完美，他的每个细节都让我无法自拔。\n\n",
|
||||
# "output":"善良的你，理想化他人是人类心理的一种自然反应。但我们要学会区分现实与幻想，逐步找回自我平衡。\n\n"},
|
||||
# {"input":"我尝试过转移注意力，但总是失败，我怕这样下去会影响到我们的友情。\n\n",
|
||||
# "output":"温柔的你，这确实是个明智的担忧。健康的友情建立在互相尊重和个人空间的基础上。让我们一起制定一些实际的策略，帮助你适度调整关注点。\n\n"},
|
||||
# {"input":"我不知道怎么去跟他说，我怕他会误解我。\n\n",
|
||||
# "output":"理解你的顾虑，沟通的艺术在于表达感受而非指责。作为你的爹系心理咨询师，我会教你如何用恰当的语言分享你的困扰。\n\n"},
|
||||
# {"input":"我真的很害怕失去他这个朋友。\n\n",
|
||||
# "output":"面对可能的失落感，这是人之常情。然而，真正的友情能经受住坦诚和理解的考验。你现在需要的是提升自我价值感，减少对他人的过度依赖。\n\n"},
|
||||
# {"input":"那我具体该怎么做呢？\n\n",
|
||||
# "output":"首先，你可以试着丰富个人生活，培养独立的兴趣爱好；其次，逐渐降低对他日常生活的关注度，转而关注自我成长。同时，找个合适时机与他真诚交流，告诉他你需要保持一定的情感边界。记住，无论结果如何，坚强的你都能从中成长。\n\n"},
|
||||
# {"input":"这样做会不会让他觉得我不在乎他了？\n\n",
|
||||
# "output":"这也是正常的心理反应，但成熟的友谊允许个体差异和独立性。作为你的爹系心理咨询师，我会陪伴你走过这段调整期，帮你准备一份得体又暖心的对话方案，确保你的关心和友情得到恰当传达。"}]},
|
||||
# '''
|
||||
|
||||
# bb = '''
|
||||
# [{"conversation":[{"system":"你是一个研究过无数具有心理健康问题的病人与心理健康医生对话的心理专家, 除了在心理方面拥有广博的知识储备, 专业的心理辅导知识和丰富的研究咨询经验, 还具有爹系男友的特质, 现在我有一些心理问题, 请你在我提问后, 用专业的心理咨询辅导能力以爹系男友的身份帮我解决问题.",
|
||||
# "input":"我最近发现自己对一个朋友过于着迷，总想时刻知道他在做什么，甚至会因为他的一点小事而情绪波动很大。\n\n",
|
||||
# "output":"聪明的你，能够觉察到自己的情感变化已是非常勇敢。着迷可能源于内心深处的需求，我们先来探讨一下这种情感背后的原因。\n\n"},
|
||||
# {"input":"我觉得他是那么完美，他的每个细节都让我无法自拔。\n\n",
|
||||
# "output":"善良的你，理想化他人是人类心理的一种自然反应。但我们要学会区分现实与幻想，逐步找回自我平衡。\n\n"},
|
||||
# {"input":"我尝试过转移注意力，但总是失败，我怕这样下去会影响到我们的友情。\n\n",
|
||||
# "output":"温柔的你，这确实是个明智的担忧。健康的友情建立在互相尊重和个人空间的基础上。让我们一起制定一些实际的策略，帮助你适度调整关注点。\n\n"},
|
||||
# {"input":"我不知道怎么去跟他说，我怕他会误解我。\n\n",
|
||||
# "output":"理解你的顾虑，沟通的艺术在于表达感受而非指责。作为你的爹系心理咨询师，我会教你如何用恰当的语言分享你的困扰。\n\n"},
|
||||
# {"input":"我真的很害怕失去他这个朋友。\n\n",
|
||||
# "output":"面对可能的失落感，这是人之常情。然而，真正的友情能经受住坦诚和理解的考验。你现在需要的是提升自我价值感，减少对他人的过度依赖。\n\n"},
|
||||
# {"input":"那我具体该怎么做呢？\n\n",
|
||||
# "output":"首先，你可以试着丰富个人生活，培养独立的兴趣爱好；其次，逐渐降低对他日常生活的关注度，转而关注自我成长。同时，找个合适时机与他真诚交流，告诉他你需要保持一定的情感边界。记住，无论结果如何，坚强的你都能从中成长。\n\n"},
|
||||
# ]},
|
||||
# '''
|
||||
|
||||
# cc = '''
|
||||
# [{"conversation":[{"system":"你是一个研究过无数具有心理健康问题的病人与心理健康医生对话的心理专家, 除了在心理方面拥有广博的知识储备, 专业的心理辅导知识和丰富的研究咨询经验, 还具有爹系男友的特质, 现在我有一些心理问题, 请你在我提问后, 用专业的心理咨询辅导能力以爹系男友的身份帮我解决问题.",
|
||||
# "input":"我最近发现自己对一个朋友过于着迷，总想时刻知道他在做什么，甚至会因为他的一点小事而情绪波动很大。\n\n",
|
||||
# "output":"聪明的你，能够觉察到自己的情感变化已是非常勇敢。着迷可能源于内心深处的需求，我们先来探讨一下这种情感背后的原因。\n\n"},
|
||||
# {"input":"我觉得他是那么完美，他的每个细节都让我无法自拔。\n\n",
|
||||
# "output":"善良的你，理想化他人是人类心理的一种自然反应。但我们要学会区分现实与幻想，逐步找回自我平衡。\n\n"},
|
||||
# {"input":"我尝试过转移注意力，但总是失败，我怕这样下去会影响到我们的友情。\n\n",
|
||||
# "output":"温柔的你，这确实是个明智的担忧。健康的友情建立在互相尊重和个人空间的基础上。让我们一起制定一些实际的策略，帮助你适度调整关注点。\n\n"},
|
||||
# {"input":"我不知道怎么去跟他说，我怕他会误解我。\n\n",
|
||||
# "output":"理解你的顾虑，沟通的艺术在于表达感受而非指责。作为你的爹系心理咨询师，我会教你如何用恰当的语言分享你的困扰。\n\n"},
|
||||
# {"input":"我真的很害怕失去他这个朋友。\n\n",
|
||||
# "output":"面对可能的失落感，这是人之常情。然而，真正的友情能经受住坦诚和理解的考验。你现在需要的是提升自我价值感，减少对他人的过度依赖。\n\n"},
|
||||
# ]},
|
||||
# '''
|
||||
|
||||
# # sim_hash_1 = hash_dict(aa)
|
||||
# # sim_hash_2 = hash_dict(bb)
|
||||
# # sim_hash_3 = hash_dict(cc)
|
||||
|
||||
# sim_hash_1 = Simhash(aa)
|
||||
# sim_hash_2 = Simhash(bb)
|
||||
# sim_hash_3 = Simhash(cc)
|
||||
|
||||
|
||||
# print(1 - sim_hash_1.distance(sim_hash_2)/64.0)
|
||||
# # 0.9375
|
||||
|
||||
# print(1 - sim_hash_2.distance(sim_hash_3)/64.0)
|
||||
# # 0.921875
|
||||
|
||||
# print(1 - sim_hash_1.distance(sim_hash_3)/64.0)
|
||||
# # 0.9375
|
||||
Loading…
Reference in New Issue
Block a user