From e2025cc8ea0f078470252c8e524c216745a7e415 Mon Sep 17 00:00:00 2001 From: zealot52099 Date: Thu, 21 Mar 2024 08:24:15 +0800 Subject: [PATCH] [DOC]update datesets/README.md --- datasets/README.md | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/datasets/README.md b/datasets/README.md index 34ee167..a2c2385 100644 --- a/datasets/README.md +++ b/datasets/README.md @@ -44,7 +44,7 @@ ## 数据集去重 结合绝对匹配以及模糊匹配(Simhash)算法，对数据集进行去重以提升微调模型的效果。在确保数据集的高质量的同时，通过调整阈值减少因错误匹配而丢失重要数据的风险。 -**Simhash算法** +**Simhash算法介绍** Simhash（相似性哈希）是一种用于检测大量数据中相似或重复项的算法。它通过将文本转换为一组数值指纹来工作，这些指纹对相似的文本具有高度的相似性。Simhash算法对于处理文本数据特别有效，尤其是在处理大量数据时。 **Simhash实现步骤** @@ -54,3 +54,6 @@ Simhash（相似性哈希）是一种用于检测大量数据中相似或重复 *确定阈值：设置一个相似性阈值，只有当两个指纹的相似度超过这个阈值时，才认为它们代表相似或重复的记录。 *处理相似记录：对于被标记为相似的记录，可以进一步人工审查或自动合并，以消除重复。 +## 用法 +### deduplicate.py +`deduplicate.py` 用于将datasets下以模型命名的文件夹下(例如：'datasets/qwen').json数据进行去重，输出去重后的数据到 `datasets/qwen/dedup` 文件夹下。 \ No newline at end of file