From 5ff2f955b85e7c381be9085e5711cd900979682f Mon Sep 17 00:00:00 2001 From: MING_X <119648793+MING-ZCH@users.noreply.github.com> Date: Sun, 21 Apr 2024 17:32:11 +0800 Subject: [PATCH] Update README.md --- datasets/README.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/datasets/README.md b/datasets/README.md index b5d966b..88bbd30 100644 --- a/datasets/README.md +++ b/datasets/README.md @@ -60,12 +60,12 @@ Simhash（相似性哈希）是一种用于检测大量数据中相似或重复 ### **Simhash实现步骤** -*文本预处理：将文本数据转换为适合Simhash处理的格式。这可能包括分词、去除停用词、词干提取等。 -*生成Simhash指纹：对预处理后的文本应用Simhash算法，生成一组数值指纹。每个指纹代表文本内容的一个哈希值。 -*比较指纹：通过比较哈希值的相似性来识别重复或相似的记录。Simhash的特点是即使在文本有少量差异时，生成的哈希值也具有较高的相似性。 -*确定阈值：设置一个相似性阈值，只有当两个指纹的相似度超过这个阈值时，才认为它们代表相似或重复的记录。 -*处理相似记录：对于被标记为相似的记录，可以进一步人工审查或自动合并，以消除重复。 +* 文本预处理：将文本数据转换为适合Simhash处理的格式。这可能包括分词、去除停用词、词干提取等。 +* 生成Simhash指纹：对预处理后的文本应用Simhash算法，生成一组数值指纹。每个指纹代表文本内容的一个哈希值。 +* 比较指纹：通过比较哈希值的相似性来识别重复或相似的记录。Simhash的特点是即使在文本有少量差异时，生成的哈希值也具有较高的相似性。 +* 确定阈值：设置一个相似性阈值，只有当两个指纹的相似度超过这个阈值时，才认为它们代表相似或重复的记录。 +* 处理相似记录：对于被标记为相似的记录，可以进一步人工审查或自动合并，以消除重复。 ### deduplicate.py用法 -`deduplicate.py` 用于将datasets下以模型命名的文件夹下(例如：'datasets/qwen').json数据进行去重，输出去重后的数据到 `datasets/qwen/dedup` 文件夹下。 +`deduplicate.py` 用于将datasets中以模型命名的(例如：'datasets/qwen').json数据进行去重，输出去重后的数据到 `datasets/qwen/dedup` 文件夹下。代码见 `datasets/processed` 文件夹。