文本去重

删除列表中重复的行或词语,统计每一项出现的次数,也可以只保留唯一项或只提取重复项。只在浏览器中处理。

--原有
--结果
--删除
--有重复的项

重复项统计

使用说明

  • 三种处理方式:“删除重复”让每一项只保留一个;“只保留没有重复的项”会把出现过两次及以上的项全部删掉;“只提取重复的项”列出所有出现过两次及以上的项(每项一个)。
  • 判断相同的规则:勾选忽略选项后,“ZhangSan@example.com”和“zhangsan@example.com”、全角“ABC”和半角“ABC”会被视为相同,结果中保留原文的写法。
  • 按词语去重:关键词、标签用逗号、顿号或空格分隔时,选择对应的分隔方式,结果会按同样的分隔符输出。

比较两个名单的交集和差集请用 列表对比与合并,排序请用 文本排序,清除多余空格请用 空白字符清理。

文本去重常见问题

文本去重怎么使用?

粘贴列表,选择处理方式(删除重复、只保留唯一项、只提取重复项)、保留位置、分隔方式和排序,勾选需要忽略的差异,右侧显示结果,下方统计每个重复项出现的次数。

怎么删除重复的行?

粘贴列表,结果中每一项只保留一个,顺序不变。

能统计每行重复了几次吗?

下方的重复项统计表会列出出现次数。

大小写不同算重复吗?

默认忽略大小写,可以取消勾选。

能只找出重复的项吗?

处理方式选择“只提取重复的项”。

文本去重的结果应怎样理解?

判断相同时保留第一次(或最后一次)出现的原文写法;一次处理数十万行时可能稍慢。

输入内容会保存或发给外部服务吗?

列表只在浏览器中处理,不会上传。

没有结果或操作失败时先检查什么?

看起来相同却没有去重时,可能含有不可见字符或行内空格,勾选“忽略行内空格”或先清理空白字符。

相关工具

Markdown 编辑器 · 摩尔斯电码翻译 · 简繁转换 · 文本列处理 · 全部文本工具