文档

excel去重清洗

试用

Excel 表格去重清洗。自动去除多余空格、全角字符转半角、标准化手机号和身份证号、按关键列(姓名/手机号/编号)去重,并生成清洗报告 sheet。当用户上传含脏数据的 xlsx/csv 并要求"去重"、"清洗数据"、"数据标准化"、"处理表格里的重复行"时触发。

它能做什么

Excel 表格去重清洗。自动去除多余空格、全角字符转半角、标准化手机号和身份证号、按关键列(姓名/手机号/编号)去重,并生成清洗报告 sheet。当用户上传含脏数据的 xlsx/csv 并要求"去重"、"清洗数据"、"数据标准化"、"处理表格里的重复行"时触发。

技能文档

Excel 表格去重清洗

何时使用

当用户上传 Excel 表格(通讯录、花名册、客户名单、报名表等),并需要:

  • 去掉重复行(同一人/同一单被录了多次)
  • 清理脏数据:首尾空格、中间多余空格、全角数字/字母/标点
  • 标准化手机号(去 +86、去横杠空格)、身份证号(大写 X)
  • 输出干净表 + 清洗报告(改了什么、删了多少)

触发词:去重、清洗、数据标准化、重复行、脏数据、名单整理

核心流程

步骤 1: 确认输入

  • 源文件路径(xlsx)
  • 去重 key 列(默认自动识别:优先"手机号/工号/学号/身份证"列,其次"姓名"列;用户指定列名则用 --key
  • 重复保留策略(默认保留首条,--keep last 保留末条)

步骤 2: 运行脚本

python scripts/dedup_clean.py "<源文件.xlsx>" [输出文件.xlsx] [--key "姓名,手机号"] [--keep first|last]

输出默认为 原名_cleaned.xlsx,包含两个 sheet:

  1. 清洗结果 — 蓝色表头、冻结首行、列宽自适应的干净表
  2. 清洗报告 — 原始行数、删除重复行数、清洗单元格数、key 列说明

步骤 3: 汇报结果

把脚本打印的统计信息转述给用户(原始行数 → 删除重复 → 剩余行数 + 清洗单元格数)。

清洗规则速查

规则说明
空白清理\s+ 合并为单个空格,去首尾;纯空格单元格置空
全角转半角123123AbcAbc-()-() 等 60+ 字符映射
手机号+86/空格/横杠,校验 1[3-9]\d{9}
身份证18 位校验,末位 x 统一大写
去重key 列值(忽略大小写和空格)完全一致视为重复

技术注意点

  1. 不要改原文件:始终输出新文件,原文件作为对照保留
  2. 数字型单元格跳过清洗isinstance(value, (int, float, bool)) 不做字符串处理,避免破坏数值精度(如身份证被科学计数法存储时先转文本列)
  3. 自动 key 识别失败时:表头没有常见列名 → 只做清洗不去重,并在报告注明
  4. 日期列易误伤:日期对象不动,只处理字符串

相关技能

Excel全能工具箱:读写、预览、合并、拆分、关联、去重、清洗、校验、模板填充、样式、条件格式、公式、图表、透视表、数据分析、差异对比、图片插入、密码保护。典型场景:月度业务报表合并汇总、HR花名册/考勤表关联清洗、运营数据透视分析、绩效数据校验去重、批量生成offer/通知模板、薪酬表加密保护、业务周报图表生成。触发词:Excel、表格、xlsx、csv、电子表格、合并Excel、拆分Excel、Excel图表、数据透视表、Excel公式、条件格式、数据清洗、Excel模板、Excel对比、Excel加密、VLOOKUP、去重、数据校验、统计分析、格式转换、业务报表、花名册、考勤表、绩效数据、运营数据、excel toolbox、spreadsheet、merge excel、split excel、excel chart、pivot table。即使用户没有明说'用Excel工具箱',只要涉及Excel/表格/xlsx/csv文件的操作都应触发。不适用:在线协作编辑(用Google Sheets等在线工具)、纯代码开发、Skill管理。

1 次安装

结构化整理层级型 Excel 表格(.xlsx),处理父子层级关系、向下填充、分组首行显示、筛选优化。当用户上传 Excel 文件并要求「结构化整理」「填充数据」「整理表格」「整理测试用例」「清理表格格式」时使用。

1 次安装

按指定列的值把一张 Excel 大表拆分成多个工作表(单文件)或多个独立 xlsx 文件。自动检测拆分列(部门/城市/分类/状态类),处理非法 sheet 名、空值归组"未填写",并生成拆分汇总。当用户上传大表并要求"按部门拆开"、"按城市分成多个表"、"拆分成多个文件"、"分类拆分"时触发。

Excel 工具(免费版)面向个人用户与独立开发者,提供 Excel 文件的基础处理能力:读取、写入、数据清洗、公式计算与基础统计。通过 openpyxl 与 pandas 等标准库操作 xlsx 文件,无需安装 Microsoft Excel。Use when 需要数据分析、报表生成、统计洞察、数据可视化时使用。不适用于实时流数据处理.

1 次安装

Excel数据处理向导,提供数据报表,模板填充,批量处理与图表可视化功能。支持条件格式,数据透视表,格式美化与文件分析。适用于财务报表,销售数据统计,库存管理,月度季度报告等Excel数据场景。涵盖结构识别,数据读取,数据写入,问题诊断等表格操作能力。内置openpyxl引擎,含单元格格式控制,多Sheet操作,数据校验,密码保护。

1 次安装

Excel 数据分析多步编排器。覆盖:(1) 读取多 Sheet Excel 文件并统计行数,(2) 大文件检测(≥10k 行自动 Parquet 优化),(3) 数据清洗(缺失值、文本标准化、无效字符),(4) 条件筛选与分类提取,(5) 跨 Sheet 统计聚合,(6) 导出 Excel/CSV 并提供下载链接。覆盖从数据读取到报告生成全流程,按步骤编排 capability 子 skill。**遇到以下任一情况就主动使用本 skill,不要自行写几行 pandas 就回答**:①用户出现触发词:Excel 分析 / 表格分析 / 数据分析 / 数据清洗 / 数据统计 / 数据筛选 / 数据可视化 / 数据导出 / 汇总统计 / 透视表 / 分组统计 / 交叉分析 / 趋势分析 / 对比分析 / 异常值检测 / 去重 / 缺失值处理 / Excel 报告 / 生成报表 / analyze Excel / data analysis / data cleaning / pivot table;②用户上传或指定了 .xlsx / .xls / .csv 文件并要求分析、清洗、统计或可视化;③任务涉及多 Sheet 读取、条件筛选、分类汇总、图表生成中的任意一项;④用户要求导出带格式的 Excel 报告或下载链接。仅不用于:不涉及表格数据的纯文本处理、图片分析(使用 sn-da-image-caption)、单个公式计算的简单问答。