数据质量检查基础版

数据质量检查基础版

概述

本工具是 数据质量 领域的 FREE 版本 AI Skill,专为个人用户与轻量级场景设计。通过自然语言指令驱动 AI Agent 执行任务,提供核心功能与简洁易用的操作体验. FREE 版本与 PRO 版本完全兼容,可在需要时升级至 PRO 版本获取高级功能、批量操作与团队协同能力.

版本定位

核心能力

FREE 版本提供以下能力:

检查价格数据完整性与缺失

检查价格数据完整性与缺失

处理: 解析检查价格数据完整性与缺失的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查价格数据完整性与缺失的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查因子数据 nan 值与极端

检查因子数据 nan 值与极端值

处理: 解析检查因子数据 nan 值与极端的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查因子数据 nan 值与极端的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查数据准确性(零价格/负价格

检查数据准确性(零价格/负价格/异常收益)

处理: 解析检查数据准确性(零价格/负价格的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查数据准确性(零价格/负价格的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查价格成交量一致性

检查价格成交量一致性

处理: 解析检查价格成交量一致性的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查价格成交量一致性的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查数据时效性与滞后天数

检查数据时效性与滞后天数

处理: 解析检查数据时效性与滞后天数的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查数据时效性与滞后天数的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

功能详情

本版本提供 5 项核心能力,覆盖 数据质量 的常见使用场景。如需批量操作、团队协作、数据分析等高级功能,可升级至 PRO 版本. FREE 版本核心功能清单:

• 检查价格数据完整性与缺失
• 检查因子数据 nan 值与极端值
• 检查数据准确性(零价格/负价格/异常收益)
• 检查价格成交量一致性
• 检查数据时效性与滞后天数

PRO 版本扩展功能预览:

• 自动化数据质量检查流水线
• 异常检测与实时告警通知
• 数据血缘追踪与影响分析
• 多数据源交叉验证与一致性检查
• 数据质量评分卡与趋势分析
• 与企业数据治理平台集成

处理: 解析功能详情的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回功能详情的响应数据,包含状态码、结果和日志. 技术参数：使用input_params和output_format参数控制执行行为,支持json/text/csv输出格式. 能力覆盖范围：本skill的核心能力覆盖以下场景关键词：量化策略数据质量、检查工具、检查数据完整性、一致性与时效性、数据质量领域的专、辅助工具、提供核心基础功能等。这些关键词对应description中声明的使用场景,均已在上述能力点中提供对应的操作支持.

使用场景

场景 1: 检查价格数据完整性

验证价格数据的完整性与覆盖范围

用户可通过自然语言指令触发此场景，工具将自动执行相应操作并返回结构化结果.

输入格式

import pandas as pd
price = pd.read_parquet("data/price.parquet")
print(f"记录数: {len(price)}")
print(f"股票数: {price['code'].nunique()}")
dates = pd.to_datetime(price['date'].unique())
all_dates = pd.date_range(start=dates.min(), end=dates.max(), freq="B")
missing = set(all_dates) - set(dates)
print(f"缺失日期: {len(missing)}")

场景 2: 检查因子数据质量

检测因子数据中的 nan 值与极端值

import numpy as np
factors = pd.read_parquet("data/factors.parquet")
nan_ratio = factors.isna().sum().sum() / factors.size
print(f"nan比例: {nan_ratio:.2%}")
inf_count = np.isinf(factors.select_dtypes(include=[np.number])).sum().sum()
print(f"inf数量: {inf_count}")

不适用场景

以下场景数据质量检查基础版不适合处理：

• 实时流数据处理
• 小规模数据手动分析
• 非结构化文本情感分析

触发条件

需要数据分析、报表生成、统计洞察、数据可视化时使用。不适用于非本工具能力范围的需求.

快速开始

1. 环境准备

确保已安装并配置好 AI Agent 环境(Claude Code / Cursor / Codex / Gemini CLI 等),本 Skill 通过 SKILL.md 指令驱动 Agent 执行任务. 系统要求:

• 操作系统: Windows / macOS / Linux
• Agent 平台: 支持 SKILL.md 格式的任意 AI Agent
• 运行时: Python 3.8+ 或 Node.js 18+(视具体操作需求)

2. 配置参数

# 数据质量检查配置
{
  "check_completeness": true,
  "check_accuracy": true,
  "check_consistency": true,
  "check_timeliness": true,
  "abnormal_return_threshold": 0.2,
  "extreme_value_threshold": 1e10
}

3. 验证配置

配置完成后,可通过以下方式验证是否正常工作:

# 验证环境变量是否设置
echo "配置检查:"
env | grep -E "API|KEY|TOKEN|SECRET" | sed "s/=.*/=***/"  # Linux/macOS
# 或 PowerShell
# Get-ChildItem Env: | Where-Object {$_.Name -match "API|KEY|TOKEN"} | Format-Table

4. 开始使用

在 AI Agent 对话中描述你的需求,Agent 会根据本 Skill 的指令自动执行对应操作.

请帮我检查价格数据完整性

Agent 将自动:

1. 解析你的自然语言指令
2. 调用相应的工具或 API
3. 执行操作并返回结果
4. 返回执行结果供你确认

示例

基础配置

# 数据质量检查配置
{
  "check_completeness": true,
  "check_accuracy": true,
  "check_consistency": true,
  "check_timeliness": true,
  "extreme_value_threshold": 1e10
}

可选配置

{
  "edition": "free",
  "auto_retry": false,
  "max_concurrent": 1,
  "log_level": "info",
  "cache_enabled": true,
  "timeout": 30
}

FREE 配置项说明:

最佳实践

1. 使用未经检查的数据前必须完成质量检查
2. 忽略数据质量问题会导致策略失效
3. 生成数据质量报告留档备查
4. 定期检查确保数据持续可靠

个人使用建议

• 从简单任务开始熟悉工具行为,逐步扩展到复杂场景
• 定期备份配置文件与数据,防止意外丢失
• 遇到问题先查阅常见问题章节,再寻求社区帮助
• 保持配置简洁,只启用必要的功能选项
• 定期更新工具版本以获取最新功能与修复
• 记录常用操作命令,提高日常使用效率

常见问题

Q: 价格数据缺失怎么处理?

A: 使用多数据源补充,定期检查完整性,建立数据更新告警.

Q: 因子大量 nan 值怎么解决?

A: 检查计算窗口是否不足,填充缺失值,修复计算逻辑.

Q: 如何升级到 PRO 版本?

A: 升级到 PRO 版本非常简单:

1. 获取 PRO 版本授权
2. 安装 PRO 版本 Skill
3. 原有配置自动迁移,无需额外操作
4. 即可使用批量操作、团队协作等高级功能

已知限制

A: FREE 版本主要限制:

• 不支持批量操作(每次只能处理一个任务)
• 不支持团队协作(仅限个人使用)
• 不支持高级数据分析
• 技术支持依赖社区 如需这些功能,建议升级至 PRO 版本.

Q: FREE 版本的数据安全吗?

A: FREE 版本所有数据本地存储,不上传云端,确保隐私安全。建议定期备份配置文件与数据目录.

依赖说明

运行环境

• Agent 平台: 支持 SKILL.md 的任意 AI Agent(Claude Code / Cursor / Codex / Gemini CLI 等)
• 操作系统: Windows / macOS / Linux
• 运行时: Python 3.8+ 或 Node.js 18+(视具体操作需求)
• 网络: 部分功能需要网络连接访问外部 API

依赖详情

API Key 配置

FREE 版本支持单一 API Key 配置,满足个人使用需求:

• 环境变量:通过环境变量配置 API Key
• 配置文件:支持配置文件方式存储 API Key
• 安全提醒:切勿将 API Key 硬编码到脚本或提交到版本控制系统

可用性分类

• 分类: MD+EXEC(纯 Markdown 指令,部分功能需要 exec 命令行执行能力)
• 说明: 基于 Markdown 的 AI Skill,通过自然语言指令驱动 Agent 执行任务
• FREE 特性: 支持单次执行、基础配置与社区支持
• 安全等级: 基础,数据本地存储,建议定期备份
• SLA: 社区支持,尽力响应

---

快速开始

1. 确认运行环境满足依赖说明中的要求
2. 在AI Agent对话中调用本技能,提供必要的输入参数
3. 检查输出结果,根据需要进行后续处理

详细的输入输出格式请参考下方章节说明。

版本信息

错误处理

输出格式

{
  "success": true,
  "data": {
    "result": "数据质量检查基础版处理结果",
    "execution_time": "0.5s",
    "metadata": {
      "version": "1.0",
      "processor": "quant data quality"
    }
  },
  "execution_log": ["解析输入参数", "执行核心处理", "格式化输出结果"],
  "error": null
}