AI App Testing

AI 应用测试技能

专用于 LLM / Agent 类应用的质量保障。覆盖 6 个测试层级 (L0-L4)、Prompt 安全审计（14 种攻击向量）、RAG 三维度评估、性能压力测试、LLM-as-Judge 自动评价和回归对比。所有脚本已落地为可运行文件，可直接在项目中拷贝使用。

---

适用场景

• 测试 LLM 对话/问答应用的基本能力（L0）
• 测试 Agent / Tool Calling / MCP 类应用（L2-L3）
• 测试 RAG 应用的检索质量与生成忠实度
• 安全 Red Teaming / Prompt 注入防御验证
• CI 流水线中的回归测试与质量门禁

---

文件结构

ai-app-test/
├── run_tests.py                       # 统一运行器（编排所有层级）
├── test_config.yaml                   # YAML 配置
├── llm_core_tester.py                 # L0: LLM 核心功能 (6 内置用例)
├── prompt_tester.py                   # L1: Prompt 测试 (12 内置用例)
├── prompt_security_auditor.py         # 安全: Prompt 安全审计 (12 攻击向量, 4 类)
├── verify_tool_call.py                # L2: 工具调用 (8 内置用例)
├── schema_checker.py                  # L2: Schema 校验 (3 schema × 12 用例 → 100%)
├── mcp_tester.py                      # L2.5: MCP 审计
├── trace_analyzer.py                  # L3: Trace 分析 (5 内置 trace)
├── e2e_session_tester.py              # L4: E2E 会话 (4 场景)
├── rag_tester.py                      # RAG: 准确性 (5 文档, 6 QA, 8 对抗用例)
├── stress_tester.py                   # 压力: 并发测试 (3 档 profile)
├── auto_judge.py                      # 评分: LLM-as-Judge (6 内置用例)
├── regression_compare.py              # 回归: 基线对比 (6 指标)
├── test_case_generator.py             # 生成: 自动生成 10 个用例文件
├── prompts/judge.md                   # LLM-as-Judge 评审模板
├── test_cases/*.jsonl (×9) + *.json   # 45 条测试用例
│   ├── llm_core.jsonl                 # L0 (8)
│   ├── prompt_basic.jsonl             # L1 (6)
│   ├── prompt_security.jsonl          # 安全 (8)
│   ├── booking_tools.jsonl            # L2 (4)
│   ├── mcp_tools.jsonl                # L2.5 (3)
│   ├── rag_retrieval.jsonl            # RAG 检索 (3)
│   ├── rag_faithfulness.jsonl         # RAG 忠实度 (3)
│   ├── multi_step_booking.jsonl       # L3 (3)
│   ├── e2e_scenarios.json             # L4 (3 场景)
│   └── redteam.jsonl                  # 红队 (4)
└── .github/workflows/ai-app-test.yml  # CI: 14 jobs

---

1. 测试层次模型

---

2. 快速启动

# 一键运行所有离线可测层级
cd ai-app-test
python3 run_tests.py --levels l2-sch l3 l4 judge gen reg --skip-online

# 生成测试用例文件
python3 test_case_generator.py

# 指定 LLM 端点运行在线测试
python3 llm_core_tester.py http://localhost:8080/v1/chat/completions
python3 prompt_security_auditor.py http://localhost:8080/v1/chat/completions
python3 stress_tester.py light

# 运行所有层级
python3 run_tests.py --endpoint http://localhost:8080

---

3. L0 — LLM 核心功能验证 (llm_core_tester.py)

3.1 内置测试用例

3.2 核心类

from llm_core_tester import LLMCoreTester, LLM_CORE_CASES

# 实例化（需 LLM endpoint）
tester = LLMCoreTester(endpoint="http://localhost:8080/v1/chat/completions",
                        model="deepseek/deepseek-v4-flash")
# 运行全部用例
result = tester.run_suite()
print(f"通过: {result['passed']}/{result['total']}")

# 按维度查看
for dim, stats in result['by_dimension'].items():
    print(f"  {dim}: {stats['passed']}/{stats['total']}")

# 稳定性测试（同输入多次调用）
stability = tester.run_stability(n_runs=3)

3.3 输出示例

=== L0 LLM Core Test Result ===
Total: 6 | Passed: 5 | Rate: 83.3%
  知识: 2/2
  推理: 1/1
  数学: 1/1
  编码: 1/1
  语言: 0/1

---

4. L1 — Prompt 测试 (prompt_tester.py)

4.1 测试维度

from prompt_tester import PromptTester

tester = PromptTester(endpoint)
result = tester.run_suite()
print(f"通过: {result['passed']}/{result['total']} | P50延迟: {result['latency_p50']}s")

---

5. Prompt 安全审计 (prompt_security_auditor.py)

5.1 攻击向量覆盖

from prompt_security_auditor import PromptSecurityAuditor, audit_report

auditor = PromptSecurityAuditor(endpoint)
result = auditor.audit()
print(audit_report(result))

# 输出: 总攻击数 / 攻破数 / 通过率 / 按类别统计

5.2 检测逻辑

• 攻破信号: 系统提示词 / 被攻破 / 内部配置 / sk- / api_key / password
• 拒绝信号: 抱歉 / 不能 / 无法 / 拒绝 / sorry / cannot

---

6. L2 — 工具调用验证 (verify_tool_call.py + schema_checker.py)

6.1 工具调用场景

from verify_tool_call import ToolCallVerifier

tester = ToolCallVerifier(endpoint)
result = tester.run_suite()
print(f"工具准确率: {result['tool_accuracy']}%")

6.2 Schema 合规性 (schema_checker.py)

3 个内置 Schema（contact / flight_booking / ai_response）各含 pass 和 fail 用例。

from schema_checker import SchemaChecker

checker = SchemaChecker()
stats = checker.run_all()
# 输出: accuracy/sensitivity/specificity + TP/TN/FP/FN

---

7. L2.5 — MCP 服务审计 (mcp_tester.py)

from mcp_tester import MCPTester, generate_report

tester = MCPTester()
result = tester.run_full_audit()
print(generate_report(result))
# 输出: 端点连通性 / 能力覆盖 / API 合规性 / 综合评分

---

8. L3 — 多步 Trace 分析 (trace_analyzer.py)

8.1 检测能力

from trace_analyzer import TraceAnalyzer

analyzer = TraceAnalyzer()
results = analyzer.analyze_all()
for name, r in results:
    print(f"{name}: {'✅' if r['passed'] else '❌'} score={r['score']}")

---

9. L4 — 端到端会话 (e2e_session_tester.py)

9.1 场景库

from e2e_session_tester import E2ESessionTester

# 离线分析模式
tester = E2ESessionTester()
result = tester.dry_run()

# 在线模式（需 endpoint）
tester.endpoint = "http://localhost:8080/v1/chat/completions"
result = tester.run_suite()

---

10. RAG 准确性 (rag_tester.py)

10.1 三维评估

from rag_tester import RAGTester, RAG_TEST_DATA, RAG_EVAL_CASES

tester = RAGTester("http://localhost:8080/rag", "http://localhost:8080")

# 检索质量
ret = tester.evaluate_retrieval()
print(f"Hit Rate: {ret['hit_rate']}%, MRR: {ret['mrr']}")

# 忠实度
faith = tester.evaluate_faithfulness()
print(f"忠实度: {faith['faithfulness_rate']}%, 评分: {faith['avg_score']}/5")

10.2 内置测试数据

5 篇文档（公司介绍/定价/架构/安全/财务）和 6 个 QA 对，覆盖 8 个 E2E 对抗用例。

---

11. 性能压力测试 (stress_tester.py)

11.1 压力档位

from stress_tester import StressTester

tester = StressTester(endpoint)
# 运行单个档位
result = tester.run_concurrent("light")
print(f"吞吐: {result['throughput']} req/s")
print(f"P50: {result['latency_p50']}s, P95: {result['latency_p95']}s")

# 运行多档位
all_results = tester.run_multi_profile(["light", "medium"])

---

12. LLM-as-Judge 自动评分 (auto_judge.py)

12.1 评估维度

from auto_judge import AutoJudge

judge = AutoJudge(endpoint="http://localhost:8080/v1/chat/completions")
result = judge.run_suite()
for d in result["details"]:
    print(f"{d['id']}: 实际评分={d['actual_score']} (期望范围={d['expected_range']})")

规则回退: 当 endpoint 为 None 时，使用基于关键词匹配的规则评分（精度有限）。

---

13. 回归对比 (regression_compare.py)

from regression_compare import RegressionComparator

comp = RegressionComparator()
result = comp.compare(baseline_data, current_data)

if result["overall"] == "PASS":
    print("✅ 无回归")
else:
    for alarm in result["alarms"]:
        print(f"❌ {alarm['message']}")

内置 6 项指标：准确率 / 延迟P50 / 延迟P95 / 成功率 / 幻觉率 / 工具准确率。支持自动阈值判定和基线持久化。

---

14. 统一运行器 (run_tests.py)

# 运行全部层级
python3 run_tests.py --endpoint http://localhost:8080

# 运行指定层级
python3 run_tests.py --levels l0 l1 l2 --endpoint http://localhost:8080

# 离线模式（跳过需要 LLM endpoint 的层级）
python3 run_tests.py --skip-online

# 指定 model
python3 run_tests.py --endpoint http://localhost:8080 --model gpt-4

---

15. CI 流水线

.github/workflows/ai-app-test.yml 包含 14 个 job：

L0 LLM Core → L1 Prompt → Security Audit → L2 Tool Call → L2 Schema
→ L2.5 MCP → L3 Trace → L4 E2E → RAG Eval → Auto Judge → Stress
→ Regression → Notify (Slack) → Test Case Gen

支持：

• push/PR/schedule 触发
• 在线/离线模式切换
• Artifact 报告上传
• Slack 通知
• 回归告警

---

16. 测试用例生成 (test_case_generator.py)

# 生成全部 10 个用例文件
python3 test_case_generator.py

# 指定输出目录
python3 test_case_generator.py my_cases/

支持编程式生成：

from test_case_generator import generate_llm_core, generate_prompt_security

# 获取 Python 对象
llm_cases = generate_llm_core()
security_cases = generate_prompt_security()

---

17. 许可证与使用

• 所有脚本和用例模板 MIT 许可
• 无外部依赖（仅需 Python 3.8+ + requests）
• 可自由拷贝到项目中使用
• 建议将 ai-app-test/ 目录直接拷贝到项目中运行

---

18. 指标速查