AI native: Casebook 面向 AI Agent 时代的测试用例工程化工作流

引言：当测试遇见 AI Agent在传统的软件开发中，测试用例（Test Case）是 QA 工程师手写的静态文档。但在 AI Agent 时代，测试不再是人机交互的“点按验证”，而是让 AI 主动执行、自我校验、动态生成的“自动化智能体”。Casebook 是我设计的一个轻量级框架，它将测试用例视为可执行的数据结构，并通过 AI Agent 工作流实现从需求分析到测试报告的全链路工程化。## 核心概念：测试用例即代码在 Casebook 中，每个测试用例都是一个结构化的 JSON 对象，包含：- input：输入参数（支持多模态）- expected：期望结果（支持模糊匹配）- oracle：验证函数（AI 或规则）- metadata：溯源信息（需求 ID、优先级等）python# 示例1：Casebook 核心数据结构定义from typing import Any, Callablefrom pydantic import BaseModel, Fieldclass TestCase(BaseModel): """可执行的测试用例模型""" id: str = Field(..., description="用例唯一标识") name: str = Field(..., description="用例名称") input: dict[str, Any] = Field(default_factory=dict, description="输入参数") expected: dict[str, Any] = Field(default_factory=dict, description="预期结果") # AI Oracle：可以是一个模型调用或规则函数 oracle: Callable[[dict, dict], bool] | None = None # 元数据：来源、优先级、标签 source: str = "auto-generated" priority: int = 1 tags: list[str] = []# 创建测试用例实例test_create_order = TestCase( id="TC-001", name="创建有效订单", input={"user_id": "u123", "product": "AI Book", "qty": 2}, expected={"status": "success", "total": 39.98}, oracle=lambda inp, exp: inp["qty"] * 19.99 == exp["total"], # 规则验证 tags=["regression", "order"])## 工作流设计：从需求到报告传统测试流程是线性的（需求→设计→执行→报告），而 Casebook 采用 AI Agent 编排，让多个智能体协同工作：1. 需求解析 Agent：从 PRD（产品需求文档）抽取测试点2. 数据生成 Agent：根据边界值/等价类生成输入数据3. 执行 Agent：调用被测系统 API/SDK4. 验证 Agent：使用 LLM 或规则对比预期与实际5. 报告 Agent：生成带 AI 分析的可视化报告python# 示例2：AI Agent 驱动的测试执行引擎import asynciofrom openai import AsyncOpenAIfrom dataclasses import dataclass@dataclassclass TestResult: test_id: str passed: bool actual: dict reason: str = ""class AITestRunner: """基于 LLM 的智能测试执行器""" def __init__(self, api_key: str): self.client = AsyncOpenAI(api_key=api_key) async def run_with_llm_oracle(self, test_case: TestCase) -> TestResult: """ 使用 LLM 验证测试结果（适用于模糊匹配场景） 例如：验证生成文本是否“符合要求”而不是精确相等 """ # 模拟被测系统执行（实际开发中替换为 API 调用） system_response = await self._execute_system(test_case.input) # 构造验证 prompt prompt = f"""请判断以下测试是否通过： - 输入：{test_case.input} - 期望结果：{test_case.expected} - 实际结果：{system_response} 输出格式：JSON {{"passed": bool, "reason": str}} """ # 调用 LLM 作为 Oracle completion = await self.client.chat.completions.create( model="gpt-4o", messages=[{"role": "user", "content": prompt}], response_format={"type": "json_object"} ) verdict = eval(completion.choices[0].message.content) # 解析 JSON return TestResult( test_id=test_case.id, passed=verdict["passed"], actual=system_response, reason=verdict.get("reason", "") ) async def _execute_system(self, input_data: dict) -> dict: """模拟执行（实际场景中调用微服务/数据库）""" # 示例：模拟一个订单创建服务 return { "status": "success", "total": input_data["qty"] * 19.99, "order_id": "ORD-2024-001" }# 运行测试async def main(): runner = AITestRunner(api_key="sk-xxx") result = await runner.run_with_llm_oracle(test_create_order) print(f"Test {result.test_id}: {'✅ PASS' if result.passed else '❌ FAIL'}") print(f"Reason: {result.reason}")# asyncio.run(main())## 工程化实践：CI/CD 集成Casebook 支持与 Jenkins/GitLab CI 深度集成。在 .gitlab-ci.yml 中添加测试阶段：yamlstages: - test - reportai-test: stage: test script: - pip install casebook-ai - casebook run --suite regression --output report.json - casebook generate-report --input report.json --format html artifacts: paths: - report.html## 动态测试用例生成传统测试需要手动编写所有用例，而 Casebook 利用 LLM 的生成能力：pythonfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIclass TestCaseGenerator: """基于需求文档的测试用例自动生成器""" def __init__(self, model="gpt-4o"): self.llm = ChatOpenAI(model=model) self.prompt = PromptTemplate( input_variables=["requirement"], template="""从以下需求中生成 5 个测试用例（JSON 格式）： {requirement} 输出格式：[{{"input":..., "expected":...}}] 考虑边界条件、异常路径和正常流程。 """ ) def generate(self, requirement: str) -> list[TestCase]: response = self.llm.invoke(self.prompt.format(requirement=requirement)) # 解析 LLM 输出的 JSON 并转换为 TestCase 对象 raw_cases = eval(response.content) # 安全起见应使用 json.loads return [ TestCase( id=f"TC-{i:03d}", name=f"Auto-{i}", input=case["input"], expected=case["expected"], source="llm-generated" ) for i, case in enumerate(raw_cases) ]# 使用示例gen = TestCaseGenerator()cases = gen.generate("用户登录功能：支持邮箱和密码登录，密码需6-20位，错误次数超过5次锁定30分钟")for c in cases: print(c.input)## 挑战与应对在实践 Casebook 时，我遇到了几个关键问题：1. Oracle 的不确定性：LLM 验证可能产生幻觉。解决方案是混合验证——精确匹配用规则，模糊匹配用 LLM 并设置置信度阈值。2. 测试数据污染：AI 生成的测试数据可能重复。引入数据指纹（hash 去重）和覆盖率反馈（未覆盖的代码路径优先生成）。3. 执行效率：每次调用 LLM 成本高。实施缓存策略，对相同输入直接返回历史结果。## 总结AI Agent 时代，测试用例工程化不再是“写文档+手动点”，而是演变为一个智能体协作的自动化工作流。Casebook 通过将测试用例定义为可执行的数据结构，结合 LLM 的生成与验证能力，实现了：- 从静态文档到动态代码的转变- 从人工覆盖到 AI 驱动的边界探索- 从事后报告到实时智能分析未来，Casebook 还将支持多智能体对抗测试（一个 Agent 生成攻击用例，另一个 Agent 防御验证），以及自愈测试（当用例失败时，AI 自动分析根因并修复）。这不是替代 QA 工程师，而是让他们从重复劳动中解放，专注于更高阶的测试策略设计。你的测试用例，准备好 AI native 了吗？