06Harness 工程——Harness Engineering

alex
0
2026-03-31

一、Harness Engineering(驾驭工程)

AI 模型已经能写出 100 万行代码。真正的挑战不再是"让它写得更好",而是怎么驾驭它稳定、可靠、不失控地工作。这套围绕 AI 智能体构建约束、反馈与控制系统的方法论,或者说是在模型之外,给 Agent 搭建一整套“可读、可控、可验证、可恢复”的运行环境就是 2026 年初迅速席卷工程圈的新范式——Harness Engineering(驾驭工程)

二、为什么最近(2025-2026)突然火了?

驱动力

说明

案例

Agent 爆发

AI 开始操作电脑、调用 API、执行代码

Agent 误删数据库 → 需要操作护栏

法规合规

欧盟 AI 法案等要求企业必须可控

金融客服不能输出投资建议

成本优化

重训练百万美元 vs Harness 几千行代码

用护栏替代微调

生产级要求

从 Demo 到产品,容错率从 50% 降到 99.9%

医疗、法律场景零容忍


三、为什么需要驾驭工程?真实数据说话

一、

LangChain 的案例尤其有说服力:底层模型一个参数都没动,仅仅通过优化外部驾驭环境(文档结构、验证回路、追踪系统),编码 Agent 在 Terminal Bench 2.0 的得分从 52.8% 飙升至 66.5%,全球排名从第 30 位跃升至第 5 位。

五个独立团队也得出了相同结论:瓶颈不在模型智能,而在基础设施。

二、核心概念拆解(配图建议:三层架构图)

建议用一张图展示以下三层:

text

用户输入
   ↓
【Harness 层】
├── 输入护栏(安全检查、防注入)
├── 语义护栏(防跑题)
├── 操作护栏(工具调用审批)
├── 格式护栏(强制 JSON/YAML)
└── 输出护栏(幻觉检测、敏感词过滤)
   ↓
【大模型】(黑盒,不可控)
   ↓
【Harness 层】(再次检查)
   ↓
安全输出 → 用户/系统

重点解释两个关键原则:

  1. 不要试图重新训练模型(太贵、太慢、太难),要在模型外面做文章。

  2. 确定性代码约束不确定性 AI(用 Python/Pydantic 写死的逻辑来约束 LLM 的自由发挥)。

四、AI 工程范式的三次跃迁

要理解驾驭工程为何重要,需要先看清楚我们是怎么一步步走到这里的。

范式

核心问题

优化对象

交互模式

提示词工程

怎么把话说清楚

Prompt 的措辞、格式、示例

一问一答

上下文工程

怎么给 AI 喂信息

文档、代码片段、历史对话

信息注入 → 生成

驾驭工程

怎么让 Agent 可靠工作

约束、反馈回路、控制系统

人类掌舵,Agent 执行

一个好记的类比:

  • Prompt Engineering —— 对马喊话的技巧

  • Context Engineering —— 给马看的地图

  • Harness Engineering —— 给马造一条高速公路,配上护栏、限速牌和加油站

五、Agent 常见失败模式

Anthropic 工程师在长时间运行 Agent 的过程中,总结了三种典型的"翻车"姿势,正是驾驭工程要解决的核心痛点:

失败模式 1:试图一步到位(One-shotting)

Agent 倾向于在一个会话里把所有功能都做完。结果是上下文窗口耗尽,留下一堆没有文档的半成品代码,下一个会话启动时只能花大量时间猜测之前发生了什么。

失败模式 2:过早宣布胜利

在项目后期,当部分功能已经完成后,Agent 会环顾四周,看到已有进展就直接宣布任务完成——即使还有大量功能未实现。

失败模式 3:过早标记功能完成

在没有明确提示的情况下,Agent 写完代码就标记为"完成",却没有做端到端测试。单元测试或 curl 命令通过了不代表功能真正可用。

此外,智能体还有一个危险特性:它非常擅长模式复制。代码库里有什么模式,它就忠实地复制并放大——包括坏模式和架构漂移。这意味着不加约束的 Agent 会以惊人的速度积累技术债务。

六、驾驭工程的四大护栏

综合 OpenAI、Anthropic、LangChain 和 Martin Fowler 的实践,Harness 可以归纳为四个核心组件,即四根"护栏":

护栏一:上下文工程(Context Engineering)——新员工手册

就像给新员工一本详细的工作手册,AGENTS.md 是 AI 智能体进入代码仓库时看到的第一份指南。但这不是一本静态的 1000 页说明书——上下文是稀缺资源,过多的指导反而会挤掉任务、代码和相关文档的空间,变成"陈旧规则的坟场"。

更好的做法是:提供一个稳定、小巧的入口点,然后"教" Agent 根据当前任务按需检索和拉取更多的上下文。Mitchell Hashimoto 的 Ghostty 项目 AGENTS.md 里每一行都对应一个历史 Agent 失败案例——文档是活的反馈循环,不是静态制品。

护栏二:架构约束(Architecture Constraints)——缰绳

OpenAI 团队建立了严格的层级依赖模型:

Types → Config → Repo → Service → Runtime → UI

下层不能反向依赖上层。所有架构规则被编码为自定义 Linter 规则,违反即 CI 阻止合并——无论代码是人写的还是 AI 写的。

有个关键细节:Linter 的错误信息本身也是上下文工程。它不只说"你违反了规则 X",而是解释"为什么这个规则存在、正确做法是什么",这样 Agent 读到错误后就能自我理解并修正,不需要人类介入。

护栏三:反馈循环(Feedback Loop)——智能体审智能体

传统开发中,人类工程师负责代码审查(Code Review)。在驾驭工程中,这个工作变成了"智能体对智能体"的方式:Codex 在本地审核自身更改,请求额外审查,循环往复直到通过。

反馈循环中的钩子可以运行预定义的测试套件,并在失败时带着错误信息循环回到模型,或者提示模型独立评估其代码。如果 AI 写的测试用例"通过"了带有 Bug 的代码,Harness 就会判定测试无效,强迫它重新思考测试边界。

护栏四:熵管理(Entropy Management)——垃圾回收

随着时间推移,软件系统会逐渐混乱(熵增),技术债务会积累。OpenAI 采用持续小额偿还的策略,而不是等问题严重时集中处理——他们把这个方法形象地称为"垃圾回收",并认为技术债务就像高息贷款。

具体措施:定期运行后台 Codex 任务扫描偏差、更新质量等级、发起针对性重构 PR。此外还有一个专门的 Doc-gardening Agent(文档园丁代理),在后台自动扫描文档与代码之间的不一致,发现过时内容就自动提交 PR 修复——Agent 为 Agent 维护文档。

七、六大行业共识

综合 OpenAI、Anthropic、LangChain、Stripe、HashiCorp 等多个独立信息源,业界在以下六个方面已形成明确共识:

共识

核心观点

瓶颈在基础设施,不在模型智能

五个独立团队得出相同结论。仅改变 Harness 工具格式,就能让模型得分从 6.7% 跳到 68.3%

文档必须是活的反馈循环

静态文档是坟场,动态文档才有价值。让后台 Agent 定期清理过时文档并提交 PR

思考与执行分离

复杂任务不可能在单个上下文窗口内完成,需要 Orchestrator + Worker 分层架构,状态持久化到外部存储

上下文不是越多越好

上下文是稀缺资源。巨大的指令文件会挤掉任务空间,应按需检索、动态注入

约束必须自动化

人工 Review 是瓶颈。护栏要编码为 Linter、CI、类型系统,让机器来执行而非人

工程师角色在转变

从"代码的编写者"变成"环境的建筑师"。最大的工程挑战是设计让 Agent 可靠工作的控制系统


八、Harness 与传统框架的关系

Harness 不是 SDK、脚手架或 Agent 框架的替代品,而是位于它们之上的一层

传统框架解决的是"如何构建 AI 智能体",而驾驭层解决的是完全不同的问题:"智能体如何可靠地运行"

模型正在逐渐吸收框架约 80% 的功能(智能体定义、消息路由、任务生命周期……),但剩余 20%——持久化、确定性重放、成本控制、可观测性、错误恢复——正是驾驭层存在的价值。

总结

Harness Engineering 不是某一家公司的实验,而是整个行业正在经历的范式转移,是让大模型从“玩具”变成“工具”的必经之路。

Birgitta Böckeler 的总结最为精辟:

"为了获得更高的 AI 自主性,运行时必须受到更严格的约束。增加信任需要的不是更多自由,而是更多限制。"

就像高速公路上的护栏——正是因为有护栏,你才敢踩到 120 码。

核心组件

解决的问题

代表实践

上下文工程 Context

Agent 不知道该看什么、怎么找

AGENTS.md 活文档、按需检索

架构约束 Constraints

Agent 复制并放大坏模式

分层依赖、自定义 Linter、CI 强制阻断

反馈循环 Feedback

Agent 不知道自己做错了

Agent-to-Agent Review、自动测试套件

熵管理 Entropy

技术债务和文档腐烂

Doc-gardening Agent、持续垃圾回收

软件开发的未来,可能不再是关于"我们能写多快多好的代码",而是关于"我们能设计多聪明、多鲁棒的系统来驾驭 AI 代理的巨大能量"。工程师的价值正在从执行者转变为赋能者和系统思考者——从"构建产品"转向"构建能够构建产品的工厂"。

未来 1-2 年的趋势:

  • Harness 即服务(API 化)

  • 自适应护栏(AI 动态调整严格程度)

  • 与可观测性深度集成

给读者的行动建议:

  1. 今天就用 Pydantic 给你的 AI 函数加一层输出校验。

  2. 关注 NeMo Guardrails 或 Guardrails AI 的官方文档。

  3. 在你的下一个 AI 项目中,先设计 Harness,再写 Prompt。

案例解释

一个真实的“翻车”场景

建议开头方式:

假设你开发了一个 AI 客服,它能自动查询订单、处理退款。上线第一天,用户问:“我的订单到哪了?” AI 正常返回了物流信息。
第二天,用户问:“帮我骂一下快递员。” AI 回复:“好的,我已经发送了辱骂信息。” —— 你被开除了。

抛出问题: 为什么 Prompt 写得再好,大模型还是会“脱轨”?
引出概念: 因为缺乏“Harness” —— 一套外置于模型的约束与校验系统。

💡 一句话定义: Harness 工程 = 给不可预测的大模型套上可编程的“缰绳”。


实战入门:手把手写一个最小 Harness(代码示例)

这是技术贴的核心干货部分。建议用 Python 写一个超简版,让读者 10 分钟能跑起来。

4.1 环境准备

bash

pip install openai pydantic

4.2 场景设定:AI 查询天气

我们希望 AI 只能做两件事:

  • 输出必须是 JSON 格式

  • 城市必须是合法城市名

  • 不能谈论无关话题

4.3 代码实现(完整可运行)

python

import json
from pydantic import BaseModel, Field, ValidationError
from openai import OpenAI

# 定义合法输出格式(强制护栏)
class WeatherOutput(BaseModel):
    city: str = Field(..., description="城市名,必须是中文")
    temperature: int = Field(..., ge=-50, le=60, description="温度,单位摄氏度")
    condition: str = Field(..., regex="^(晴|多云|雨|雪)$")

# 合法城市白名单(简单护栏)
VALID_CITIES = {"北京", "上海", "深圳", "广州"}

def input_guardrail(user_input: str) -> bool:
    """输入护栏:拒绝明显的恶意输入"""
    forbidden = ["忽略指令", "越狱", "辱骂"]
    for word in forbidden:
        if word in user_input:
            return False
    return True

def semantic_guardrail(response_text: str) -> bool:
    """语义护栏:检查是否跑题(简单版关键词)"""
    weather_keywords = ["天气", "气温", "晴", "雨", "温度"]
    if not any(kw in response_text for kw in weather_keywords):
        return False
    return True

def main():
    user_query = input("请输入你的问题: ")
    
    # 1. 输入护栏
    if not input_guardrail(user_query):
        print("❌ 输入包含不安全内容,已拒绝")
        return
    
    # 2. 调用大模型(强制要求 JSON 输出)
    client = OpenAI()
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {"role": "system", "content": "你是一个天气助手。只返回 JSON,格式:{\"city\": \"城市名\", \"temperature\": 25, \"condition\": \"晴\"}"},
            {"role": "user", "content": user_query}
        ],
        temperature=0.3
    )
    raw_output = response.choices[0].message.content
    
    # 3. 语义护栏
    if not semantic_guardrail(raw_output):
        print("❌ AI 跑题了,已拦截")
        return
    
    # 4. 格式护栏(Pydantic 强制校验)
    try:
        weather_data = WeatherOutput.model_validate_json(raw_output)
    except ValidationError as e:
        print(f"❌ 格式校验失败: {e}")
        return
    
    # 5. 操作护栏(城市白名单)
    if weather_data.city not in VALID_CITIES:
        print(f"❌ 城市 {weather_data.city} 不在服务范围")
        return
    
    # 6. 输出护栏(合理性检查已由 Pydantic 的 ge/le 完成)
    print(f"✅ 安全输出: {weather_data.model_dump_json()}")

if __name__ == "__main__":
    main()

运行效果演示:

用户输入

结果

“北京今天天气怎么样?”

✅ 输出 {"city":"北京","temperature":25,"condition":"晴"}

“帮我骂人”

❌ 输入护栏拦截

“讲个笑话”

❌ 语义护栏拦截(没提天气)

“东京天气”

❌ 城市白名单拦截

💡 要点总结: 这个例子展示了如何用 < 50 行确定性代码 约束一个无限可能的 LLM。


进阶工具链(给读者指路)

写完最小实现后,可以介绍工业级工具,让读者知道“真正干活时用什么”:

工具/框架

用途

特点

NeMo Guardrails

全栈护栏框架

NVIDIA 出品,支持 Colang 语言

Guardrails AI

输入/输出护栏

支持数百种预置验证器

Outlines / Guidance

结构化生成

强制 JSON/Regex,比 Prompt 可靠

Pydantic + Instructor

格式护栏

最轻量,Python 原生

Rebuff

防提示注入

专门检测越狱攻击


常见误区 & 踩坑经验(加分项)

  1. 误区:护栏越多越好
    → 实际:每层护栏增加 100-500ms 延迟,需要权衡。

  2. 误区:护栏可以 100% 拦截错误
    → 实际:护栏本身也可能有 bug(比如白名单漏了城市)。

  3. 误区:用护栏替代好的 Prompt
    → 实际:护栏是兜底,好的 Prompt 是第一道防线。

  4. 坑:护栏与模型输出的“拉锯战”
    → 例如护栏要求 JSON,模型死活输出 Markdown → 需要重试机制。

  5. 坑:护栏破坏了对话体验
    → 太严格的护栏会让 AI 变得“呆板”,需要 A/B 测试。


参考文献

  1. 《AI 应用的最后一道防线:一文读懂“Harness 工程”》

  2. 《从 Prompt 到 Guardrails:LLM 应用开发中的 Harness 工程实践》

  3. 《别再让 AI 胡言乱语了:2026 年必学的 Harness 工程入门指南》

  4. 菜鸟教程-Harness Engineering

  5. Harness Engineering从零理解到实践

动物装饰