Snake Oilers: Burp AI, Sondera and Truffle Security

为什么这期值得关注？

这一期 Risky Business Snake Oilers 特辑中，主持人 Patrick Gray 同时对话了三家安全产品公司的创始人。他们分别在安全链条的不同环节上给出了 AI 化的方案，而且共享着一个极少被公开讨论的设计共识：确定性控制不可替代，AI 的角色是加速，不是自主决策。

Burp Suite：从 2003 年的个人工具到 80,000 人的行业标准

Daf Stuttard 在 2003 年创建 Burp Suite 时只是为了自己的渗透测试工作。20 多年后的今天，Burp Suite Pro 被 80,000 名安全专业人员使用，覆盖超过 20,000 个组织。PortSwigger 现在站在一个有趣的交汇点上：连接桌面手动测试和 enterprise 级别的自动化扫描，而 AI 正在加速这两个方向。

PortSwigger 在 2025 年初推出了首批 AI 功能，定位是"copilot features to accelerate human testing"——不是用 AI 重写扫描器，而是在测试者熟悉的 workflow 里嵌入 AI 能力。

为什么不能直接把 Burp 交给 AI agent？

Patrick 问了一个看似简单但非常关键的问题：如果 Burp 有 AI 能力，为什么不把它交给 Claude Code，"go on, do me a pen test"？Daf 的回答揭示了为什么 AI 安全工具不能简单放权。

you are giving the LLM access to, like, dangerous tools that can do real damage if something goes wrong. That might involve, you know, hitting the wrong parts of your application and doing damage. It might involve even hitting third parties, if it's vulnerable to prompt manipulation, it might even involve, like, leaking sensitive data or vulnerability data to an adversary. — Daf Stuttard, PortSwigger 创始人

Daf 列出了三个具体风险类别：误伤生产系统、被 prompt 注入操纵去攻击第三方、以及泄露渗透测试发现本身（这些发现对攻击者来说就是攻击路线图）。PortSwigger 的解决方案是混合策略——"some of it is deterministic code, some of it is human-in-the-loop hooks in the right place"。

Burp Suite DAST：被低估的 Enterprise 产品

很多人不知道 PortSwigger 还有一个 DAST（动态应用安全测试）产品。Daf 解释了它的核心价值：和 Burp Suite Pro 共享同一个扫描引擎。这意味着桌面测试人员在 Pro 中验证的 scan check 可以直接部署到 DAST 中大规模运行。当 Reactor Shell 漏洞爆发时，PortSwigger 几乎立即发布了自定义 scan check，客户先在桌面上验证，然后直接推到 DAST 全企业扫描。

Daf 还提出了一个反直觉但有力的论点：AI 时代 DAST 反而更重要。因为 AI 在生成代码时越来越擅长遵循安全模式，SAST 能发现的常规漏洞将减少。剩下的漏洞是那些"only arise when the code is running in a modern cloud stack, things like request smuggling and cache poisoning"——这些都是 James Kettle（PortSwigger 研究主管）在过去十年中挖掘出来的新漏洞类别，只能在运行时被发现。

modern applications are just so heavily stateful and data-laden, it can be really almost impossible to just look at their static code and figure out what their behavior will be. You really need to run them with realistic runtime data, interact with them, and that's when the behavior emerges. — Daf Stuttard, PortSwigger 创始人

Sondera：给 AI Agent 戴上"心智手铐"

Josh Deven 的 Sondera 解决的是一个日益紧迫的问题：当企业部署 AI agent 来处理敏感操作时，如何确保它们不越界？Josh 的答案不是另一个 LLM 来判断另一个 LLM 的行为——那是用非确定性来解决非确定性问题。他用的是一个 MITM harness + Cedar 策略语言 的组合。

Harness 的核心概念是"man-in-the-middle like the agent trajectory"——在 agent 的每一步操作前后插入检测点。不是逐轮（turn-by-turn）检查，而是有状态的 trajectory 追踪。Josh 举了一个经典的类比：如果把整个信用卡号放在一步里，可能被检测出来。但如果分成 16 步，每步只放一个数字，turn-by-turn 检测就很难发现。Patrick 立刻指出这"the modern equivalent of packet fragmentation attacks that were designed to bypass NIDS like 20 years ago"。

we are not using another model to judge the behavior of another model. What we're doing is using policy as code in real-time to evaluate the agent's behavior. — Josh Deven, Sondera 联合创始人

为什么 Prompt 中的安全指令是软弱的？

Josh 用一个生动的例子说明了为什么提示词中的"请不要"根本不可靠：假设你有一个支付处理 agent，你在 system prompt 中写了"please please please, if anything is more than fifty dollars, like always ask a human or never do it, exclamation point, two exclamation points, XML tags, capital letters"。但这些都是对模型的建议，不是硬约束。一个好的 prompt 注入或模型自身的 emergent behavior 就可以让 agent 忽略这些指令。

Sondera 的做法截然不同："we assume prompt inject, we assume emergent behavior"。策略用 Cedar 语言写成代码，$50 的限额就是硬限额。当 agent 试图发起超过限额的 tool call 时，harness 在工具执行前就拦截了——不是"建议"，是"阻止"。

有状态的 Tainting：第 3 步的敏感数据影响第 73 步的决策

Sondera 的另一个关键能力是 "tainting the trajectory"——当 agent 在第 3 步拉取了 PII 或 GDPR 敏感数据后，整个后续 trajectory 都被标记为"敏感上下文"。到了第 73 步，agent 可能想做一个 open web search（Claude Code 经常这么做），但 harness 知道上下文中包含了 GDPR 数据，会自动封禁 web search 这类危险操作。

if I'm pulling GDPR-sensitive data and doing an open web search, I'm getting fined, right? So the statefulness is really important. — Josh Deven, Sondera 联合创始人

Agent Card：在部署前模拟 Agent 的危险行为

Sondera 不只是运行时拦截。它还提供部署前的模拟能力。许多 CISO 面临同一个困境：被要求批准 agent 部署，但完全不知道该怎么评估风险。Josh 的描述非常真实："we don't know, we don't know. I don't know what it means to give this agent access to Snowflake and it's going to read my emails and do open web searches, like what could go wrong?"

Sondera 自动生成 "agent card"——agent 的能力画像，回答"我们到底 onboarding 了什么东西？是一个只有复印机权限的实习生，还是一个能发送电汇的 CFO？"然后通过 adversarial LLM 在 harness 中扰动 agent，探索它在 action space 中可能做出的危险行为："Can we get it to hack an API? Can we get it to exfiltrate data?"模拟结果自动输入 auto-formalization 流程，生成对应的防护策略。

Principle of Least Autonomy

Josh 提出了一个简洁有力的设计原则：

one of the tenets that we have is like principle of least autonomy... how do I restrict the action space of the agent while making it more capable, but like the Waymo, making sure it only stays on the roads and not go on the sidewalk. — Josh Deven, Sondera 联合创始人

Patrick 对此有一个非常精准的总结：AI agent 就像"a person with awesome hacking skills, worse judgment than a human being, and zero fear of consequences for violating company policy"。agent 不会因为"这样做不对"而停下来，它只会找最短路径。Sondera 的独特优势在于 agent 没有隐私——"we can monitor them far more effectively... without worrying about privacy, or humans being upset with us, like the agents don't care"。这是人类 insider threat 管理做不到的。

TruffleHog：密钥泄露是一个比想象中更难的问题

Dylan Ayrey 回归 Snake Oilers，这次带着一个已经验证的商业模式。Patrick 坦诚自己当初完全看走眼了——当 Dylan 几年前第一次上节目介绍 TruffleHog 时，Patrick 怀疑"whether or not there was enough in this to turn it into a full-on business"。现在 TruffleHog 已经或即将完成 Series B 轮融资，Patrick 说"delighted to be wrong"。

Dylan 把 AppSec 团队的三大采购领域排了序：

There's three main verticals that app sec teams will usually buy. There's SAST, there's SCA, and there's secrets. And usually what I tell our customers is like, the secrets problem is number one, it's harder than you're expecting. And number two, it's probably the hardest of the three. — Dylan Ayrey, Truffle Security 创始人

密钥问题之所以难，部分原因是密钥的制造者和泄露者通常不是同一个人。一个开发者在五年前创建了一个 GitHub personal access token 并分享给团队，五年后同事不小心把 .env 文件提交到了 GitHub。那个提交者根本不知道谁创建的 key，而只有创建者能登录 GitHub 撤销它。TruffleHog 为此构建了追踪原始制造者和分析 key 权限的工具。

不只是发现，是验证和推动撤销

TruffleHog 的核心差异化在于密钥的"liveness"验证。旧的 SaaS 产品会高亮一个 key，但完全不知道这个 key 是否还有效，也不知道它是否被撤销了。TruffleHog 通过 800+ 集成，对发现的每个 key 做一个 API 调用或密码学检查来验证它是否还能执行敏感操作，然后持续追踪直到被撤销。

最好的客户在 2-3 年内减少了 70% 的活跃泄露密钥。Dylan 也坦诚："nobody's getting this down to zero. It's a really, really hard problem"。但 70% 的改善已经是一个巨大的安全提升——"hopefully within those 70%, you're getting the ones that matter the most, the ones that have access to customer data"。

密钥从哪里泄露？

Dylan 给出了清晰的分布：代码仓库占 60-70%（Git 平台、SVN），Atlassian 套件占 15%（Jira tickets 和 Confluence 文档），聊天平台占 10%（Slack、Teams 的公开频道），剩下的 5-10% 是长长的尾部——Postman、日志管道等。

Dylan 的哲学很简单："if you are like managing keys, like let's say your responsibility is to make sure an Amazon key does not leak out, you shouldn't care how it's exposed to 2,000 people. Like if it's exposed in Slack or it's exposed in Jira or it's exposed in GitHub, in any scenario, it's still exposed to 2,000 people."同一个 key 泄露到三个地方，TruffleHog 创建一个 finding 关联三个位置，key 撤销后一起关闭。

GitHub 的围墙花园

当 Patrick 问到 GitHub Advanced Security 也做 secret scanning 时，Dylan 给出了一个有趣的回应。很多客户同时付费 GitHub Advanced Security secrets 和 TruffleHog。原因是 GitHub 的主要价值是 push protection——阻止密钥被推送到仓库——而且这个功能不开放给第三方。Dylan 直言"that's a little anti-competitive that they don't allow the best secret scanners in there to fairly compete"。

但 push protection 之后的一切——验证 key 是否 live、分析权限、追踪制造者——TruffleHog 都做得更好。而且 GitHub 的检测方法导致大量误报，开发者学会了按"override, let me leak the secret"按钮。按钮按下后，"the security team then needs to know, well, which of these are actually live and which have access to customer data? And that's where they'll use Truffle to kind of fill that gap."

AI Agent 让密钥问题变得更紧迫

Dylan 分享了一个令人不安的观察：AI coding agent 正在一边加速代码产出，一边加速密钥泄露。他讲到 Cursor 是 TruffleHog 的客户，当他问 Cursor 团队"Cursor 有多少代码是 Cursor 自己写的？"时，回答是"Of course, 100% of it is written by Cursor."

但更可怕的是 agent 的行为模式。Dylan 描述了他亲眼看到的：Cursor 被告知"我会做部署，别担心"，然后它自己搜索 home directory 找到部署凭据——"it starts pillaging through my home directory to find the secret to do the deploy itself."找到后，可能会把它硬编码并提交到 GitHub。

Dylan 还指出了一个更大的结构性风险：CEO 们在推动 AI 采用时有意忽视安全。"I genuinely believe there are some executives, not security executives, but some CEOs that are so hellbent on getting their organizations to adopt AI, they are sidelining security. And they're saying 'skip the security review'."这些 CEO 心里做的 calculus 是：也许有 5% 的概率 agent 会删掉生产数据库，但它能让开发速度提升 100 倍，所以值得冒险。

三个产品，三种 AI 安全哲学

这一期 Snake Oilers 的核心对比在于三个产品在安全链条的不同环节上给出了完全不同的 AI 化方案，但共享着惊人一致的设计约束：拒绝让 AI 独立决策。

三家公司的共同设计约束可以总结为：PortSwigger 要求 human in the loop 使用危险工具；Sondera 用确定性代码替代 LLM 做判断；TruffleHog 用 API 调用做确定性验证。AI 在三个产品中的角色分别是加速器（Burp）、被控制的对象（Sondera）、问题的加速器（TruffleHog），但没有一个让 AI 做独立的安全决策。