2025 年

Provider-specific中间件通常是针对特定供应商的API特性开发的，比如内容审核、缓存机制、特定格式支持等。这些中间件虽然不能跨供应商使用，但在特定供应商的场景下，能提供更强大的功能和更好的性能。

File search中间件为AI智能体提供Glob和Grep两种文件搜索工具，支持按文件名模式查找文件和按内容正则表达式搜索，适用于代码探索、文件发现、内容分析等场景。

Context editing中间件可以在达到token限制时，自动清理较旧的工具调用输出，保留最近的关键工具结果，确保长对话和多工具调用场景下上下文窗口可控，同时降低token消耗。

Tool retry中间件会在工具调用失败时，使用指数退避策略自动重试，处理临时性错误，提升AI智能体的可靠性和容错能力。这样，即使遇到网络波动、API限流等临时问题，也能自动恢复，用户几乎感觉不到。

LLM tool selector中间件思路是：在主模型调用前，先用一个轻量级的模型（比如GPT-4o-mini）分析当前查询，智能选择相关的工具，过滤掉无关的工具。这样，主模型只需要关注相关的工具，既能降低token消耗，又能提升选择的准确性。

To-do list中间件为AI智能体提供任务规划与跟踪能力，让AI智能体能够将复杂任务拆解成多个子任务，创建待办清单，并在执行过程中跟踪进度、调整计划。这样，AI智能体就能更有条理地处理复杂任务，用户也能清楚地了解任务进展。

在实际应用中，用户可能会在对话中输入各种敏感信息：邮箱地址、信用卡号、身份证号、手机号等。如果这些信息被直接发送给AI模型，或者记录在日志中，就可能存在泄露风险。
PII检测中间件就是为了解决这个问题而设计的。它可以在对话流程中自动检测敏感信息，并根据预设的策略进行处理：脱敏、掩码、哈希或直接阻断，确保敏感信息不会被泄露，同时满足合规要求。

模型回退的核心思想为主模型配置一个或多个备用模型，当主模型调用失败时，自动按顺序尝试备用模型，直到成功或所有模型都失败。这样就能保证服务的高可用性，同时还能实现成本优化和跨供应商的冗余保护。