Human-in-the-loop人机协同 | Middleware 中间件概述 | 产品经理学Langchian
Human-in-the-loop中间件核心思路很简单:在AI智能体执行某些关键工具调用之前,先暂停流程,等待人工审核、编辑或拒绝,只有经过人工确认后,操作才会真正执行。
Human-in-the-loop中间件核心思路很简单:在AI智能体执行某些关键工具调用之前,先暂停流程,等待人工审核、编辑或拒绝,只有经过人工确认后,操作才会真正执行。
Summarization中间件就是为了解决这个问题而生的。它的核心思路很直观:当上下文快要超出限制时,自动对历史对话进行摘要压缩,把长篇的对话历史浓缩成简短的摘要,既保留了关键信息,又大幅减少了token消耗。
智能体在实际应用中,仅依靠 “模型 + 工具” 的基础架构难以应对复杂需求,会面临多个难题。而中间件的核心作用,就是通过模块化、可配置的组件,针对性解决上述痛点,让智能体从 “基础可用” 升级为 “生产级可靠”。
LangChain 的结构化输出功能允许智能体(Agent)以特定、可预测的格式返回数据,无需解析自然语言响应,直接生成 JSON 对象、Pydantic 模型或数据类(dataclasses)等可被应用直接使用的结构化数据。
流式传输对于Agent响应性至关重要。通过逐步显示输出,甚至在完整响应准备好之前就开始显示,流式传输显著改善了用户体验(UX),尤其是在处理大语言模型的延迟问题时。
对话历史是最常见的短期记忆形式。Short-term memory(STM)常用于在单个线程内保存对话历史,让 Agent 记住最近的交互、反馈与工具结果,从而保持上下文连贯。太长的内容可能让大模型痛失焦点,同时还会面临响应速度变慢和成本增加的问题。
Tools 工具通过让模型能够借助定义明确的输入和输出来与世界交互,从而扩展了模型的能力。工具封装了一个可调用的函数及其输入模式。这些可以传递给兼容的聊天模型,使模型能够决定是否调用工具以及使用哪些参数。在这些场景中,工具调用使模型能够生成符合指定输入模式的请求。
目标:将 LangChain “消息” 模块转译为产品经理可执行的知识结构,支撑多轮对话、工具调用与多模态体验 …
第 2 章:Models 来源:LangChain 文档导航 > Core components > …