概述
记忆是一个能记住先前交互信息的系统。对于 AI 智能体来说,记忆至关重要,因为它让智能体能够记住先前的交互、从反馈中学习并适应用户偏好。随着智能体处理更复杂的任务和更多用户交互,这种能力对效率和用户满意度都变得至关重要。 短期记忆让您的应用程序能够记住单个线程或对话中的先前交互。
线程将会话中的多个交互组织起来,类似于电子邮件将消息分组到单个对话中。
用法
要为智能体添加短期记忆(线程级持久化),您需要在创建智能体时指定一个
checkpointer
。
LangChain 的智能体将短期记忆作为智能体状态的一部分进行管理。
通过将这些存储在图的状态中,智能体可以访问给定对话的完整上下文,同时保持不同线程之间的隔离。
状态使用检查点器持久化到数据库(或内存)中,因此线程可以在任何时候恢复。
短期记忆在智能体被调用或步骤(如工具调用)完成时更新,并在每个步骤开始时读取状态。
生产环境
在生产环境中,使用由数据库支持的检查点器:自定义智能体记忆
您可以通过创建带有状态模式的自定义中间件来扩展智能体状态。可以使用中间件中的
stateSchema
参数传递自定义状态模式。
常见模式
启用 短期记忆 后,长对话可能会超出 LLM 的上下文窗口。常见的解决方案是:裁剪消息
移除前 N 条或后 N 条消息(在调用 LLM 之前)
删除消息
从 LangGraph 状态中永久删除消息
总结消息
总结历史记录中的早期消息并用摘要替换它们
自定义策略
自定义策略(例如,消息过滤等)
裁剪消息
大多数 LLM 都有最大支持的上下文窗口(以 token 为单位)。 决定何时截断消息的一种方法是计算消息历史中的 token 数量,并在接近限制时进行截断。如果您使用 LangChain,可以使用消息裁剪工具并指定要从列表中保留的 token 数量,以及用于处理边界的
strategy
(例如,保留最后
maxTokens
个 token)。
要在智能体中裁剪消息历史,请使用带有
beforeModel
钩子的
createMiddleware
:
删除消息
您可以从图状态中删除消息来管理消息历史。 当您想要移除特定消息或清除整个消息历史时,这非常有用。 要从图状态中删除消息,您可以使用
RemoveMessage
。要使
RemoveMessage
正常工作,您需要使用带有
messagesStateReducer
reducer
的状态键,如
MessagesZodState
。
要移除特定消息:
总结消息
如上所示,裁剪或移除消息的问题是您可能会因为消息队列的删减而丢失信息。因此,某些应用程序可以从使用聊天模型总结消息历史的更复杂方法中受益。
summarizationMiddleware
:
summarizationMiddleware
了解更多配置选项。
访问记忆
您可以通过多种方式访问和修改智能体的短期记忆(状态):工具
在工具中读取短期记忆
使用
ToolRuntime
参数在工具中访问短期记忆(状态)。
tool_runtime
参数对工具签名是隐藏的(因此模型看不到它),但工具可以通过它访问状态。