ai-dict.xqher.cn
用通俗中文理解 AI 编程。来源: aihero.dev.
模型
- 人工智能(AI)
- 一个不断移动的标签,而非某种固定技术;指向计算机新近能够出色完成的事情,目前主要指大语言模型。
- 缓存词元
- 服务商通过前缀缓存保留自上一次请求的输入 token,无需重新处理,计费也便宜得多。
- 推理强度
- 控制模型回答前投入多少推理的设置;更高强度消耗更多输出 token,以提高解决难题的机会。
- 智能体运行框架
- 围绕模型、把它变成智能体的一整套设施:工具、系统提示词、上下文管理、权限与钩子。
- 模型推理
- 运行训练好的模型来生成输出,每次模型服务请求都在做这件事;参数保持不变。
- 输入词元
- 运行框架在每次模型服务请求中发送的 token,其单价低于输出 token。
- 模型服务请求
- 运行框架与模型服务商之间的一次往返:框架发送上下文,服务商返回一个响应。
- 模型服务商
- 提供模型推断服务的一方,通常是远程服务(Anthropic、OpenAI、Google),也可以在本地运行(Ollama、llama.cpp)。
- 模型
- 模型就是参数。它无状态,只进行下一词元预测;独自无法开展任何智能体活动。
- 下一词元预测
- 模型实际执行的操作:根据上下文采样一个下一词元,将其追加后再次运行。这是它唯一的运行方式。
- 非确定性
- 同一输入可以产生不同输出,这是模型生成文本以及服务商处理请求的方式所具有的性质。
- 输出词元
- 模型生成并返回的词元。由于生成它们需要更多计算,计费单价高于输入词元。
- 参数
- 模型内部在训练时调整的数值,通常有数十亿个。模型知道的一切都存于其中,也称权重。
- 前缀缓存
- 服务商端的存储,让连续请求跳过对共同前缀的重复处理,并以更低单价计收这些词元。
- 词元
- 模型读写的最小单位。大小大致相当于一个单词,但并不完全相同;上下文窗口大小、成本和延迟都以词元计量。
- 训练
- 通过让模型接触海量文本、调整参数以改善下一词元预测,从而设定模型参数的过程。
会话、上下文窗口与轮次
- 智能体
- 由运行框架配上工具、系统提示词与上下文窗口,并与用户轮流交互的模型;也就是运行中的模型。
- 上下文窗口
- 模型每次服务请求时看到的全部内容;容量有限、因模型而异,也是模型感知一切的唯一入口。
- 上下文
- 智能体当前能够访问的相关信息,也就是它此刻知道的、与任务有关的内容。
- 会话
- 与智能体的一段有边界的交互过程。从空白开始积累,在清空、关闭或压缩为新会话时结束。
- 有状态
- 将信息传递到后续步骤。会话在轮次之间有状态;借助记忆系统,智能体也能跨会话保持状态。
- 无状态
- 不将信息传递到后续步骤。模型在请求之间无状态;智能体默认在会话之间无状态。
- 系统提示词
- 运行框架加在每次模型服务请求前面的指令,是智能体的常驻任务说明,在一个会话中通常保持稳定。
- 轮次
- 一条用户消息,加上智能体为回应它所做的一切,直到交回用户控制;包含一次或多次模型服务请求。
工具与环境
- 智能体模式
- 把权限模式与注入系统提示词的行为指令打包在一起的预设,可以在会话中途切换。
- 环境
- 智能体作用于其中的世界:运行框架之外、它通过工具结果感知、通过工具调用改变的一切。
- 文件系统
- 由文件和目录构成的树,智能体在其中读取、写入和执行;这是编程智能体默认的环境。
- MCP(模型上下文协议)
- 将外部工具服务器接入运行框架的协议,让智能体获得框架自带工具之外的工具。
- 权限模式
- 智能体模式中负责权限控制的部分,决定哪些工具调用触发权限请求,哪些自动运行。
- 权限请求
- 运行框架执行未预先批准的工具调用之前向用户展示的请求,是让人工参与流程的机制。
- 沙箱
- 智能体在其中运行的隔离环境,例如容器、虚拟机或受限 shell,用来限制智能体操作的影响范围。
- 工具调用
- 模型输出的工具名称及其参数,本质上只是结构化文本,必须由运行框架读取并执行。
- 工具结果
- 运行框架执行工具调用后返回的内容,例如文件正文、命令输出或错误,是智能体观察环境的唯一途径。
- 工具
- 运行框架提供给智能体调用的函数,例如 Read、Write、Bash、Search,是智能体感知环境并对环境采取行动的方式。
失效模式
- 注意力预算
- 每个 token 能分配给其余上下文的影响力有限;预算属于单个 token,不会随着上下文增长。
- 注意力退化
- 会话越长,每个 token 的注意力预算就要分给更多竞争者,有意义的关系所获信号随之减弱。
- 注意力关系
- 两个 token 之间的配对关系;有意义的配对比无关配对影响更强,N 个 token 的上下文约有 N² 个这类关系。
- 上下文知识
- 智能体此刻可以直接从上下文读取的事实,与参数知识相对应。
- 幻觉
- 模型自信但错误的输出,分为事实性错误(编造事实)和忠实性错误(偏离已载入的上下文)。
- 知识截止日期
- 模型参数知识覆盖范围的时间边界;之后的库和 API 若未载入文档,就容易引发编造。
- 参数知识
- 模型从训练中学到、存储在参数中的知识,在训练时固定下来,与上下文知识相对应。
- 敏锐区
- 会话初期,智能体敏锐、专注。会话增长后会逐渐进入迟钝区,变得粗疏、健忘,犯更多错误。
- 迎合
- 模型自信地附和用户的输出。训练让模型偏爱人类喜欢的答案,而人类喜欢的内容也包括被赞同。
任务交接
- 自动压缩
- 上下文窗口接近装满时,由运行框架自动触发的上下文压缩。
- 清空会话
- 结束当前会话并开启全新会话;下一条消息从空白会话与空白上下文窗口开始。
- 上下文压缩
- 在内存中完成的交接:将前一会话总结成摘要,用它启动新会话;通过损失细节换取空间。
- 交接文档
- 承担交接载体的文档,由一个会话写入环境,再由另一个会话读取。
- 任务交接
- 把智能体上下文从一个会话移交到另一个会话,没有回问通道;可以通过文档、压缩摘要等载体完成。
- 一手来源
- 事物本身,例如代码、对话原文、原始数据。完整且权威,但加载进上下文的成本较高。
- 二手来源
- 与一手来源相隔一层的转述,例如摘要、文档、上下文压缩摘要。加载便宜,但天然会丢失信息。
- 规格说明
- 描述跨多个会话工作的交接产物,说明要构建什么,而非每个会话如何完成各自部分;由工单组成。
- 工单
- 限定一个会话工作范围的交接产物。可以独立存在,也可以从属于规格说明,并与其他工单互相依赖。
记忆与引导
- AGENTS.md
- 位于环境中的一个文件,运行框架在会话开始时将它载入上下文窗口,作为项目给智能体的长期工作说明。
- 上下文指针
- 一个文档中指向另一文档的提示,让智能体只在任务需要时才把后者载入上下文。
- 记忆系统
- 通过将信息持久化到环境并在会话开始时重新加载,尝试让智能体跨会话保持状态的系统。
- 渐进式披露
- 只加载智能体眼下需要的上下文,用上下文指针指向其余内容。这个概念借自界面设计。
- 技能
- 打包成一个单元、可以教授的能力。在当前任务通过上下文指针调入之前,不占用上下文窗口中的正文空间。
- 子智能体
- 由另一个智能体通过工具调用创建的智能体。在独立会话中运行,返回一个工具结果,不能再创建下一级子智能体。
工作模式
- 离开键盘(AFK)
- 用户启动会话后离开,让智能体在无人看管的情况下继续运行的一种工作模式。
- 智能体体验(AX)
- 环境对智能体工作的支持程度,包括检查、架构,以及为任务保留的上下文空间。
- 自动化检查
- 在环境中运行的确定性验证,例如测试、类型检查、lint、构建和提交钩子;给出通过或失败,不作主观判断。
- 自动化审查
- 由一个智能体审查另一个智能体的工作,常使用不同模型或系统提示词;它会形成判断,因此不具有确定性。
- 开发者体验(DX)
- 代码库及工具链让人类做好工作的便利程度,包括文档、反馈速度和错误信息。
- 黑灯工厂
- 由软件工厂编写代码、但从来没有人类阅读或审查这些代码的代码库或其中一部分。
- 设计共识
- 用户与智能体共同持有的、对正在构建什么的理解;它独立于任何具体文档或产物。
- 深入追问
- 与智能体共同形成设计共识的方法:由它以苏格拉底式提问逐项询问用户,一次处理一个决策。
- 人工审查
- 用户阅读智能体产出的代码并形成判断;读 diff 算,读智能体对工作的总结不算。
- 人在回路中
- 一个或多个人类在会话期间与智能体共同工作,实时审查、纠偏或协作的工作模式。
- 原型制作
- 当对话无法足够真实地呈现细节、需要实际作品来讨论时,让智能体快速做一个粗略版本。
- 软件工厂
- 通过事件触发而非人工启动智能体会话的工作系统,让更多工作离席运行,把人工参与时间留给真正需要人的决策。
- 氛围编程
- 用户不经人工审查就接受智能体代码的工作方式,将代码差异视为不必查看内部的黑箱。
7 个分类,理解智能体编程如何运作。