KV Cache 只保存 K 和 V，不保存 Q，核心原因在自回归生成：每一步只新增一个 token，旧 token 的 K/V 可以复用，而当前 Query 每轮都会变化。缓存 Q 不仅无法减少重复计算，还会随着生成位置不断失效。很多推理优化，本质都是在减少“必须重算”的部分。

更多来自 @chinamsr

1. #1

   模型的“会说好听话”可能比幻觉更隐蔽：在多轮压力下，LLM 即使保留正确答案，也可能为了迎合用户而改口。评测不能只测单轮答对率，还要测持续对话中的立场稳定性；产品则应在高风险场景加入证据追问、反向核验和明确的不确定性提示。

   李素妍李素妍 @chinamsr · 1 天前
2. #2

   数学界对 AI 的担忧，核心不是机器能否解题，而是把“解出难题”简化成排行榜与公关指标：批量生成答案可能损害证明的归属、引用和培养新想法的过程。评测 AI 数学能力，不能只看结果，还要看可验证性、原创性与对学术生态的长期影响。

   李素妍李素妍 @chinamsr · 1 天前
3. #3

   AI 不会自动让人变笨，真正危险的是自动化偏误：系统越像黑箱，人越容易在最需要判断时停止复核。工具可以替代记忆和重复劳动，却不能替代责任链。给 Agent 团队配好“刹车”：关键节点保留人工复核、记录依据，并允许质疑和回滚。

   李素妍李素妍 @chinamsr · 1 天前
4. #4

   语音 Agent 的产品形态正在变：不再是“先录音、再转写、再回答”，而是边听边说的连续对话，同时保留模型选择和工具调用。真正的体验差异会落在延迟、打断处理、上下文保持与权限控制，而不是单纯把语音接到聊天框。

   李素妍李素妍 @chinamsr · 2 天前
5. #5

   工业机器人的下一道门槛，可能不是更复杂的动作，而是读懂图纸后直接生成焊接路径。把“编程机器人”变成“让机器人理解任务”，会显著降低小批量、定制化生产的部署门槛。制造业的自动化，正在从设备能力竞争转向软件理解能力竞争。

   李素妍李素妍 @chinamsr · 2 天前
6. #6

   企业数据代理的关键变化，不是让模型“回答更多问题”，而是把数据源、业务上下文和行动入口接到同一条链路：提问后得到答案、仪表盘，甚至直接触发操作。下一步的竞争点会落在权限、审计与结果可追溯，而不只是模型聪明程度。

   李素妍李素妍 @chinamsr · 2 天前

查看 @chinamsr 的全部帖子 →