Curiosity Log 7
2026-07-11 08:50:16
最近两周很开心。上周吉林小伙和灰灰这两位朋友分别从北京远道而来，相谈甚欢，也是弥补了去年离职前没能去北京与他们相聚的遗憾。我是很重视人与人之间连结的人，这不是最近正好在玩《死亡搁浅 2》，天天搞基建送快递攒好评，不亦乐乎。因为废寝忘食送快递，普鲁斯特的著作我都没怎么继续读，故事停在了巴尔贝克的海滩，这不又是海，死亡也搁浅在了海滩。另外普鲁斯特对食物的描写极为细致，也符合我的吃货设定。清明也去深圳继续连结新的朋友，真的开心。
- 在深圳等位的时候，我和 Gemini 脑暴了一个思想实验，我的疑问大概是：训练语料要到哪个时代，LLM 才能“理解”科学登月？灵感来自几个方面：之前读过的一篇文章说如果只给 LLM 喂古希腊的数据，问它我们该如何登月，LLM 会说月亮是个女神，你没法上去的；Mr. Chatterbox 这个只用维多利亚时代小说训练的模型也给了我点灵感；我以前也和 Gemini 讨论过用前相对论时代的数据训练出的 LLM 能不能推导出相对论，以及 LLM 是不是挑战了康德的先天图式。当然这个问题更特殊一些，假设 LLM 有 web search 这样的工具，训练语料要到哪个时代，LLM 才能“理解”科学登月这一现代科学的成果？当然我都这样问了，不出意外 Gemini 的回答是启蒙时代。这个问题可以往外引申到很多方面，后续我继续在这个问题的框架下聊 LoRA、RL、隐性常识数据、具身智能、范式转移等等。
- 然后看到这个问题：大模型输出答案前「思考」的「思维链」机制，本质上是何种原理，答主有言：
思维链（COT）本质是让模型能够将最终的输出对齐到pretrain的自然世界的连续知识分布，是模型说给自己看的，不是说给用户看的，很有洞见。 - 过去两周最大的事情大概是 Claude Code 源码泄露，然后就有很多文章来分析了，AI 工程的真实代价：从 Claude Code 泄露源码看新模型接入的工程现实，Claude Code 完整源码泄露了，花了一天读完全部源码，这是我发现的，Claude Code’s Real Secret Sauce (Probably) Isn’t the Model，还有手工川的 Claude Code 0331 系统报告，等等。简单看了看，记忆、压缩、prompt caching 的小技巧、A/B 测试这些都挺有趣的，KAIROS 模式也很 make sense，然后最有启发的可能还是第一篇文章中的：
新模型接入的工程成本中，大部分来自模型行为与系统假设之间的不匹配。还有个看着很牛的可视化网页 Claude Code Unpacked. - 源码泄露事件配合之前 Boris Cherny 分享的 Claude Code 小技巧合集，包括 auto mode，感觉还挺有趣。
- Karpathy 的 LLM Knowledge Bases，后续还共享了一个 llm-wiki，a pattern for building personal knowledge bases using LLMs. Karpathy 还是比我先进（或者说 AI native）多了：
Obsidian is the IDE; the LLM is the programmer; the wiki is the codebase... The human's job is to curate sources, direct the analysis, ask good questions, and think about what it all means. The LLM's job is everything else.基本是把阅读、编辑、维护那个 wiki 都交给 LLM 了，确实可以试试。我目前还是手动收集与整理的，可能是因为我觉得读文章的时候顺手记一下也不是啥事儿。 - 谷歌发了 Gemma 4: Our most capable open models to date，然后 llama.cpp 和 unsloth 这些基本都是首发就支持了。说到 llama.cpp，其仓库最近达到了 100k star，作者 Georgi Gerganov 在 X 发了 长文，描述自己对本地推理的想法与愿景：
I believe that there is a certain level of intelligence we as humans can comprehend and meaningfully utilize to improve our working process. Beyond that level, access to more intelligence becomes unnecessary at best and counterproductive at worst.然后评论区也讨论到了关于本地模型的效果问题，From typing the task in the client to the actual result, there is a long chain of components that atm are not only fragile - are also developed by different parties.我个人觉得除了隐私以外，本地模型确实更可控 + 延迟更低。 - Jeff Dean 和 Bill Dally 的访谈，里面提到尽管文本数据增长放缓，但世界上仍有海量未被充分利用的数据（包括视频、音频、真实的机器人传感器数据以及由强大 AI 生成的高质量合成数据），所以谷歌狂做多模态也确实理由充分。另外两个有趣的，一是针对长 context 问题，他们认为未来的方向可能是采用分层检索或聚类注意力机制，在海量信息库中快速定位最相关的百万 token 范围；二是英伟达有个专门用历史设计文档和专有数据微调出的大语言模型，能够精准回答工程师关于特定硬件模块的复杂问题，很有启发。
- 最近的热词 Harness: Harness Engineering 在讨论什么，Harness Engineering 时代的失败经验，deepagents: Agent harness built with LangChain and LangGraph.
- 好文，Thoughts on slowing the fuck down，好比喻，又见荷马史诗：
Coding agents are sirens, luring you in with their speed of code generation and jagged intelligence, often completing a simple task with high quality at breakneck velocity.然后这里写的也蛮好，适合给 agent 的 task 的特点：they can be scoped so the agent doesn't need to understand the full system. The loop can be closed, that is, the agent has a way to evaluate its own work. The output isn't mission critical, just some ad hoc tool or internal piece of software nobody's life or revenue depends on.我觉得很多人是活在未来的人，他们想的是未来会如何如何，他们也身体力行去做了；但当现实还没准备好的时候，可能就显得是“爆论”，可能看着不如 slow the fuck down。所以我个人一般只当跟随者，不是一线的，但是步频 180 跟着，感受风往哪里去。 - 其他关于 agent 的讨论：AI Agent 的道与术 里面提的用自然语言让 AI 生成 test case 还挺有意思的；Zero-Degree-of-Freedom LLM Coding using Executable Oracles:
When an LLM has the option of doing something poorly, we simply can’t trust it to make the right choices. The solution, then, is clear: we need to take away the freedom to do the job badly, 一方面是给它自由，一方面也要约束；记录下 SGLang 开发，优化，debug 的技巧之大 SKILL 时代已来临：在推理框架、kernel 优化、模型适配这些复杂场景里，稀缺的早就不只是"会写代码"，而是"知道该优化什么、瓶颈大概在哪、怎么设计一个稳定可复用的流程"。Agent 确实能把事情做得飞快，但它需要目标清晰、资料齐全、验证标准过硬；赞美，大肆赞美，Better, Faster, and (Even) More；Everyone is building a software factory，愿景真不错；Memory 的总结 The state of AI memory systems。 - 挺有趣的研究 AgentCgroup: Understanding and Controlling OS Resources of AI Agents，看了下 AI Agent 在跑的时候的占用的资源情况，
Our measurements reveal that (1) OS-level execution (tool calls, container and agent initialization) accounts for 56-74% of end-to-end task latency; (2) memory, not CPU, is the concurrency bottleneck...说实话也是意料之中，倒也不能直接说是 云端的 GPU 就在等 CPU 和 内存，而更像是，现在的基础设施确实还不是给 Agent 大量优化的，这不是经常看到有人搞了新的给 agent 的搜索工具，比如 cursor 的 快速正则搜索：为 agent 工具构建文本索引，然后被喷 The largest manipulation in the benchmarking history uncovered. - Agent Interaction Guidelines (AIG) 里提炼了一些还不错的 agent 设计原则，比如
An agent should be clear and transparent about its internal state；这里也有一些更具体的建议：Building CLIs for agents. - Long-Context Isn’t the Answer，洞见：
More context isn't more capability - the instruction budget doesn't scale with the context window.指令遵循能力很重要。相关的，How Kimi, Cursor, and Chroma Train Agentic Models with RL，Context management is a first-class problem. Cursor uses self-summarization. Kimi shards context across parallel sub-agents. Chroma teaches the model to discard irrelevant chunks. Different solutions, same underlying constraint. - 说到 Chroma Context-1:
a 20B parameter agentic search model derived from gpt-oss-20B that achieves retrieval performance comparable to frontier-scale LLMs at a fraction of the cost and up to 10x faster inference speed.很有趣的领域小模型，说到小模型还有这个，Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled，感觉看名字就很厉害。以及关于量化的，Why MLX Quantized Models Underperform Unsloth GGUF:The root cause is uniform quantization... The solution is per-tensor mixed-bit quantization — assigning each weight tensor a precision level based on its actual sensitivity. This is what Unsloth's Dynamic 2.0 recipe does for GGUF, and what we've ported to MLX. - Junyang Lin 的新文章：From “Reasoning” Thinking to “Agentic” Thinking，确实可能是未来的方向。
- Simon Willison 参加的播客的文字稿，没啥特别新的东西，提到
Software engineers as bellwethers for other information workers，那确实，如果 AI 大势所趋，确实程序员是在第一线（也是死在第一线的）。 - What about juniors:
The high level is fairly clear: the new junior path engages much earlier with economics, product, and people, has less emphasis on the practice of the craft of programming, but more emphasis on the deep technology and science behind the systems we are building.唉，可我就是 junior，好累。 - 每天都有更多人在用 AI 帮助自己，比如 Paint.NET 作者说：
Claude Code just helped make a very important scenario in Paint.NET about 95% faster: Copy. To. Clipboard.可能更重要的是：I could have done this all myself, but it would have taken a lot longer. More importantly, it just would not have happened. - 还有这个 25 Years of Eggs，用 AI 帮助自己处理 25 年来收集的购物小票以追踪鸡蛋的价格变化，非常有趣。不出意外，
Codex and Claude are excellent at building tools and extracting structured data, but they couldn’t segment an image or replace an OCR engine. The right answer was a stack of specialized models - SAM3 for segmentation, PaddleOCR for text, Codex and Claude for everything else. I expected this, but it was worth trying the simple path first. - 最近发现的新东西，比如Vibe Island，把 agent 的工作状态丢到 Mac 的灵动岛上了，还挺有意思的；卡比的 OpenCLI：AI Agent 的 Emacs，啥时候游戏引擎有个类似 bash 或者 emacs 的东西就好了；Slock - Where humans and AI agents collaborate，玩了下，挺有趣的想法和界面；jaaz，很有趣的 AI Canvas；sentrysearch，用原生多模态模型来做视频的语义搜索；CS 153: Frontier Systems，平等嫉妒所有斯坦福的人；codex-plugin-cc，Use Codex from Claude Code to review code or delegate tasks；scrcpy，我咋没早点发现这个，直接把安卓手机投屏到电脑上。
- Which Future? 很思辨的文章，讨论我们人类面对超级人工智能所面临的生存风险，里面谈到 AI 的 alignment:
In this sense, (much) technical alignment is a kind of "market-supplied safety", aligned with corporate goals, and helping accelerate AI... Governance and policy is only a small part of the external alignment work that is required. And external alignment – that is, making reality outside the system safe – is historically far more expensive, far slower, and far less incentivized by the market. - 大热的 TurboQuant 以及其争议：对于 Google 的 ICLR 2026 TurboQuant 论文，我们必须公开澄清。
- 还不错的工具文章，算本地模型要多少显存：GPU Memory Math for LLMs (2026 Edition)。
- Anthropic 的新文章 Emotion concepts and their function in a large language model，可和《情绪》这本讲人的书对照。
- Daniel Lemire 发文吐槽：
the person could have asked ChatGPT, Grok, Claude, or even Copilot and gotten the correct information instantly. They didn’t, because they don’t care to know... Meanwhile, please, for the love of God, if don't know a topic at least as well as ChatGPT, don't speak as an expert.大模型时代又咋了，比得过权力吗。 - notch 在 X 上喷：
DLSS fundamentally makes no sense. Because the graphics card is too slow to run the game at reasonable speeds, you use THE SAME HARDWARE to run a neural network to generate frames in between the existing ones，然后引发了一些讨论，比如 Sebastian 的评论，Casey 也录了一期视频说这个。一针见血：DLSS was the killer AI app for Nvidia. Allowed Nvidia to ship full tensor hardware to consumer chips. Otherwise tensor cores would have been dead silicon for gaming.硬件都在那儿，不用也是浪费，虽然我个人不是很喜欢糊糊的那种画面。 - AgenticPCG:
We combine classic PCG (Procedural Content Generation) algorithms with large language models for generating game levels. LLMs on their own are not good at level generation, but when given the right tools from our PCG toolbox they're killing it!思路很合理，不过 demo 似乎稍微简单了些。 - UnrealClientProtocol，感觉这个路径（不是手动选择暴露给 AI 的功能，而是把引擎本身的接口交给 AI）上的项目在变多，也合理，游戏引擎本身的复杂度让 MCP 这种方案显得很无力。不过据我个人经验，至少 AI 对 UE 的理解还是很陈旧的，不能纯靠自身的知识，还是要在源码里工作比较好，毕竟并非所有接口都会通过反射默认暴露。然后这里有用 AI 做 code review 的分享：UE 大型团队如何用 Claude 做自动 Code Review，Code RAG + Blueprint RAG，两套 RAG 共用一个向量数据库和 MCP Server，感觉也是不错的工程化实践。
- Headless Slay the Spire 2 CLI，杀戮尖塔的 cli，非常有创意，要是所有游戏都可以整出 cli 然后让 AI 帮玩就好了，咱就不说测试了，有个 AI 来当队友也不错。
- Microsoft Hasn’t Had a Coherent GUI Strategy Since Petzold，感觉一直都能看到微软吐槽大会，也许股价暴跌也是一种必然
- Old school rendering rant - Tomb Raider，来点真传统的渲染技术，以及这个，Architecture of Consoles，各种老游戏机的架构
- 这篇 Hardware Image Compression 讨论了各家硬件图像压缩格式的优劣，
ARM's AFRC is the clear winner，更真实的是这个：One of the things I’ve always lamented about hardware image formats is the slow pace of innovation. Developers were usually unwilling to ship textures in a new format unless that format was widely available. - How stagnant is CPU technology，CPU 同理，
Not all software can easily run much faster on new processors, and genuine progress is difficult.Intel 最近有个 Intel Binary Optimization Tool 看着也挺有意思的。 - SheriefFYI 发问，how do people debug game logic in ways other than using lots and lots of printf() logging and debug draw gizmos? 评论区有一些想法，但不多。
- 从 axios 被投毒联系到的：We should all be using dependency cooldowns，确实不能太急。
- Codex App 太难用了，我经常遇到丢数据啥的，回到 terminal 了。当然模型本身还是很智能的，有群友拿它来破解软件的激活码，还能自己截图自己 debug，真好。前端上确实差了点，主要是默认咋就是疯狂的卡片样式，不美观，最近在让 gpt-5.4 vibe 的股票看板就是，丑。
- 遇到这种科技革命，我想的是，对我这种普通人而言，尽量远离风险，尽量活下去。