diff --git a/study/ai/TRANSFORMER.MD b/study/ai/TRANSFORMER.MD index dd32988..7214374 100644 --- a/study/ai/TRANSFORMER.MD +++ b/study/ai/TRANSFORMER.MD @@ -178,6 +178,17 @@ blogexcerpt: 虚拟化 & KVM 子系统 | 2 | 2025/07/03 | [Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding](https://arxiv.org/abs/2505.22618) | NVIDIA 联合香港大学、MIT | 通过创新的分块KV缓存和置信度感知并行解码技术, 无需训练即可实现扩散模型 27.6 倍推理加速, 同时保持生成质量损失小于 2%, 为实时交互和长文本生成场景带来突破性解决方案.
1. 分块 KV 缓存(Block-Wise KV Cache): 激活重用率超 90% 的双向加速.
2. 置信度感知并行解码(Confidence-Aware Parallel Decoding). [博客](https://nvlabs.github.io/Fast-dLLM), [代码](https://github.com/NVlabs/Fast-dLLM) | +### 2.1.6 JEV +------- + +[2026/09/22, 苏乐 @ai_suxiaole, Jev与你有什么关系？它提供了一套AI工作流拆分法](https://x.com/ai_suxiaole/status/2102337405508616441) +[2026/09/23, 蓝哥AI @0xlangeai, 用 Jev 管理 X 书签](https://x.com/0xlangeai/status/2102339022043668855) +[yibie @yibie, 有人把 Jev 开源复刻了, 还给出了「自己微调」的完整闭环](https://x.com/yibie/status/2104523904932831359) + +[](https://jevable.com) + +[Awesome Jev ZH](https://github.com/yzfly/awesome-jev-zh) + ## 2.2 稠密模型与稀疏模型 ------- @@ -230,7 +241,7 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad | 编号 | 技术 | 团队 | 介绍 | |:---:|:----:|:---:|:---:| -| 1 | [2025/01/03, Instruction-Following Pruning for Large Language Models](https://arxiv.org/abs/2501.02086) | Apple AI/ML(Bairu Hou, UC Santa Barbara) | IFPruning 用一个 302M 的稀疏预测器读用户指令, 为待剪枝 LLM 的每一层 FFN 动态生成可微 top-k 掩码, 在解码开始前一次性选定并缓存为稠密子网络. 把 9B LLM 剪到 3B 激活后, 性能逼近 9B 稠密模型、超过 3B 稠密模型 5–14 个百分点, TTFT 降低 57%、比同等激活量的 MoE 快约 5 倍——专为 on-device 推理设计. | +| 1 | [2025/01/03, Instruction-Following Pruning for Large Language Models](https://arxiv.org/abs/2501.02086) | Apple AI/ML(Bairu Hou, UC Santa Barbara) | IFPruning 用一个 302M 的稀疏预测器读用户指令, 为待剪枝 LLM 的每一层 FFN 动态生成可微 top-k 掩码, 在解码开始前一次性选定并缓存为稠密子网络. 把 9B LLM 剪到 3B 激活后, 性能逼近 9B 稠密模型、超过 3B 稠密模型 5–14 个百分点, TTFT 降低 57%、比同等激活量的 MoE 快约 5 倍——专为 on-device 推理设计. [IFPruning-Implementation](https://github.com/MiicheYang/IFPruning-Implementation) | #### 2.2.2.2 弹性推理 ------- @@ -361,7 +372,6 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad [论文笔记: DejaVu、LLM in Flash、PowerInfer](https://zhuanlan.zhihu.com/p/675585887) -[苹果极致 LLM 端侧方案: LLM in a flash](https://zhuanlan.zhihu.com/p/673775476) | 编号 | 时间 | 论文 | 描述 | @@ -376,11 +386,19 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad | 编号 | 时间 | 论文 | 描述 | |:---:|:----:|:---:|:----:| | 1 | 2024/09/09 | [Hermes: Memory-Efficient Pipeline Inference for Large Models on Edge Devices](https://arxiv.org/abs/2409.04249) | 多 Loading Agent 并行加载 + Daemon Agent 动态销毁已推理层, 在纯 CPU 边缘设备上同时缓解大模型推理的内存压力和 pipeline stall. 通过 Profiler + Planner + Execution Engine 协作, 将模型加载与推理进行流水线并行, Profiler 先把模型每一层都"摸一遍底",记录它的加载时间、推理时间、内存大小; Planner 拿着这份"层简历"在不同内存约束下挑出最优 LA 数; Execution Engine 才真正下场干活, 根据当前内存约束调度 LA + IA + DA + 信号机制. 这是一种典型的"先量体裁衣、再下场干活"的工程哲学. 实测对 BERT/ViT 最高 4.24× 加速、86.7% 内存下降,GPT 风格模型最高 2.58× 加速、90.3% 内存下降. | -| 2 | 2024/12/04 | [FlexNN: Efficient and Adaptive DNN Inference on Memory-Constrained Edge Devices](https://dl.acm.org/doi/10.1145/3636534.3649391) | FlexNN 针对边缘设备 DNN 推理的"内存瓶颈"问题, 提出 **slicing-loading-computing 联合规划**框架: 离线阶段用 bottleneck-aware layer slicing(按层瓶颈类型选 weights slicing 或 input slicing)切小瓶颈层, 用 preload-aware memory planning(2DBP 半固定时间变体)生成无碎片+零 I/O 等待的内存布局; 在线阶段用 dependency-based synchronization + type-based static allocator 把规划落地为多线程并发执行. 基于 NCNN 实现的 prototype 在 Pixel 6 Pro 上把 ResNet-152 峰值内存砍掉 93.81% 仅增 3.64% 延迟, 支持约 1 秒内动态适配内存预算变化, 是首个把"内存"作为第一优先级设计的移动推理框架. 对应专利 [面向内存受限设备的深度学习模型自适应推理方法及系统(CN118349492A, 202410279838.2)](https://patents.google.com/patent/CN118349492A) | +| 2 | 2024/12/04 | [FlexNN: Efficient and Adaptive DNN Inference on Memory-Constrained Edge Devices](https://dl.acm.org/doi/10.1145/3636534.3649391) | FlexNN 针对边缘设备 DNN 推理的"内存瓶颈"问题, 提出 **slicing-loading-computing 联合规划**框架: 离线阶段用 bottleneck-aware layer slicing(按层瓶颈类型选 weights slicing 或 input slicing)切小瓶颈层, 用 preload-aware memory planning(2DBP 半固定时间变体)生成无碎片+零 I/O 等待的内存布局; 在线阶段用 dependency-based synchronization + type-based static allocator 把规划落地为多线程并发执行. 基于 NCNN 实现的 prototype 在 Pixel 6 Pro 上把 ResNet-152 峰值内存砍掉 93.81% 仅增 3.64% 延迟, 支持约 1 秒内动态适配内存预算变化, 是首个把"内存"作为第一优先级设计的移动推理框架. 对应专利 [面向内存受限设备的深度学习模型自适应推理方法及系统(CN118349492A, 202410279838.2)](https://patents.google.com/patent/CN118349492A) | | 3 | 2025/09/23 | [Scaling Up On-Device LLMs via Active-Weight Swapping Between DRAM and Flash](https://arxiv.org/abs/2504.08378) | ActiveFlow 是首个支持现代非 ReLU 大模型在移动端实现自适应 DRAM 使用的推理框架, 通过跨层激活权重预加载、稀疏感知自蒸馏、DRAM-Flash 交换 Pipeline 三项技术, 在中端 Pixel 6 上首次部署 Mixtral-8x7B 4bit 模型(1.8 tokens/s @ 2.9GB), 相对原始 24.6GB 内存需求压缩 8.5×. | | 4 | 2026/04/09 | [DuoServe-MoE: Dual-Phase Expert Prefetch and Caching for LLM Inference QoS Assurance](https://arxiv.org/abs/2509.07379)| DuoServe-MoE 是面向资源受限单 GPU MoE 大模型服务的双阶段专家调度系统. 采用双阶段调度核心思想——承认 prefill 与 decode 是"两种生意", 差异化调度. 系统的核心张力在于: prefill 不需要预测器(多 token 几乎激活所有专家), 却必须严格控制峰值内存; decode 只需 Top-k 个专家, 却必须把传输延迟彻底藏到计算背后.整体流程分三步: 离线 preprocess → prefill 调度 → decode 调度. 系统由离线预处理与在线服务两部分组成: ① 离线部分收集专家激活路径、统计 popularity 与 affinity、训练一个轻量 MLP 预测器; ② 在线部分则在 prefill 与 decode 两个阶段采用不同的专家调度策略——prefill 用双 CUDA 流在算非 MoE 层的同时流水化预取专家, decode 用三 CUDA 流把"预测下一层专家"与"传输权重"、"执行计算"三者并行起来.
① prefill 阶段所有专家激活密集, 不需要预测, 以双 CUDA 流水线, 把搬运藏进计算里, 一条 communication 流专门搬专家权重, 一条 computation 流同时跑非 MoE 层的计算. 进 MoE 层前同步一下确保权重到位, gate 算完后按专家分组 token, 每个专家只取一次权重; ② Decode 用三 CUDA 流并行, comp 流算 Layer N、pred 流预测 Layer N+1、comm 流在 Layer N 第一专家. 以轻量 MLP 预测器预取下一层专家隐藏传输延迟. 最终实现 TTFT 最高 5.34×、E2E 延迟最高 7.55× 提升. | -| 5 | [TurboFieldfare](https://github.com/drumih/turbo-fieldfare) | 开发者 Andrey Mikhaylov 推出的开源 macOS 专属 MoE 模型推理运行时, 7 月 29 日登顶 Hacker News 榜首. 利用 MoE 稀疏激活的天然特性, 搭配分层 LFU 缓存、Metal 异步 IO、SSD 专家权重流式加载, 仅用 2GB 常驻内存在任意 Apple Silicon Mac 本地跑通 Google Gemma 4 26B-A4B, 是端侧 MoE 推理的里程碑式工程实现; | -| 6 | 2026/06/05 | [FlashMoE: Fast Distributed MoE in a Single Kernel](https://arxiv.org/abs/2506.04667) | [](https://github.com/osayamenja/FlashMoE) +| 5 | [TurboFieldfare](https://github.com/drumih/turbo-fieldfare) | 开发者 Andrey Mikhaylov 推出的开源 macOS 专属 MoE 模型推理运行时, 7 月 29 日登顶 Hacker News 榜首. 利用 MoE 稀疏激活的天然特性, 搭配分层 LFU 缓存、Metal 异步 IO、SSD 专家权重流式加载, 仅用 2GB 常驻内存在任意 Apple Silicon Mac 本地跑通 Google Gemma 4 26B-A4B, 是端侧 MoE 推理的里程碑式工程实现; 关键技术: 通过 4-8 Bit 混合量化(权重压缩到 14.3GB), 非 Expert 权重(大概 1.68G)和共享 Expert 常驻, 然后通过共享内存池结合 SSD 实现激活权重动态换入换出. | +| 6 | 2026/06/05 | [NeurIPS'25, FlashMoE: Fast Distributed MoE in a Single Kernel](https://arxiv.org/abs/2506.04667) | [osayamenja/FlashMoE](https://github.com/osayamenja/FlashMoE) | +| 7 | [Flash-MoE: Streaming a 397B Parameter Mixture-of-Experts Model from NVMe at 5.7 Tokens/Second on Consumer Hardware](https://github.com/danveloper/flash-moe/blob/main/paper/flash_moe.pdf) | [Hacker News, Flash-MoE: Running a 397B Parameter Model on a Laptop](https://news.ycombinator.com/item?id=47476422), 源代码仓库 [flash-algo/flash-moe](https://github.com/flash-algo/flash-moe). 其外还有其他大佬 FORK 后优化的仓库 [anemll/flash-moe](https://github.com/anemll/flash-moe) 实现了 2-4 BIT 量化. [Anemll/anemll-flash-llama.cpp](https://github.com/Anemll/anemll-flash-llama.cpp) 是基于 Llama.cpp 实现的一套. [Anemll/Flash-iOS](https://github.com/Anemll/Flash-iOS), [Anemll/ds4-ssd](https://github.com/Anemll/ds4-ssd). [2026/03/19, @danveloper, Autoresearching Apple's "LLM in a Flash" to run Qwen 397B locally](https://x.com/danveloper/article/2034353876753592372) | +| 8 | [LLM in a flash: Efficient Large Language Model Inference with Limited Memory](https://arxiv.org/abs/2312.11514) | 本文放弃"把整个 LLM 装进内存"的传统假设, 改为让模型权重常驻闪存、推理时按需增量加载, 并基于闪存硬件特性提出"低秩预测器 + 滑动窗口 + 行列捆绑"三件套, 在仅有一半 DRAM 的条件下端到端推理加速最高达 CPU 4-5×、GPU 20-25×, 从而可运行比内存大 2 倍的模型. 其中① 低秩预测器: 不知道哪些神经元醒, 只搬预测会醒的, 数据搬运从 13.4GB 降到 0.9GB. ② 滑动窗口: 相邻词重复搬, 保留最近 k 个词, 只搬增量 0.9GB 再降到 0.2GB. ③ 行-列捆绑: 零散读取慢, 把列+行读成一个大块, 吞吐从 1.25 提到 2.25 GB/s. 三招合起来, OPT 6.7B 的单 token I/O 延迟从 2196ms 一路压到 87ms. [苹果极致 LLM 端侧方案: LLM in a flash](https://zhuanlan.zhihu.com/p/673775476), [matt-k-wong/mlx-flash](https://github.com/matt-k-wong/mlx-flash) | +| 9 | [JustVugg/colibri, Run 744B to 2.8T parameters](https://github.com/JustVugg/colibri) +| 10 | [FareedKhan-dev/kimi-k3-in-c](https://github.com/FareedKhan-dev/kimi-k3-in-c) | +| 11 | [MiniCPM-V 4.7]() | [](https://www.qbitai.com/2026/10/503109.html) | + +[FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge Devices](https://arxiv.org/abs/2601.17063) + ### 3.2.3 首 Token 时延优化 ------- @@ -414,6 +432,7 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad [公众号 - AI闲谈 - 万字综述 10+ 种 LLM 投机采样推理加速方案](https://mp.weixin.qq.com/s/PyAKiFzbQNq6w7HmaTnSEw) +[LLM 推理手册/推测解码](https://dpthinker-ai.github.io/llm-inference-handbook/inference-optimization/speculative-decoding) | 编号 | 时间 | 文章 | 描述 | |:---:|:----:|:---:|:----:| @@ -437,6 +456,8 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad | 2 | 2024/06/25 | [Optimizing Speculative Decoding for Serving Large Language Models Using Goodput](https://arxiv.org/abs/2406.14066) | 对于不同系统负载下的所有工作负载, 没有最佳推测长度工作. 根据观察结果, 作者开发了一个动态框架 SmartSpec. SmartSpec 根据一个名为 goodput 的新指标动态确定每个请求的最佳投机长度(从 0, 即无投机到许多代币)——因此相关的投机执行成本, 该指标表征了整个系统的当前观察负载和投机准确性. | | 3 | 2025/03/07 | [SpecServe: Efficient and SLO-Aware Large Language Model Serving with Adaptive Speculative Decoding](https://arxiv.org/abs/2503.05096) | 在本文提出了 SpecServe, 可根据实时请求负载和系统配置动态调整推测策略. SpecServe 提出了一个理论模型来理解和预测不同场景中推测解码的效率. 此外, 它还实现了智能绘图和验证算法, 以保证最佳性能, 同时实现高 SLO 实现. 在实际 LLM 跟踪上的实验结果表明, SpecServe 始终满足 SLO 并实现了实质性的性能改进, 与最先进的推测推理系统相比, 速度提高了 1.14. | | 4 | 2024/05/26 | [Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting](https://arxiv.org/abs/2404.18911) | [华为诺亚 | 提出自推测解码框架: Kangaroo, 降低成本, 提升大模型推理效率！](https://cloud.tencent.com/developer/article/2415194) +| 5 | 2024/10/08 | [](https://github.com/vllm-project/speculators) | + #### 3.2.4.2 MTP/Multi-Token Prediction(多 token 预测) ------- @@ -507,6 +528,15 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad |:---:|:----:|----------:|:----:|:----:| | 2025/03 | 通过灵活的内存管理和异步预加载技术提升设备端推理性能 | [FlexInfer: Breaking Memory Constraint via Flexible and Efficient Offloading for On-Device LLM Inference, EuroMLSys '25](https://arxiv.org/abs/2503.03777) | NA | FlexInfer 通过灵活的内存管理和异步预加载技术提升设备端推理性能. 其核心优化策略包括异步预取、平衡内存锁定和灵活的张量保存机制, 能在限定资源下显著提升吞吐率. 核心优化技术:
1. 异步预取: 通过提前加载模型参数和中间数据, 减少推理过程中的 I/O 延迟.
2. 平衡内存锁定: 动态调整内存分配策略, 避免单一任务占用过多内存导致性能瓶颈.
3. 灵活的张量保存机制: 根据计算需求动态调整张量存储方式, 平衡计算效率与内存占用.
性能表现: FlexInfer 在端侧推理任务中, 相比传统方法可提升 2~4 倍的吞吐率, 适用于分类、语义分割等场景. | +### 3.2.9 端云协同 +------- + +两端各有一个互补的瓶颈: prefill 是算力密集, 端侧 NPU 跑 32K prompt 要几十秒, 云侧只需几百毫秒; decode 是带宽密集, 云端 GPU 被一个长回复锁死几十秒, 并发上不去. 云擅长"起头", 端侧单用户 decode 速度其实跟云差不多——所以让云只做 prefill 然后立刻撤退, 是笔划算买卖. + +| 日期 | 概要 | 论文 / 链接 | 团队 | 描述 | +|:---:|:----:|----------:|:----:|:----:| +| 2025/08 | [P/D-Device: Disaggregated Large Language Model between Cloud and Devices](https://arxiv.org/abs/2508.09035) | 云端大模型只负责 prefill 并立刻把首个 token、一份压缩后的"精简提示"掩码和一小段续写 token 发回, 端侧小模型一边匀速播放这些 token 一边在后台完成自己的 prefill, 随后无缝接管全部 decode——全程不传 KV cache, 就把 TTFT 砍掉 60% 以上、云端吞吐提升最高 15 倍. 传的是首 token + prompt 掩码(bitmask)+ 一小段 token, 刻意绕开 KV cache; 要求端云模型同分布/同家族. 对应 PCT 专利 [WO2026157262A1「Inference method and apparatus」](https://eureka.patsnap.com/patent/WO2026157262A1) | +| 2026/09 | 模型每生成一个 token, 内部要构建约一百万个数值(~2MB)的隐藏状态, 最后只从 15 万词表里挑一个 token 输出——离开模型的只有约 17 bit, 2MB 被当场丢弃. 而今天所有多模型协作(子智能体、模型委员会、路由调度)全都建立在这 17 bit 上. 做法是训练一个小型"桥"(bridge), 把发送方模型的 hidden states 直接映射到接收方能吃的表示. 关键点: 两端模型权重完全冻结, 桥是系统里唯一被训练的部分. 大模型只做 prefill, 一个 token 都不生成——读完题就停, 全部生成交给小模型. 演示组合: GLM-5.2(753B)→Qwen-3.5(4B). 参见 [2026/09/09, 知乎-绝密伏击, 让 753B 模型闭嘴, 让 4B 模型回答: Mostik 重构大小模型协作](https://zhuanlan.zhihu.com/p/2081085802336072655) ## 3.3 算子库 @@ -529,11 +559,13 @@ ARM-software/ComputeLibrary | 2025/10 | 通过分块量化和查找表等技术, 动态分配推理计算资源, 提升推理性能 |[Scaling LLM Test-Time Compute with Mobile NPU on Smartphones](https://arxiv.org/abs/2509.23324) | NA | 本文指出, NPU 在典型的 LLM 推理过程中, 其计算资源(尤其是矩阵乘法单元)未被充分利用. 为了利用这部分被浪费的计算能力, 论文提出在移动 NPU 上应用并行测试时计算扩展(指在模型推理阶段通过增加计算量来提升性能的技术)技术, 以提升小模型的性能. 然而, 该方法面临着 NPU 固有的挑战, 包括对细粒度量化(分组更小、更精细)的硬件支持不足, 以及通用计算(指不针对特定 AI 任务的常规计算, 如 Softmax 激活函数计算, NPU 在这类计算上效率通常低于专用矩阵计算)效率低下. 为解决这些问题, 论文引入了两项关键技术: 一是硬件感知的分块量化方案, 该方案将分组量化与 NPU 的内存访问模式对齐;
二是基于查找表的高效替代方案, 用于处理 Softmax 和反量化等复杂操作. [微信公众号--NerualTalk--端侧 NPU 的 LLM 测试时计算扩展: 硬件感知块量化与 LUT 优化实现 19.0×GEMM与 2.2×Softmax 加速](https://mp.weixin.qq.com/s/QZNb1IZMN8M-X3VW7ZCndQ), [主仓库](https://github.com/haozixu/llama.cpp-npu), [算子库](https://github.com/haozixu/htp-ops-lib) | -## 3.4 长上下文 +## 3.4 KVCache 与长上下文 ------- [[LLM 性能优化]聊聊长文本推理性能优化方向](https://zhuanlan.zhihu.com/p/698308542) +[2026/09/13, Dongxi 东锡 NLP @dongxi_nlp, LLM 为什么缓存 K 和 V, 却通常不缓存 Q？](https://x.com/dongxi_nlp/status/2098945504289669481) 前面从"每层保存自己的 K/V"出发, 通过 6 个问理, 介绍了 KVCache 的原理和计算依赖: ① 每生成一个 token, 都要从头再算吗？ ② 为什么留下 K/V, 却通常不留下 Q？③Context 变长了, 旧计算为什么仍然有效？④新 token 到来时, 究竟计算了什么？⑤ 省下重复计算, 为什么又增加了显存开销？⑥ 同一份文档, 换个问题, 还能接着用吗？ 最后通过第 7 个问题 ⑦如果重新设计 KV 的来源和共享方式呢？解释了 DeepSeek-V4.1-Flash 的几个变化. + # 4 分析工具 ------- @@ -577,6 +609,8 @@ ARM-software/ComputeLibrary ## 4.2 可视化工具 ------- +[2026/09/12, SCR @SCR01111, 17 visual resources that make AI concepts MUCH easier to understand 📌](https://x.com/SCR01111/status/2098796099980914725) + | 编号 | 工具 | 团队 | 详情 | |:---:|:----:|:---:|:---:| | 1 | [Gemma Scope](https://www.163.com/dy/article/J8GVD23005566WT8.html) | Google DeepMind | [Google DeepMind 发布大模型可视化工具 Gemma Scope](https://www.163.com/dy/article/J8GVD23005566WT8.html) | @@ -605,7 +639,28 @@ ARM-software/ComputeLibrary | 24 | [](https://github.com/sachinhosmani/torchvista) | | 25 | [](https://github.com/ImagineAILab/ai-by-hand-excel) | | 26 | [Awesome LLM Interpretability ](https://github.com/JShollaj/awesome-llm-interpretability) | 大语言模型内部是如何工作的, 为什么会产生幻觉, 为什么有时答非所问, 想深入了解这些. Awesome LLM Interpretability 这份资源合集, 提供一整套拆解 AI 黑盒的系统路径. 涵盖从注意力可视化、神经元分析到稀疏自编码器等研究方向, 帮我们了解大语言模型全貌. 还收录了 TransformerLens、LIT 可视化平台、Neuron Viewer 等大量可视化调试工具. 同时整理了可解释性、特征稀疏性、知识编辑等方向的论文, 并附带相关学习讨论入口. | -| 27 | [2020/12/17, Jay Alammar, Interfaces for Explaining Transformer Language Models](https://jalammar.github.io/explaining-transformers), [2026/07/09, 微信公众号-精博士小酒馆, 解释 Transformer 语言模型的交互界面](https://mp.weixin.qq.com/s/Ti63Dg3ACtv3W9SUWO1nIA)
[2021/01/19, Jay Alammar, Finding the Words to Say: Hidden State Visualizations for Language Models](https://jalammar.github.io/hidden-states). [2026/07/10, 微信公众号-精博士小酒馆, 语言模型的隐藏状态可视化](https://mp.weixin.qq.com/s/5FAO57YCl_MNaJ_9sDTxaw) | +| 27 | [2020/12/17, Jay Alammar, Interfaces for Explaining Transformer Language Models](https://jalammar.github.io/explaining-transformers), [2026/07/09, 微信公众号-精博士小酒馆, 解释 Transformer 语言模型的交互界面](https://mp.weixin.qq.com/s/Ti63Dg3ACtv3W9SUWO1nIA)
[2021/01/19, Jay Alammar, Finding the Words to Say: Hidden State Visualizations for Language Models](https://jalammar.github.io/hidden-states). [2026/07/10, 微信公众号-精博士小酒馆, 语言模型的隐藏状态可视化](https://mp.weixin.qq.com/s/5FAO57YCl_MNaJ_9sDTxaw)
[2018/06/27, The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer) | +| 28 | [Ecco: An Open Source Library for the Explainability of Transformer Language Models](https://aclanthology.org/2021.acl-demo.30.pdf) | [2026/07/09, 微信公众号--精博小酒馆, 解释 Transformer 语言模型的交互界面](https://mp.weixin.qq.com/s/Ti63Dg3ACtv3W9SUWO1nIA)
[2026/07/10, 微信公众号--精博小酒馆, 语言模型的隐藏状态可视化](https://mp.weixin.qq.com/s/5FAO57YCl_MNaJ_9sDTxaw)官网地址 [eccox](https://www.eccox.io), 仓库地址 [jalammar/ecco](https://github.com/jalammar/ecco), 手册 [Welcome to Ecco](https://ecco.readthedocs.io/en/main). | +| 29 | [LM Transparency Tool: Interactive Tool for Analyzing Transformer Language Models](https://arxiv.org/abs/2404.07004) | +| 30 | [3Blue1Brown](https://www.3blue1brown.com/?topic=neural-networks) | +| 31 | [TensorFlow Playground](https://playground.tensorflow.org) | 更改数据集、层、神经元、激活函数、学习率和正则化, 然后观看网络训练时决策边界的变化. 它使欠拟合、过拟合和模型容量变得可见. | +| 32 | [Google PAIR - AI Explorables](https://pair.withgoogle.com/explorables) | +| 33 | [Distill](https://distill.pub) | +| 34 | [Transformers & LLMs](https://www.abhik.ai/concepts/category/transformers) | +| 35 | [A Visual Guide to Attention Variants in Modern LLMs](https://magazine.sebastianraschka.com/p/visual-attention-variants) | +| 36 | [A Visual Guide to Mixture of Experts (MoE)](https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts) | +| 37 | [modular/LLM Inference Handbook](https://handbook.modular.com/llm-inference-basics/what-is-llm-inference) | +| 38 | [Apple Embedding Atlas/Embedding Atlas Scalable, Interactive Visualization](https://apple.github.io/embedding-atlas) | +| 39 | [Diffusion Explainer](https://poloclub.github.io/diffusion-explainer) | +| 40 | [Neuronpedia](https://www.neuronpedia.org) | +| 41 | [Seeing Theory](https://seeing-theory.brown.edu/basic-probability/index.html) | +| 43 | [GAN Lab](https://poloclub.github.io/ganlab) | +| 44 | [Abhik Sarkar's Transformer Visualizations](https://www.abhik.ai/concepts/category/transformers) | +| 45 | [A Visual Guide to Mixture of Experts (MoE)](https://www.maartengrootendorst.com/blog/moe) | +| 46 | [Embedding Atlas: Low-Friction, Interactive Embedding Visualization](https://machinelearning.apple.com/research/embedding-atlas) | +| 47 | [Diffusion Explainer](https://poloclub.github.io/diffusion-explainer) | +| 48 | [Neuronpedia](https://www.neuronpedia.org) | 探索模型内部结构、特征、激活函数和可解释性. | +| 50 | []() ## 4.3 评测平台 ------- @@ -626,7 +681,7 @@ ARM-software/ComputeLibrary | 项目 | 描述 | |:---:|:---:| -| [Hannibal046/Awesome-LLM](https://github.com/Hannibal046/Awesome-LLM) | 一份关于大型语言模型的精选论文列表, 尤其是与 ChatGPT 相关的论文. 它还包含用于 LLM 培训的框架、要部署 LLM 的工具、有关所有公开可用的 LLM 检查点和 API 的 LLM 课程和教程. | +| [Hannibal046/Awesome-LLM](https://github.com/Hannibal046/Awesome-LLM) | 一份关于大型语言模型的精选论文列表, 尤其是与 ChatGPT 相关的论文. 它还包含用于 LLM 培训的框架、要部署 LLM 的工具、有关所有公开可用的 LLM 检查点和 API 的 LLM 课程和教程. 其他类似的 [WangRongsheng/awesome-LLM-resources](https://github.com/WangRongsheng/awesome-LLM-resources), [AiHubCN/Awesome-Chinese-LLM](https://github.com/AiHubCN/Awesome-Chinese-LLM) | | [dair-ai/ML-Papers-of-the-Week](https://github.com/dair-ai/ML-Papers-of-the-Week) | 每周 AI 热点论文. | | [Lightning-AI/litgpt](https://github.com/Lightning-AI/litgpt) | LitGPT 是一个强大的工具, 使开发人员能够利用 LLM 的最新进展. 其全面的功能、用户友好性以及不断发展的社区使其成为构建和部署 LLM 应用程序的理想选择. | | [aishwaryanr/awesome-generative-ai-guide](https://github.com/aishwaryanr/awesome-generative-ai-guide) | 关于人工智能的开源综合站点, 汇总了相关的论文以及课程, 以及业界前沿资讯. | @@ -641,7 +696,7 @@ ARM-software/ComputeLibrary | [km1994/nlp_paper_study](https://github.com/km1994/nlp_paper_study) | 该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记. | | [NexaAI/Awesome-LLMs-on-device](https://github.com/NexaAI/Awesome-LLMs-on-device) | 汇总了端侧 AI 的相关架构和优化技术, 包括前言的论文研究. | | [wdndev/llm_interview_note](https://github.com/wdndev/llm_interview_note) | 主要记录大语言大模型 (LLMs) 算法(应用) 工程师相关的知识及面试题. | -| [冬于的博客 - Transformer/BERT / 实战](https://ifwind.github.io/2021/08/31/Transformer-BERT - 实战) | 通过大量图讲述 Transformer 架构 | +| [冬于的博客 - Transformer/BERT / 实战](https://ifwind.github.io/2021/08/31/Transformer-BERT-%E5%AE%9E%E6%88%98) | 通过大量图讲述 Transformer 架构 | | [浅显易懂地介绍 llm.c [译]](https://baoyu.io/translations/llm/explaining-llm-c-in-layman-terms) | [Explainable Language Models: Existing and Novel Approaches](https://twitter.com/karpathy/status/1778153659106533806) 的译文, 参见 [karpathy/llm.c](https://github.com/karpathy/llm.c). | | [DefTruth/Awesome-LLM-Inference](https://github.com/DefTruth/Awesome-LLM-Inference) | 收集了大量 LLM 推理相关的论文和仓库, 涵盖了并行计算, 量化压缩, 注意力机制优化, 上下文管理等. | | [SylphAI-Inc/llm-engineer-handbook](https://github.com/SylphAI-Inc/llm-engineer-handbook) | NA | @@ -667,7 +722,7 @@ ARM-software/ComputeLibrary | [21 Lessons teaching everything you need to know to start building Generative AI applications](https://microsoft.github.io/generative-ai-for-beginners) | 微软的 《Generative AI for Beginners: 面向初学者的生成式人工智能课程》 | | [AI Infrastructure Engineer - Learning Path](https://github.com/ai-infra-curriculum/ai-infra-engineer-learning) | 通过实践项目和实践学习, 掌握人工智能基础设施工程 | | [强化学习的数学基础](https://github.com/MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning) | 开源书《强化学习的数学基础》 给你画出一条清清楚楚的路线: 从数学入手, 把 RL 的核心逻辑掰开揉碎了喂给你. 全书从头到尾就用一个经典的"网格世界"案例做示范, 每个算法的推导都一步步拆开来讲, 不跳步、不绕弯子. 数学深度的分寸拿捏得特别到位——该严格的地方绝不糊弄, 该简化的地方也不硬撑, 目标就是让你真正吃透每个知识点. | -| [AI 通识课 · AI Essentials](https://github.com/buynao/aipath) | [为中文学习者设计的 AI 入门课](https://aipath.buynao.com) +| [AI 通识课 · AI Essentials](https://github.com/buynao/aipath) | [为中文学习者设计的 AI 入门课](https://aipath.buynao.com) 用可视化和交互演示, 把 AI 的核心原理装进你的直觉 —— 从"神经网络是什么"到亲手搭出 AI 应用, 每课 20 分钟. | | [Learn AI/ML Interactively](http://github.com/genieincodebottle/generative-ai) | 想系统学习生成式 AI, 网上找到资料过于零散, 或者只讲理论没有实战, 学习效率很低. 在寻找的众多资料中, generative-ai 脱颖而出, 提供了一份全景式的 AI 学习与实战指南. 涵盖大语言模型基础、向量嵌入、提示词工程等核心概念, 每个知识点都配有文档和代码. 收录了 20 多个项目案例, 包括多种高级检索增强生成(RAG)模式、多智能体系统搭建、自然语言转 SQL 查询、情感分析等, 都能直接跑起来. 还整理了 AWS、Azure、Google Cloud 三大云平台的部署指南, 以及面试题库和职业路径建议. | | [LLM Notes](https://github.com/Fyrgo8/llm-notes) | 大模型学习笔记仓库, 涵盖八股面试、Agent 工程、RL 训练、算法方向选择等主题. | @@ -678,8 +733,20 @@ ARM-software/ComputeLibrary | [Advanced NLP Spring 2026 Code](https://github.com/cmu-l3/anlp-spring2026-code) | CMU 这门 NLP 课最硬核的地方: 第一份作业就让你从零手搓一个 LLaMA. 卡内基梅隆大学公开了 [2026 春季《Advanced NLP》课程](https://cmu-l3.github.io/anlp-spring2026), 教授是 Sean Welleck. 整套资源包括完整课程主页、课件、视频和配套代码, 内容从 Tokenizer、Transformer、语言模型基础, 一路讲到 RAG、多模态、RLHF、MoE、长上下文和 test-time scaling. 这门课最有价值的地方, 不仅是教你怎么调用大模型 API, 而且把大模型能力背后的工程路径也拆开给你看. 从「Build Your Own LLaMA」这种手搓模型作业, 到后面的推理、效率、评测和 Agent, 它训练的其实是一种更底层的能力: 你能不能理解模型为什么能工作, 为什么会变强, 为什么有时会失败. 这也很符合现在 AI 的技术拐点. 过去大家更关心参数规模, 谁的模型更大; 现在越来越多关键进展, 开始发生在推理侧、效率侧和系统侧: 怎么让模型更会思考, 怎么调度专家, 怎么检索外部知识, 怎么在有限算力下获得更好的输出. 所以这门课不只是 NLP 进阶课, 更像一份 2026 年大模型研究者的训练路线图. AI 时代真正的分水岭, 可能不只是会不会使用模型. [YouTube-CMU Advanced NLP Spring 2026](https://www.youtube.com/playlist?list=PLqC25OT8ZpD15emhQhNjRLym77-sp2kAx) | | [大模型基础](https://github.com/ZJU-LLMs/Foundations-of-LLMs) | 分享一本通俗好读的开源书《大模型基础》. 从大语言模型入门到架构演化, 再到 Prompt 工程、参数高效微调、模型编辑、检索增强生成(RAG)等关键技术, 一本串起来. 全书 6 章, 每章以一种动物为线索, 配合案例讲透核心方法, 读起来更直观、更容易上手. | | [Unpacking ChatGPT(拆开 GPT)](https://github.com/aa1143/unpacking-chatgpt) | 本仓库统一管理系列的公众号文章、视频脚本、白板与分镜、封面、社交平台文案、参考资料和发布记录. 用后端工程师的视角, 把 ChatGPT 从模型原理到工程应用讲明白. 《拆开 GPT》是一套面向非专业读者的中文科普系列. 每一期从一个具体问题出发, 只解释一个核心概念, 并把模型原理连接到真实的产品现象和工程实践.
1. 第一阶段: ChatGPT 怎么回答问题——Token、Embedding、位置、Attention、Transformer、生成.
2. 第二阶段: ChatGPT 怎么获得能力——预训练、损失函数、反向传播、指令微调、RLHF、DPO.
3. 第三阶段: ChatGPT 如何成为产品——幻觉、上下文、RAG、工具调用、Agent、AI 编程. | -| [2024/10/19, Rohit Patel, Understanding LLMs from Scratch Using Middle School Math](https://towardsdatascience.com/understanding-llms-from-scratch-using-middle-school-math-e602d27ec876/) | 本文来自于Rohit Patel，作者是Meta 数据科学总监兼 GenAI。用尽可能简单的描述，解释了LLMs的构建和工作原理. 经典长文, 内部有很多译文. 推荐阅读 [2026/05/04, 微信公众号--AI大模型应用实践, 中学生就能看懂：从零开始理解LLM内部原理【十四，大结局】｜理解 Transformer 架构](https://mp.weixin.qq.com/s/ixtL65L50QPmtaxRQ57drA), [2024/12/20, 微信公众号--数据派THU, 独家 | 用初中数学从零开始理解大语言模型(下)](https://mp.weixin.qq.com/s/Jf9TkeXgc5JpVelmvvNZTg), [2025/01/08, 微信公众号--丁师兄大模型, LLM工作原理，很直观很好懂!](https://mp.weixin.qq.com/s/iIZF58iFHXqU15n8_4nEOg)
其他类似的还有很多, [2024/11/30, 微信公众号--中国指挥与控制学会, CICC科普栏目｜用初中数学理解LLM工作原理](https://mp.weixin.qq.com/s/8BkNM2F0SYDJ4HPyk-ulHA), [2025/03/20, 微信公众号--数科纵横, 《使用中学数学从头开始理解LLM》](https://mp.weixin.qq.com/s/HjgOPRkbVFVBHJ4YKHzB9A), [2025/01/05, 微信公众号--林锵锵, 使用初中数学从零开始理解 LLMs](https://mp.weixin.qq.com/s/OEfhumiSYgLP5Tlmni-Rfw), [2025/09/05, 微信公众号--Ai学习的老章, 用初中数学从零理解大模型](https://mp.weixin.qq.com/s/PMJX7w_4-EPAjPUo9h0wHQ), [2024/11/30, 微信公众号--数学中国, 用初中数学理解LLM工作原理](https://mp.weixin.qq.com/s/vofXHc5UsM2izj_J9CJ16g). | -| [2026/07/02, 「用初中数学讲明白AI」连载系列](https://mp.weixin.qq.com/s/p5pKX9HRQATs8cpQXG_xEg) | 微信公众号--AI Native 启示录的连载博文, 从另外一个维度讲解 LLM 的原理, 其他类似文章 [2025/11/12, 微信公众号--林间有风, 白话Transformer（上](https://mp.weixin.qq.com/s/vqvr-1YVn9mIW2ZOdvfTDQ), [2026/01/08, 微信公众号--戴戴向前冲, 如何只用初中数学讲清楚大语言的原理](https://mp.weixin.qq.com/s/o30u71WGGgLvVIOvs-9hIw), [2024/01/01, 微信公众号--AINLPer, 揭秘 Transformer 的数学原理](https://mp.weixin.qq.com/s/qVZqwpD7ngdSX-UzIj68hw), [2025/09/24, 微信公众号--IRR 实验室, 如何用中学知识理解大模型技术原理](https://mp.weixin.qq.com/s/QyotH4Fw3Ybl72-eGSBnfA) | +| [2024/10/19, Rohit Patel, Understanding LLMs from Scratch Using Middle School Math](https://towardsdatascience.com/understanding-llms-from-scratch-using-middle-school-math-e602d27ec876/) | 本文来自于Rohit Patel, 作者是Meta 数据科学总监兼 GenAI. 用尽可能简单的描述, 解释了LLMs的构建和工作原理. 经典长文, 内部有很多译文. 推荐阅读 [2026/05/04, 微信公众号--AI大模型应用实践, 中学生就能看懂: 从零开始理解LLM内部原理【十四, 大结局】｜理解 Transformer 架构](https://mp.weixin.qq.com/s/ixtL65L50QPmtaxRQ57drA), [2024/12/20, 微信公众号--数据派THU, 独家 | 用初中数学从零开始理解大语言模型(下)](https://mp.weixin.qq.com/s/Jf9TkeXgc5JpVelmvvNZTg), [2025/01/08, 微信公众号--丁师兄大模型, LLM工作原理, 很直观很好懂!](https://mp.weixin.qq.com/s/iIZF58iFHXqU15n8_4nEOg)
其他类似的还有很多, [2024/11/30, 微信公众号--中国指挥与控制学会, CICC科普栏目｜用初中数学理解LLM工作原理](https://mp.weixin.qq.com/s/8BkNM2F0SYDJ4HPyk-ulHA), [2025/03/20, 微信公众号--数科纵横, 《使用中学数学从头开始理解LLM》](https://mp.weixin.qq.com/s/HjgOPRkbVFVBHJ4YKHzB9A), [2025/01/05, 微信公众号--林锵锵, 使用初中数学从零开始理解 LLMs](https://mp.weixin.qq.com/s/OEfhumiSYgLP5Tlmni-Rfw), [2025/09/05, 微信公众号--Ai学习的老章, 用初中数学从零理解大模型](https://mp.weixin.qq.com/s/PMJX7w_4-EPAjPUo9h0wHQ), [2024/11/30, 微信公众号--数学中国, 用初中数学理解LLM工作原理](https://mp.weixin.qq.com/s/vofXHc5UsM2izj_J9CJ16g). | +| [2026/07/02, 「用初中数学讲明白AI」连载系列](https://mp.weixin.qq.com/s/p5pKX9HRQATs8cpQXG_xEg) | 微信公众号--AI Native 启示录的连载博文, 从另外一个维度讲解 LLM 的原理, 其他类似文章 [2025/11/12, 微信公众号--林间有风, 白话Transformer(上](https://mp.weixin.qq.com/s/vqvr-1YVn9mIW2ZOdvfTDQ), [2026/01/08, 微信公众号--戴戴向前冲, 如何只用初中数学讲清楚大语言的原理](https://mp.weixin.qq.com/s/o30u71WGGgLvVIOvs-9hIw), [2024/01/01, 微信公众号--AINLPer, 揭秘 Transformer 的数学原理](https://mp.weixin.qq.com/s/qVZqwpD7ngdSX-UzIj68hw), [2025/09/24, 微信公众号--IRR 实验室, 如何用中学知识理解大模型技术原理](https://mp.weixin.qq.com/s/QyotH4Fw3Ybl72-eGSBnfA) | +| [Tech with Mak @techNmak, Understanding_Attention_Handbook](https://drive.google.com/file/d/1fCHQ5xCQJ6jZszAYf-qP3VIySbzFIEDv/view)<>[理解注意力](https://drive.google.com/file/d/1vmngmpSAJJg408Hy9NjwLiKPhWUpz4VZ/view) | [Tech with Mak, 我整理了一本关于注意力机制如何运作的手册, 从 Q/K/V 方程一直到它在现代大语言模型中实际的运行方式. 自注意力与交叉注意力, 因果掩码, 多头注意力, RoPE, KV 缓存, MHA/MQA/GQA/MLA, FlashAttention, 手动推导, 附有对原始论文的引用. (https://x.com/techNmak/status/2096004794192404728), [轩辕之风, @xuanyuanzhifeng, 《理解注意力》的中文版, 我用GPT-6-Astra翻译了, 分享地址在这里. ](https://x.com/xuanyuanzhifeng/status/2096772376856084824)<>[https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view](https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view)
[Understanding RoPE](https://drive.google.com/file/d/1wk-zbPrnYqqViex4MklXLtbiaeWItI-I/view)
[RAG & Context Engineering](https://drive.google.com/file/d/1-hwxsU1U0ghO4938kcTdnRQwl5CCtB6L/view)
[Embeddings, Vector Search & Retrieval](https://drive.google.com/file/d/1Us2AKJAfkqKusKBg6sA1-CFEg3PIUxg3/view)
[Training & Post-Training LLMs](https://drive.google.com/file/d/1svj2ff2KiR_DZ1lZPI7_W-tSlZGJLvMx/view)
[LLM Inference and Serving Interview_Questions 30Q](https://drive.google.com/file/d/1b74KeMblGt8wkbFEMW-HE1uFw90urYaY/view)
[Transformers & Model Architecture Interview Questions](https://drive.google.com/file/d/1xcI_FzVWw3FT1u8vNtcAlhvFSqlSeYYw/view)
[LLM Foundations 25 Interview Questions](https://drive.google.com/file/d/1a10mmWsvBsds77AUTAnXKDqqGqrIrYv2/view)
[Top 50 Large Language Model (LLM) Interview Questions](https://drive.google.com/file/d/1cUxKspEXgQ64s4OFEw0kabf_qNauOPiH/view)
[Understanding KV Cache](https://drive.google.com/file/d/12KlRm0YLYrfpLF2q3_tBDNMMkJ7_bYNF/view), [理解 KV 缓存](https://drive.google.com/file/d/1NLWUo0L7pJ4Ui9G4_-tKaWnIgwyfbvsq/view) | +| [Transformer 全景图](https://www.xuanyuancode.com/ai-llm/lessons/appendix-transformer-3d) | [轩辕之风 @xuanyuanzhifeng, Transformer那期视频在Youtube播放12W+了, 在X也帮助我粉丝破千了. 为了帮助大家有一个更整体全局的视野理解Transformer, 我做了一个Transformer全景图动画. 可以很直观的看到一个Token是怎么一步步进行词嵌入、位置编码、QKV生成、注意力计算、多头注意力、FFN提取特征、多层BLOCK堆叠、最后算出下一个token的](https://x.com/xuanyuanzhifeng/status/2097159597127847950) | +| [2026/09/09, 南晚Nanwan @snwiki238337, 把Transformer底裤扒光, 从Transformer到大模型](https://x.com/snwiki238337/status/2097583827661296023) | +| [2026/09/10, 小互-AI解读站, 爱丁堡大学发布 20 页免费论文: 教你用最简单的方法看懂 ChatGPT 背后的数学](https://best.xiaohu.ai/article/math-of-llms) | +| [2026/09/07, How did we go from GPT-2 to Kimi3?](https://programmerftw.github.io/llm-breakdown-/) +| [2026/09/16, DeepSeek v4.1 Flash 架构分析](https://www.k-a.in/deepseek-v4-1-flash.html), [DeepSelect: 把 TopK 推向内存带宽的天花板](https://talks.superalign.cn/deepselect/), [2026/09/13, Wei @wei_wang, 有人把 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 思路, 移植到了现有的 Qwen3-8B 上. ](https://x.com/wei_wang/status/2098962121715302542), [用 3D 演示的方式对比 Transformer 和 DeepSeel v4.1 Flash](https://github.com/petergpt/transformer-architecture), [You Only Cache Once: Decoder-Decoder Architectures for Language Models](https://arxiv.org/abs/2405.05254) | +| [鱼皮的 AI 知识库](https://github.com/liyupi/ai-guide) | 完全免费开放的 AI 知识共享平台 | 减少信息差, 让每个人都能享受技术红利 | +| [《AI Infra 大话西游之水滴石穿》——从基础设施到智能未来的工程哲学与实战指南](https://github.com/lilinji/ai-infra-odyssey) | 本专栏历时沉淀, 构建了从底层物理硅基、编译算子到万卡超算调度中枢的完整 8 层工业级技术栈. | +| [2026/05/22, LLMs 101: A Practical Guide (2026 Edition)](https://x.com/TheAhmadOsman/status/2057590224729911346) | +| [NVIDIA Model Optimizer](https://github.com/NVIDIA/Model-Optimizer) +| [](https://github.com/chiphuyen/aie-book) | Chip Huyen 的 AI 工程伴侣仓库. | +| [大模型学习路线图](https://nano-ai.tech) | [纳米 AI](https://x.com/antiAIvo) 搭建的 Transformer/agent 的理解和学习的网站, [2026/09/04, 纳米 AI, 以"我 跑"→"I run"为例,完整流程是这样的:](https://x.com/antiAIvo/status/2095740082032636215), [2026/09/04, 用"猫吃鱼"这个例子, 理解Transformer-Attention: 注意力机制](https://x.com/antiAIvo/status/2095840337831121183), 注意这里更好理解, [但是有一些错误的认识](https://x.com/gatieme1024/status/2096167289154593084), [通过 GPT2 来学习 Transformer 的注意力机制, 有一些新的感悟, 感觉理解了"注意力"背后的设计思路](https://x.com/antiAIvo/status/2096079171000979581) ## 5.2 Survey diff --git a/study/arch/MicroArchitecture/README.md b/study/arch/MicroArchitecture/README.md index 6517161..7cb0d20 100644 --- a/study/arch/MicroArchitecture/README.md +++ b/study/arch/MicroArchitecture/README.md @@ -78,6 +78,9 @@ Apple [专利号-WO2021US19353-Apple-ON-DEMAND MEMORY ALLOCATION](https://xueshu # 4 一些微架构的探索 ------- +## 4.1 探索 +------- + [The Forward Slice Core Microarchitecture](https://dl.acm.org/doi/10.1145/3410463.3414629) [RL-CoPref: a reinforcement learning-based coordinated prefetching controller for multiple prefetchers](https://link.springer.com/article/10.1007/s11227-024-05938-9) @@ -91,6 +94,10 @@ Apple [专利号-WO2021US19353-Apple-ON-DEMAND MEMORY ALLOCATION](https://xueshu [知乎 - 降伏其芯 - 解密初创公司 flow computing CPU 架构性能提升 100 倍背后的技术原理](https://zhuanlan.zhihu.com/p/703736037) +## 4.2 可视化 +------- + +[pipeline visualizer](https://shioyadan.github.io/sonata), 参见 [2026/09/06, CPU 流水线的可视化, 手头做的东西让 Astra 大大地改得花哨了, 结果出来了个相当不错的. x86-64 上在 gem5 上运行 Coremark 时的样子](https://x.com/r_shioya/status/2096624501018816948) # 5 业界比赛/会议 ------- diff --git a/study/kernel/00-DESCRIPTION/TODO.md b/study/kernel/00-DESCRIPTION/TODO.md index 7015dab..c3fc5bd 100644 --- a/study/kernel/00-DESCRIPTION/TODO.md +++ b/study/kernel/00-DESCRIPTION/TODO.md @@ -1273,6 +1273,7 @@ https://github.com/rockorager/comview https://diffshub.com https://github.com/nkzw-tech/codiff + ===GIT=== https://github.com/affromero/gitpane https://github.com/kitlangton/ghui @@ -1346,7 +1347,8 @@ https://github.com/Z4nzu/hackingtool https://github.com/cuixueshe/earthworm julebu.ai https://github.com/UlionTse/translators -https://github.com/zyronon/TypeWords +https://github.com/zyronon/TypeWords, 结合背单词 + 打字练习📘 内置20+词库（CET4/6、雅思、托福…）🧾 自动生成生词本和错词本👨‍💻 程序员专属API词库 +🎧 支持英美音发音 + 音标显示 https://github.com/xiaochong/hi-kid https://engoo.com/app/materials/en https://github.com/byoungd/English-level-up-tips @@ -1360,7 +1362,7 @@ https://github.com/Cookee24/PairTranslate 配对翻译插件 https://julebu.co/ https://github.com/fishjar/kiss-translator https://en.kyrgk.com -https://github.com/RealKai42/qwerty-learner +https://github.com/RealKai42/qwerty-learner, 一个练英语的硬核工具：Qwerty Learner。把背单词直接塞进打字练习里，一边敲一边记，效率拉满。 https://github.com/echo-loop/Echo-Loop https://readto.ai/ @midudev @@ -1374,6 +1376,9 @@ https://github.com/HoraceLuBFA/en-zh-translation-polish @tinyfool https://github.com/forestai123456/hear-me-out, 听我解释 Chrome / Edge 浏览器扩展 — 为网页视频生成实时 AI 字幕, 支持网页翻译和划词翻译. +https://engoo.com/app/materials/en +https://github.com/tangshimin/MuJing, 幕境是一款通过电影、美剧或文档中的真实语境学习英语单词的应用，让您在原汁原味的情境中记忆词汇，提升学习效率。 +https://github.com/byoungd/up, 这篇爆火的英语学习指南，核心只有一句话：你以前学英语的方式，从根本上就错了。传统的死记硬背路线，几乎全踩雷。真正高效的路径完全不同 1」Trancy 官网 http://trancy.org 除了沉浸翻译, 还有 YouTube 双语字幕功能, UI 更好看, 目前搭配DeepSeek 主力在用. 免费, 高级功能付费, 闭源. @@ -1387,6 +1392,32 @@ https://github.com/deusyu/translate-book/tree/main Claude Code Skill, 使用并 [2026/07/08, 董币哥 @NextBullReady, 个人认为目前实现全英交流最快的方式之一, 最快7天见效](https://x.com/NextBullReady/status/2074705283570602292) [2026/07/07, 孤桜ETH @GYLQ520, 2017年, 有位朋友向他请教“高效学英语的路径”, 他当场梳理了一份实操指南. ](https://x.com/GYLQ520/status/2074487666389991700) [Huan @Huanusa, 会英语-能用其实只需要这850个单词！](https://x.com/Huanusa/status/2075222778207162464), 我写了一个iOS的应用: 词骨英语850, http://lei-lei.org/850s, 有对应的单词游戏网站, 大家可以自由学习, 😂 巧了我这也有一个对应的网站: https://ogden-basic-english-7s7.pages.dev +ENGSENCE, 韩国人学英语 +https://english.modengsir.com, 英语点读 +learn.kugua.cn, 这个我做的儿童英语口语学习的，可以交流下，免费的，需要注册，因为需要token +https://github.com/RealKai42/qwerty-learner, 这软件qwerty-learner专治键盘工作者：一边背单词一边练打字，打错必须重来，把正确拼写焊进肌肉记忆。四六级、考研、GRE、程序员词库全有，还有 VSCode 摸鱼插件。 +https://waiyuka.cc/zh-CN, 轻松背单词, AI 配图 + 标准发音 + 英语音素级发音分析，让单词学习更高效. 覆盖西班牙语、法语、德语、英语、日语，共 3 万+ 词库. +《床头灯英语》1到5级打包，号称用3000词读遍世界名著，文本、音频、PDF都齐。 +https://parroto.app/id#google_vignette, 怎么可能功能这么齐全——有英语短视频、词汇游戏、听写练习、跟读练习，甚至还有 TOEIC 和 IELTS 模拟测试。而且大部分功能都是免费的 +https://fluentdictation.com/zh, 发现一个挺好用的免费英语听写在线网站：FluentDictation。 +Book Dash, 是一个提供英文绘本的公益网站：词汇量较小、句子结构简单、配图丰富，适合英语入门，也适合家长陪孩子共读。部分绘本还配有真人朗读和视频，能同时练阅读与听力。 +我觉得 CapWords 挺好的啊 +火遍海淀妈妈圈的清华附小英语动画片，1-6年级覆盖小学全部英语知 +免费英语听力网站：ELLLO。 +https://www.bbc.co.uk/learningenglish/, BC Learning English +有简单，普通和难度的分级，可以根据自己的水平选择，甚至从基础学起都可以。视频可以看，音频可以听，视频和音频的台本-对话台词-都可以免费下载。非常适合学习。 +每天分享一个宝藏网站第三十七期 +今天要讲的是http://ameponline.homeaffairs.gov.au +跟着迪士尼电影学习英语 +https://simple.wikipedia.org/wiki/Main_Page, 它是维基百科的「简单英语版」，把复杂词汇和长句改写成更易懂的表达。读百科的同时，把英语阅读也练起来。 +练习英语口语的app，名字是Unscript （脱稿）， https://x.com/wulianwen1/status/2100065447785935253 +开口鸭, https://apps.apple.com/cn/app/%E5%BC%80%E5%8F%A3%E9%B8%AD-%E4%BB%8E%E4%B8%8D%E6%95%A2%E8%AF%B4%E5%88%B0%E4%BC%9A%E8%A1%A8%E8%BE%BE/id6761402209 +https://github.com/knowledgefxg/learning-english, 精选优质英语学习资源合集，专注于听说读写等核心技能的提升。包含语法、词汇和媒体资源，助您更好地学习英语。 +https://github.com/kkkoaoa/biscuit-studio, 小饼干英语视频工坊：从英语知识点到 30 秒竖屏教学视频的一站式 AI 创作工具。 已上线，网址可见： +https://github.com/gtiipoi/ielts-practice, 备考雅思听力，这个开源项目可以直接上手刷题。IELTS Listening Practice 把雅思听力题搬到网页上：不用装软件，打开就能练。适合用电脑做精听、熟题型：音频、题目、答案一页搞定，做完立刻对照解析，不用再到处找音频和 PDF、来回切换。 +https://github.com/lilinji/English, 全网最全英语单词词库 (Anki/Quizlet 等背词工具兼容) +https://www.ncego.com, 发现一个适合系统学英语的网站：夸克英语笔记. 从《新概念英语》第一册到第四册，再到《走遍美国》，按难度整理了完整的教材、课文、语法、词汇和听力口语材料，适合从零基础一路学到中高级。 +[2026/10/08, VIVI @VIVISTAYGOLD, 我是如何在2个月内自学考到雅思7.5，口语7分的？](https://x.com/VIVISTAYGOLD/status/2108186854214471888) ===理财=== @@ -1426,6 +1457,14 @@ https://invest.howlifeusa.com/zh, 美国投资指南, HowLifeUSA推出的《投 [华尔街观察 Xtrader @cnfinancewatch, 十个短线客喜欢的A股 APP](https://x.com/cnfinancewatch/status/2074645568492904818) stock-sdk https://github.com/calesthio/BreakoutAnalysis, 研究股票的朋友多少有这个困扰, 平时不可能一直盯盘, 但又生怕错过突然放量拉升的票. BreakoutAnalysis 干的就是盯盘这个活, 开市期间每 15 分钟扫一遍全美股市场, 揪出放量大涨的股票. +https://www.quiverquant.com, 它可以追踪：1、美国国会议员股票交易 2、特朗普相关持仓 3、Jim Cramer 股票观点 4、公司高管内幕交易; 还有机构持仓、政府合同、游说数据等。 +https://touzid.com, 炒股与投资过程中到底去哪里查看各类数据？ +https://www.languagereactor.com, 别再死背单词了. Language Reactor 能把你本来就在看的东西，变成英语输入. 看剧、刷 YouTube、听播客，顺手把英语学了装个 Chrome 插件，Netflix YouTube 直接出双语字幕. 鼠标点单词：释义、语境、用法都出来，还能存进笔记. 站点上还有 TED、BBC、播客、公版书. 不止英语，日语韩语法语等 40 多种语言都能用. 免费功能已经够用 +https://learnenglish.britishcouncil.org, 学语言不用瞎找，这几个网站真该收好！英语 +https://github.com/wquguru/dasheng, 英语流利说那一套，已经能够被 Jev + 网易有道的实时 ASR 模型 Confucius4-R2T2 平替了，更关键的是，R2T2 和项目仓库都是开源的！！ +https://github.com/wenyuanw/a-share-heatmap, A 股热力图 +https://suoha888.github.io/Trader-Archives, Trader-Archives, 推特上 90% 的内容都是噪音，但剩下的 10% 绝对是无价的干货。我用CodeX+X的API+JEV 把二级、宏观、链上的全能高手麦总 @Michael_Liu93 的推文全收录了！现在Trader-Archives 已经收录两位实战交易员: 第一期，套利/LP 高手 CJ 老师 +@gch_enbsbxbs 第二期，全能交易员/麦总 @Michael_Liu93 ===可视化=== https://github.com/drasimwagan/mdv @@ -1509,7 +1548,7 @@ https://appstoreprice.org/zh/apps https://fmhy.net [2026/06/19, Amto @XAMTO_AI, 听说了没, 闲鱼上那些卖家好多都跑这儿来进货！](https://x.com/XAMTO_AI/status/2067803303791260086) https://github.com/rccyx/thyx Linux 登录管理器 https://github.com/Milktang0128/Dob, 在 macOS 上选中文本后快速用 AI 朗读、解释、翻译、审校并留档的菜单栏工具. 一个安静的 macOS 菜单栏工具. 选中一段文字, 它就弹出工具条——朗读、翻译、解释、提炼、审校, 点一下就好. 支持拿当前页面的上下文一起发给 AI, 也能用多个模型比较结果. 看完觉得有用就留档, 存成本地 Markdown. 兼容 DeepSeek、OpenAI 和各种国产模型. -https://search-sharp.com/ +https://search-sharp.com, 闲鱼搜不到某件东西，很多时候不是没有货，而是搜索词没对上卖家的表达。Search Sharp 可以把“想找的物品”转换成更适合闲鱼检索的关键词。输入目标，它会给出可用的搜索说法，淘二手、小众物件和冷门商品时尤其方便。换一个词，可能就能打开完全不同的结果页。 https://github.com/chess99/tab-out [2026/06/30, 唐清乐 @tangqingyue, 刷知乎看到知乎开放AI接口了](https://x.com/tangqingyue/status/2071877502189138353) https://github.com/ricocc/rico-bookmark-manager, 做了一个书签 SKill 来管理我乱糟糟的 3000 多条浏览器书签 @@ -1528,12 +1567,24 @@ https://github.com/wickenico/WailBrew, WailBrew 就是为此而来: 一款开源 https://github.com/kalcaddle/kodbox, 直接把浏览器魔改成了一个完整的电脑桌面系统. GitHub 上挖出的 3.2k 星开源神器 kodbox, 名义上是个 Web 文件管理器, 实际上是个随身的云端 OS + 在线 IDE. 不管你人在哪, 用谁的电脑, 只要打开浏览器, 立马接管你的所有云盘和本地文件, 还能直接写代码建网站, 白嫖党狂喜！ https://sobrief.com, 不再错过任何好书 https://github.com/nilbuild/developer-roadmap, 一个由社区驱动的交互式开发者成长路线平台, 目前在GitHub上已狂揽360k+星标, 全球排名高居第7位. - - +https://web.archive.org, 给网页留个永久备份，页面被删、网站倒闭，你手里还攥着底牌。 +https://github.com/siknet/FreePEP +https://github.com/ikevss/wechat-ai-memory +https://12306.cjh0613.com/zh/free-refund, 12306免费退票助手; 一个用于避免火车票退票手续费的网站。通过提供晚点列车实时监控信息和详细的免费退票操作指南，帮助用户在列车晚点时顺利退票，从而节省费用。无需输入12306账号密码，所有购票和退票操作仍在官方APP内完成。功能完全免费，无需付费或登录任何账号，只需完成人机验证即可查看晚点列车信息。 +https://t.urongda.com, 高考真题大全. 历年全国高考真题与答案解析，一键下载，助力备考。 +https://github.com/SteveSuv/remix-words-funny, WordsFunny 是一个简单、免费、开源的英语单词学习网站，围绕单词书、单词详情、学习进度和评论互动组织学习流程。 +https://huarun.win, 想查科学上网工具底细，以前得在 GitHub 里翻到手指发酸，现在一个站就给你兜住了，它叫华润赢。 +https://zoo.ink/tvbox.html, 有位大佬把 TvBox 全家桶归置妥了，一条龙摆齐，白嫖党看了直呼过瘾 +https://bjarneo.github.io/ferroprint, 蓝图绘制工具Bjarne Øverli @iamdothash, 这将取代我的 Excalidraw。Ferroprint。Ferroprint，源自制造首批蓝图的铁氰化铁工艺 +https://github.com/KingKongRobotics/jumper, Jumper — an crab robot. +https://github.com/qingjian-team/qingjian, 青简 Qingjian：用 Rust 写的拼音输入法，候选词旁多一条正在学的语言的译词 ===网站复刻=== https://github.com/uxKero/anydesign https://github.com/JCodesMore/ai-website-cloner-template + +ourse-marketing.html) + ===CLI=== https://github.com/iOfficeAI/OfficeCLI https://github.com/jackwener/wx-cli @@ -1576,9 +1627,15 @@ https://github.com/wuchubuzai2018/expert-skills-hub https://github.com/wuchubuzai2018/expert-skills-hub/blob/main/skills/wechat-article-search/SKILL.md https://www.md2wechat.cn/features 内容表达系统, Agent 公众号创作与发布 CLI, 把 Markdown 排版成公众号草稿. md2wechat 覆盖微信 Markdown 编辑器、公众号排版、主题模块、封面配图、标题建议、API 转换和 md2wechat Skill, 帮助人和 Agent 稳定完成公众号发布流程. https://mpbook.geekeditor.com, 公号书 MPBOOK, 把关注的公众号, 装进一座私人书房. +https://studio.yituohub.com, 给各位安利一个自用的公众号排版工具 +叭哥说官方网站：https://bug.youdao.com +https://github.com/sennkuwu/wechat-style-extractor, 从公众号文章中统计颜色、字号、行高、间距和内容组件，预览并复制文章排版。样式统计是启发式识别；未识别项不显示，预览使用默认值。内联样式不能保证公众号编辑器完整保留原始排版。 +https://github.com/freestylefly/WeChatBridge, 微信聊天记录一键转发到 AI Agent 与 Obsidian 的原生 macOS 工具 +https://github.com/yqxie1991/WxCleaner, WxCleaner - 微信重复文件清理工具. WxCleaner 是一款专为清理微信接收文件而设计的轻量级、跨平台桌面工具. 它能够高效扫描指定目录, 通过智能哈希算法快速识别重复文件, 并提供可视化的清理界面, 帮助用户安全释放磁盘空间. ====雷达=== +https://x.com/Jason23818126/status/2099110080268615912 https://github.com/Thysrael/Horizon https://github.com/sansan0/TrendRadar https://github.com/ourongxing/newsnow @@ -1591,7 +1648,8 @@ https://ithome.com https://tophub.today/c/tech 2、AI 今日热榜 只盯 AI 圈, GitHub Trend、Product Hunt、HuggingFace 热门、OpenAI、Anthropic……做 AI 内容的每天必扫一遍. -https://aihot.today +https://aihot.today, https://github.com/KKKKhazix/AIHOT +https://contexi.shadowlaws.com/ai-products/pricing 3、SoPilot(X 爆帖专用) 只看 X 上真正爆了的推文, 抢前排评论、快速捕捉舆论风向全靠它. https://sopilot.net/zh/hot-tweets @@ -1618,6 +1676,10 @@ https://liziran.com/zh/column/ 博客标题鼠标悬浮上去, 有封面, 挺好 https://best.xiaohu.ai/ AI 圈最新的东西, 用大白话讲透 https://github.com/JaredYe04/news-bot https://youtube.qiaomu.ai/ +https://hype.replicate.dev, [别再刷推特了，这个网站才是真正的 AI 情报站！1. GitHub, 2. Replicate, 3. HuggingFace, 4. Reddit](https://x.com/0xCheshire/status/2097662818455900245) +https://github.com/ohmyangboy/PaperRss, PaperRss: 现代纸感 RSS 阅读器原生 macOS 应用. 界面简约沉浸，支持双语翻译与克制的 AI 功能, 一切以阅读为先. +https://qingkeai.online/blog, +https://github.com/fuxiaoai/tidings-rss ===论坛=== https://x.com/wsl8297/status/2061001992752034140 @@ -1651,7 +1713,7 @@ https://javii.tools, 它的功能很简单: 上传一张图片或一段视频, ===求职=== https://github.com/yuanzhongqiao/ai-interview-platform https://github.com/vasu-devs/JustHireMe - +https://github.com/goodseafly/how-to-make-work-pay, 教你把工资、加班费和没休完的年假一分不少地要回来，社保断了怎么接、工伤生育怎么办；被针对、被调岗、被裁时知道怎么走、怎么不留尾巴。576 条建议，每条写明花掉什么、换回什么、证据有多硬，来源只引官方文件原文和研究文献。 ===内核=== https://github.com/tamnd/kernel-index @@ -1676,7 +1738,7 @@ bijitongbu.site https://x.com/Jolyne_AI/status/2071820285645586718 https://github.com/027xiguapi/code-box 免登录复制代码: 不用扫码, 不用登录, 看到代码直接一键拿走. 强解关注限制: 什么“关注博主阅读全文”, 统统强制解锁, 懂的都懂. 一键文章扒站: 直接把整篇文章下载成 Markdown 或 HTML, 本地囤货爽翻. 流氓弹窗杀手: 恶心的登录弹窗、强制跳转 APP 提示, 全部干碎. https://github.com/scriptscat/scriptcat, 在 GitHub 挖到一款比油猴(Tampermonkey)更狠的浏览器脚本插件: ScriptCat. 油猴脚本完全兼容不说, 最大杀手锏是支持后台脚本: 网页关了也照跑. 再加上云同步和脚本订阅, 从安装到管理一条龙, 脚本控直接省心. - +https://github.com/qufei1993/skills-hub, X 赛博清洁工：高置信垃圾账号黄框标注，一键原生拉黑，全端同步消失 ===爬虫=== https://github.com/D4Vinci/Scrapling https://github.com/withoneai/cli @@ -1690,6 +1752,9 @@ https://github.com/NanmiCoder/MediaCrawler 深度优化的爬虫工具 || 省 https://github.com/miantiao-me/ssh-ai-chat, 813 https://github.com/raiyanyahya/kit https://github.com/1broseidon/ketch, ketch, 一个命令行工具, 集成了网页搜索、代码搜索、文档查询和网页抓取等功能. +https://feedsieve.win/lists/keywords, 福滤娃把屏蔽关键词已经全部开源公开到官网了 +https://github.com/aizhimou/javranking-extension, 这是真牛逼，一键展示 JAV 封面与排行榜数据的浏览器扩展，省去逐个翻页的麻烦，快速浏览热门排名。 + 电子书 @@ -1702,6 +1767,13 @@ https://github.com/freeCodeCamp/freeCodeCamp 我的天神爷, 发现一个全球 https://github.com/TapXWorld/ChinaTextbook https://github.com/jbiaojerry/ebook-treasure-chest https://github.com/BryanHoo/FeedFuse +https://tstrs.me/#google_vignette, 里面包含了200多万本书，种类更是多达上百种. 最舒服的还是不用登录 不用积分等等条件，搜完直接跳资源页。以前找书像在用腿跑论坛，现在基本是输入完就结束。 + + +信用卡 +card.lengziyu.cn 的 PC 版来了：http://card-fi.com, 把查卡、选卡、对比和办卡前需要了解的信息，整理到一个更适合电脑使用的网站里。 +https://haiwaibiaoju.com/hot + bun update -g opencode-ai opencode models --refresh @@ -1790,21 +1862,24 @@ deepseek-v4-flash-free > laguna-s-2.1-free > ling-3.0-flash-free > big-pickle > -1. 详细分析下论文 https://arxiv.org/abs/2607.25076 -2. 论文下载到 ./arxiv/2607.25076/paper -2. 将分析结果保存在 ./arxiv/2607.25076/paper-analyzer +1. 详细分析下论文 https://arxiv.org/abs/2601.17063 +2. 论文下载到 ./arxiv/2601.17063/paper +2. 将分析结果保存在 ./arxiv/2601.17063/paper-analyzer 3. 按照 storytelling, academic, concise风格分别输出 4. 需要配图, 建议优先使用论文中的图, 并结合配图进行分析讲解 -1. 详细分析下论文 https://dl.acm.org/doi/10.1145/3636534.3649391 -2. 论文下载到 ./doi/10.1145_3636534.3649391/paper -2. 将分析结果保存在 ./arxiv/10.1145_3636534.3649391/paper-analyzer -3. 按照 storytelling 和 academic 风格分别输出 +1. 详细分析下论文 https://www.computer.org/csdl/proceedings-article/isca/2026/506500a936/2iG0TBZ0Yh2 +2. 论文下载到 ./doi/10.1109_ISCA66397.2026.00075/paper +2. 将分析结果保存在 ./doi/10.1109_ISCA66397.2026.00075/paper-analyzer +3. 按照 storytelling, academic, concise风格分别输出 4. 需要配图, 建议优先使用论文中的图, 并结合配图进行分解 +当前仓库 Flash-MoE: Running a 397B Parameter Model on a Laptop 支持在端侧运行 397B 的大模型。 +其中有代码实现和相关论文，以及文档。 +阅读 docs 下的文档和 paper 下的论文，结合代码详细分析下，Flash-MoE 是怎么搞定大 397B 的大模型入端的 公众号中有很多 [Understanding LLMs from Scratch Using Middle School Math](https://towardsdatascience.com/understanding-llms-from-scratch-using-middle-school-math-e602d27ec876) 的分析和翻译。 1. 查找下所有相关相关的文章和技术分享，将文章保存到 wechat/Understanding-LLMs。标题不限于：初中数学/中学数学 理解 LLM 之类的。 @@ -1835,10 +1910,10 @@ deepseek-v4-flash-free > laguna-s-2.1-free > ling-3.0-flash-free > big-pickle > 2.2 再分析下两个模块在这些方向上如何协作，结合前面的几份报告和架构图，输出一份整体的分析报告，保存到 docs 目录下 -当前目录下有 omlx 和 mlx 的源代码。 -docs 目录下有 omlx 和 mlx 的架构文档和相关技术的分析文档，请生成一个 PPT -1. 详细介绍下 omlx 和 mlx 的整体架构，以及之间的协作关系 -2. 针对两个框架量化/KVCache/长序列等方向的优化，详细展开下 +当前目录下 colibri 的源代码仓库 +详细分析这个仓库的实现。 +分析下当前仓库怎么支撑大模型入端的 +分析结果保存到 ~/Work/GitHub/Knowledge/wechat/Flash-MoE/JustVugg_colibri.md [2025/11/12, 微信公众号--林间有风, 白话Transformer（上）](https://mp.weixin.qq.com/s/vqvr-1YVn9mIW2ZOdvfTDQ) @@ -1854,4 +1929,132 @@ docs 目录下有 omlx 和 mlx 的架构文档和相关技术的分析文档， [2025/09/24, 微信公众号--IRR 实验室, 如何用中学知识理解大模型技术原理](https://mp.weixin.qq.com/s/QyotH4Fw3Ybl72-eGSBnfA) [2024/11/30, 微信公众号--数学中国, 用初中数学理解LLM工作原理](https://mp.weixin.qq.com/s/vofXHc5UsM2izj_J9CJ16g) [2025/01/08, 微信公众号--丁师兄大模型, LLM工作原理，很直观很好懂!](https://mp.weixin.qq.com/s/iIZF58iFHXqU15n8_4nEOg) -[2024/12/20, 微信公众号--数据派THU, 独家 | 用初中数学从零开始理解大语言模型(下)](https://mp.weixin.qq.com/s/Jf9TkeXgc5JpVelmvvNZTg) \ No newline at end of file +[2024/12/20, 微信公众号--数据派THU, 独家 | 用初中数学从零开始理解大语言模型(下)](https://mp.weixin.qq.com/s/Jf9TkeXgc5JpVelmvvNZTg) + + + + + + + + + + +[Claude Code橙皮书：AI编程实战](https://leshu8.com/bookDetail/6a553b30256fc04cfd3454ff) +[全解深度学习——九大核心算法](https://leshu8.com/bookDetail/6a0f756ff0265f5ccb2b614d) +[CPU自制入门](https://leshu8.com/bookDetail/67c40697c0fd5e1542814e51) +[x86汇编与逆向工程：软件破解与防护的艺术](https://leshu8.com/bookDetail/67a7b3167048e060f362eea1) +[图解算法](https://leshu8.com/bookDetail/678638f05ddc0d9d8321d1f2) +[机器学习算法与实践](https://leshu8.com/bookDetail/6a3ed5ebd27a8a755d052cb9) +[Happy-LLM：从零开始构建大模型](https://leshu8.com/bookDetail/6a31758ce257020abe55fa35) +[Transformer模型开发从0到1——原理深入与项目实践, 李瑞涛 著](https://leshu8.com/bookDetail/6a0f748af0265f5ccb2b6141) +[百面大模型](https://leshu8.com/bookDetail/69bef6daa5e0aa6794cc6dbc) +[Vibe Coding：AI编程时代的认知重构](https://leshu8.com/bookDetail/69bef5f8a5e0aa6794cc6dae) +[AI知识库：个人与企业的智慧玩法](https://leshu8.com/bookDetail/69b55b4a2e19dd42a86757db) +[ChatGPT的基本原理与核心算法](https://leshu8.com/bookDetail/68448cd18c9df63d5479b75c) +[计算机系统：从应用程序到底层实现](https://leshu8.com/bookDetail/682677e6e5855184fcc82baf) +[深入浅出人工智能：原理、技术与应用](https://leshu8.com/bookDetail/68239b99a0a9db7b3cd2103b) +[神探狗狗 12：AI之乱](https://leshu8.com/bookDetail/6822b24d15733ea2d9b8c94b) + +[奇思妙想：C++青少年趣味编程100例（视频教学版）](https://leshu8.com/bookDetail/68140731b7370142234e4225) +[人工智能编程实践（C++编程5级）](https://leshu8.com/bookDetail/67b13053ad79cbc5f79a7c40) + +[AI驱动下的量化策略构建（微课视频版）](https://leshu8.com/bookDetail/67c8f7080a61c2c80f1001c2) +[AI助理：用ChatGPT轻松搞定工作](https://leshu8.com/bookDetail/67caa3cfe16c42fc401527a8) +[深度学习的数学](https://leshu8.com/bookDetail/67c5066caea13c95690dedf2) +[大语言模型：基础与前沿](https://leshu8.com/bookDetail/679ff66729ec665fe5b85866) +[零基础学机器学习](https://leshu8.com/bookDetail/679b25bb79f495b8c731944d) +[程序员的三门课：技术精进、架构修炼、管理探秘](https://leshu8.com/bookDetail/67925f1cda9e0d9e1ec464c1) +[漫画图解人工智能](https://leshu8.com/bookDetail/679175b400a38be1f546dfbb) +[大模型入门：技术原理与实战应用](https://leshu8.com/bookDetail/6790cdd61b457309fb4176dc) +[如何高效向GPT提问](https://leshu8.com/bookDetail/676dbcd6794bab40a55b8352) +[大语言模型：原理、应用与优化](https://leshu8.com/bookDetail/6761fe255a0436c4075b59e0) +[GPT图解：大模型是怎样构建的](https://leshu8.com/bookDetail/674e3afa61a867158db271b8) +[通识AI：人工智能基础概念与应用](https://leshu8.com/bookDetail/67455ce1b5ae8b5c3e00c163) +[一本书读懂大模型：技术创新、商业应用与产业变革](https://leshu8.com/bookDetail/673e4a91d46f08b6c2693d38)\ +[大型语言模型实战指南：应用实践与场景落地](https://leshu8.com/bookDetail/67350cfce367121fda7fda83) +[CPU眼里的C/C++[Plus版]](https://leshu8.com/bookDetail/6a7251bea16f506259f19b33) +[青少年的AI学习力](https://leshu8.com/bookDetail/69fa2db3f0265f5ccb292a30) +[动手学AI：孩子的AI魔法书](https://leshu8.com/bookDetail/6a22c5c47374f706c6fdad7c) + + + + + + +详细对比下 opencode go 和 command goal 两个套餐 +opencode go: https://opencode.ai/docs/zh-cn/go +command goal: https://commandcode.ai/docs/plans/goat + + + + + +Understanding_Attention_Handbook_01.pdf Understanding_Attention_Handbook_01_zh-CN.pdf 分别是 Understanding_Attention 的英文版本和中文版本 +1. 帮我做一个中英文对照的版本，最好是一段英文下面配套一段中文的版本，最后保存成 epub 和 pdf 格式 +2. 对照的时候注意下，完整的大块的公式不需要中英文对照。因为这些是不会翻译成中文的，对照之后，公式会显示两遍。 + + + +其中文字中的公式部门没有处理好 +Take query row qi and key row kj. Their dot product is +取查询行 qi 和键行 kj，它们的点积为： +The complete matrix multiplication QK +computes every query-key dot product in parallel: +完整的矩阵乘法 QKT 会并行计算所有查询与键的点积 + +q_i 和 k_j i j 都是下标。然后 QKT T 是上标。这些公式格式不对 + + +我对中英文带公式的时候的处理依旧不满意 + +The paper gives a specific motivation. Suppose the components of q and k are independent random +variables with mean zero and variance one. Then q⊤k = X dk qrkr +论文给出了一个具体动机。假设 q 和 k 的分量是相互独立、均值为 0、方差为 1 的随机变量，那么： +has mean zero and variance dk. As dk grows, unscaled dot products can therefore grow in +magnitude. Large- magnitude logits can push softmax into a saturated regime with very small +gradients. Dividing by √dk normalizes this illustrative variance from dk to approximately one. [3] A +short derivation under those assumptions is +的均值为 0，方差为 dk。因此，随着 dk 增大，未经缩放的点积可能变得更大。绝对值较大的 logits 可能把 softmax +推入梯度很小的饱和区间。除以 + √dk，可以将这个示例中的方差从 +在上述假设下，简短的推导为： + + +这里还是公式没处理好，这里明明是一句话但是被你因为 q⊤k = X dk qrkr 这个公式，给阶段成了两句话，然后中文中这个公式直接消失了q⊤k = X dk qrkr + +类似这种地方还有很多，好好改下，检查下 + + +opencode 配置文件 ~/.config/opencode/opencode.json 中配置 themes 为 tokyonight 为啥没生效。帮我解决下 + + + +https://commandcode.ai/docs/plans/goat + +https://opencode.ai/docs/zh-cn/go + + + + + + + + +我想同时安装 workbuddy 和 workbuddy 国际版，分别在如下两个目录下。 +D:\Software\WorkBuddy\WorkBuddyCN +D:\Software\WorkBuddy\WorkBuddyAI +但是现在安装完两个软件之后，一打开 workbuddy，他直接开始更新，更新成了 WorkBuddy 国际版，并且感觉上像是在自己安装目录 D:\Software\WorkBuddy\WorkBuddyAI 下安装了 workbuddy 国际版 +帮我确认下怎么回事。我当前已经把两个人软件全部卸载，当前只安装了 workbuddy 国际版，没敢继续去安装 workbuddy + +两个安装包位于 + + + + +我想同时安装 workbuddy，到如下目录下 +D:\Software\WorkBuddy\WorkBuddyCN +但是现在安装完，一打开 workbuddy，他直接开始更新，更新成了 WorkBuddy 国际版，并且感觉上像是在自己安装目录 D:\Software\WorkBuddy\WorkBuddyCN 下安装了 workbuddy 国际版，两个版本共存，但是只有国际版能正常打开。 +帮我确认下怎么回事。按道理 workbuddy 不应该升级成国际版的 + +分析下这个仓库的整体架构以及实现，特别是 KIMI K3 是怎么做到 2.78T 的参数量，在端侧 8G 内存的设备上跑起来的，分析结果总结到 docs 目录 \ No newline at end of file