description/open_source: update phoronix vs LWN to date 20250530

study/kernel/00-DESCRIPTION/AI.md

@@ -55,6 +55,8 @@ blogexcerpt: 虚拟化 & KVM 子系统
 # 1 场景
 -------
 
+华擎的 AI QuickSet WSL 旨在通过 WSL 下的自动 ROCm 设置以及安装/配置流行的 AI 软件包以在 WSL+ROCm 下加速执行, 从而轻松"在 Windows 上运行 Linux AI 应用程序". 参见 [phoronix, 2025/09/15, ASRock AI Quickset WSL Aims To Make It Easier Running ROCm + AI Linux Apps On Windows](https://www.phoronix.com/news/ASRock-AI-QuickSet-WSL)
+
 ## 1.1 AI4OS
 -------
 
@@ -209,6 +211,12 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
 
 [Mixture of Lookup Experts](https://arxiv.org/abs/2503.15798) 由于 MoE 会动态选择 experts, 因此所有 EA 都需要加载到 VRAM 中. 它们的大参数大小仍然限制了部署, 而卸载 (仅在需要时将专家加载到 VRAM) 会显著增加推理延迟. 为了解决这个问题, 我们提出了 Mix of Lookup Experts(MoLE), 这是一种新的 MoE 架构, 在通信和 VRAM 使用方面都非常高效. 在 MoLE 中, 专家在训练期间是前馈网络(FFN), 将嵌入层的输出作为输入. 在推理之前, 这些专家可以重新参数化为查找表(LUT), 该查找表根据输入 ID 检索专家输出, 并卸载到存储设备. 因此, 我们不需要在推理过程中执行专家计算. 相反, 我们根据输入 ID 直接检索 EA 的计算结果并将其加载到 VRAM 中, 因此由此产生的通信开销可以忽略不计. 实验表明, 在相同的 FLOPs 和 VRAM 使用量下, MoLE 实现了与密集模型相当的推理速度, 并且在专家卸载的情况下明显快于 MoE, 同时保持与 MoE 相当的性能.
 
+
+| 编号 | 日期 | 模型 | 团队 | 详情 |
+|:---:|:---:|:----:|:---:|:----:|
+|  1  | 2025/09 | [Qwen3-Next](https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d) | 阿里 | [全新MoE架构！阿里开源Qwen3-Next，训练成本直降9成](https://www.jiqizhixin.com/articles/2025-09-12-2), 其模型结构相较 4 月底推出的 Qwen3 的 MoE 模型新增了多种技术并进行了核心改进, 包括混合注意力机制、高稀疏度 MoE 结构、一系列提升训练稳定性的优化, 以及提升推理效率的多 token 预测(MTP)机制等. |
+
+
 ### 2.2.2 稀疏化
 -------
 
@@ -370,6 +378,7 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
 
 [知乎 - 有没有 speculative decoding 的综述？](https://www.zhihu.com/question/657854511)
 
+[公众号 - AI闲谈 - 万字综述 10+ 种 LLM 投机采样推理加速方案](https://mp.weixin.qq.com/s/PyAKiFzbQNq6w7HmaTnSEw)
 
 
 | 编号 | 时间 | 文章 | 描述 |
@@ -395,7 +404,7 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
 |  3  | 2025/03/07 | [SpecServe: Efficient and SLO-Aware Large Language Model Serving with Adaptive Speculative Decoding](https://arxiv.org/abs/2503.05096) | 在本文提出了 SpecServe, 可根据实时请求负载和系统配置动态调整推测策略. SpecServe 提出了一个理论模型来理解和预测不同场景中推测解码的效率. 此外, 它还实现了智能绘图和验证算法, 以保证最佳性能, 同时实现高 SLO 实现. 在实际 LLM 跟踪上的实验结果表明, SpecServe 始终满足 SLO 并实现了实质性的性能改进, 与最先进的推测推理系统相比, 速度提高了 1.14. |
 |  4  | 2024/05/26 | [Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting](https://arxiv.org/abs/2404.18911) | [华为诺亚 | 提出自推测解码框架：Kangaroo，降低成本，提升大模型推理效率！](https://cloud.tencent.com/developer/article/2415194)
 
-#### 3.2.4.2 Multi-Token Prediction(多 token 预测)
+#### 3.2.4.2 MTP/Multi-Token Prediction(多 token 预测)
 -------
 
 | 编号 | 时间 | 论文 | 描述 |
@@ -403,6 +412,7 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
 |  1  | 2025/07/16 | [Your LLM Knows the Future: Uncovering Its Multi-Token Prediction Potential](https://www.alphaxiv.org/abs/2507.11851) | 实现 MTP 框架, 使预训练的自回归大型语言模型能够执行多 token 预测, 在保持生成质量的同时, 为代码和数学任务提供高达 5.35 倍的推理加速, 以及为一般任务提供约 2.5 倍的推理加速.<br>
 研究者们评估了自回归模型在语言模型有监督微调阶段对多 token 预测任务的适应能力. 未来值得探索的一个方向, 是在预训练阶段或下游任务自适应阶段引入该方法, 以进一步检验其适用性与效果. 另一个具有前景的研究方向是将基于扩散的生成方法应用于多 token 预测任务. 研究者们认为, 多 token 预测位于完全自回归生成与完全扩散生成之间, 能够在两者之间取得优势的平衡，兼具效率与质量的潜力. 参见 [机器之心 -- 五倍推理加速，激发自回归潜能，苹果新工作让 LLM 预测未来](https://www.jiqizhixin.com/articles/2025-07-24-9) |
 |  2  | 2025/06/13 | [Improving Large Language Models with Concept-Aware Fine-Tuning](https://arxiv.org/abs/2506.07833) | 当前主流 LLM 都依赖 next-token prediction 进行训练,, 但它却让 AI 很难真正理解跨越多 token 的完整概念. 于是南洋理工大学最近提出了一项新技术——概念感知微调 (CAFT), 首次实现将 multi-token prediction(多 token 预测) 引入微调阶段, 让模型能够像人类一样理解和学习完整概念. 原来 LLM 只能碎片化理解每个 token, 现在 CAFT 可以为模型添加额外的辅助头, 在主模型学习下一个词的同时, 帮助学习后续 token, 并通过动态调整权重, 确保模型始终优先优化主要任务的损失. 最终 LLM 可以兼顾多 token 概念学习, 形成更为完整的认知, 在推理和生成能力增强的同时, 既不会影响模型本身, 也不会额外增加多余成本. 参见量子位报道 [知乎 - 量子位 - 突破单 token 预测局限！南洋理工首次将多 token 预测引入微调](https://zhuanlan.zhihu.com/p/1931778341473616685), [项目地址](https://github.com/michaelchen-lab/caft-llm). |
+|  3  | 2025/09/13 | [FastMTP: Accelerating LLM Inference with Enhanced Multi-Token Prediction](https://github.com/Tencent-BAC/FastMTP/blob/main/FastMTP_technical_report.pdf) | 腾讯开源 LLM 推理加速项目: FastMTP, 主要在推理阶段通过增强多词元预测来改进投机解码, 比传统的逐词生成方式, 在保持输出质量无损的同时，实现平均2.03倍的加速. 其核心是微调一个共享权重的单 MTP 头, 使其在多个因果草稿步中复用, 从而捕捉更长距离的依赖关系, 提高投机解码的接受率. 同时, 在 MTP 头内引入语言感知的词表压缩, 来进一步降低草稿生成的计算开销.<br>1. 投机解码(Speculative Decoding): 借鉴"草稿+验证"的策略, 由一个快速的草稿模型生成多个候选标记, 用主模型进行批量验证, 实现并行处理, 提高推理效率.<br>2. 共享权重的单 MTP 头: 摒弃传统 MTP 的多独立模块设计, 改用共享权重的 MTP 头递归生成多个标记, 减少内存占用, 迫使模型学习更长距离的依赖关系, 提高草稿质量.<br>3. 自蒸馏训练: 使用主模型生成的数据对 MTP 头进行训练, 通过指数衰减的加权交叉熵损失函数, 让 MTP 头优先学习生成与主模型风格和逻辑一致的草稿, 提高草稿的接受率.<br>4. 语言感知词汇压缩: 在草稿生成阶段, 根据输入语境判断语言, 仅计算高频词汇的 logits, 减少计算量, 验证阶段用全量词汇, 确保输出质量不受影响. 参见 [FastMTP – 腾讯开源的大语言模型推理加速技术](https://ai-bot.cn/fastmtp) 和 [【LLM】大模型投机采样Speculative Sampling推理加速](https://blog.csdn.net/qq_35812205/article/details/149914702) |
 
 
 ### 3.2.5 并行解码

study/kernel/00-DESCRIPTION/DEBUGGING.md

@@ -1301,7 +1301,7 @@ Fedora 尝试优化 systemd 开机以及重启的时间, 参见 phoronix 报道
 | 2025/05/12 | Nam Cao <namcao@linutronix.de> | [RV: Linear temporal logic monitors for RT application](https://lore.kernel.org/all/cover.1747046848.git.namcao@linutronix.de) |旨在为实时( RT) 应用引入基于线性时序逻辑( LTL)的运行时验证( RV) 监控机制. 补丁系列包括以下关键内容: <br>1. LTL监控支持: 新增 LTL 监控模块, 相比原先的确定性自动机, LTL 更简洁直观,适合表达实时规则;<br>2. RT 应用监控器(rtapp): 作为容器封装子监控模块;<br>3.  页错误监控( rtapp_pagefault): 用于检测实时任务中的页错误; <br>4. 睡眠监控( rtapp_sleep): 检测实时线程中可能引起延迟的睡眠行为;<br>5. 配置支持: 允许配置每任务监控器数量, 以同时启用多个监控; <br>6. 文档更新: 补充 LTL 和监控器相关文档; <br>7. 代码结构优化: 整合 dot2k 和 rvgen 工具, 重构模板与类结构, 提升代码可维护性.<br>各版本更新主要修复脚本问题、优化检测逻辑、处理边缘情况, 并调整部分架构的跟踪点. 补丁已覆盖 x86、ARM64 和 RISC-V 架构. | v8 ☐☑✓ | [2025/05/12, LORE v8, 0/22](https://lore.kernel.org/all/cover.1747046848.git.namcao@linutronix.de) |
 | 2025/07/30 | Nam Cao <namcao@linutronix.de> | [rv: LTL per-cpu monitor type and real-time scheduling monitor](https://lore.kernel.org/all/cover.1753879295.git.namcao@linutronix.de) | 邮件提出了一组 5 个补丁, 旨在为 Linux 内核的 Roving( rv) 子系统添加对线性时序逻辑(LTL) 的 per-cpu 监控类型支持, 并新增一个用于验证实时调度(real-time scheduling) 的监控模块. 该系列补丁首先对现有 LTL 监控代码进行重构, 以支持多种监控类型; 随后实现 per-cpu 监控机制, 类似于现有的确定性自动机监控. 此外, 补丁还引入了新的 trace point 用于实时任务的入队与出队事件, 并通过 rvgen 工具生成LTL 监控代码. 最终新增的 rts 监控模块可检测实时调度行为是否符合预期. | v1 ☐☑✓ | [2025/07/30, LORE v1, 0/5](https://lore.kernel.org/all/cover.1753879295.git.namcao@linutronix.de) |
 | 2025/07/23 | Gabriele Monaco <gmonaco@redhat.com> | [tools/verification: Improvements to rv and rvgen](https://lore.kernel.org/all/20250723161240.194860-1-gmonaco@redhat.com) | 改进 Linux 内核中的 rv 和 rvgen 验证工具. 主要内容包括: <br>1. 修复 rv 工具在使用 -s 选项时跳过 idle 任务的问题;<br>2. 增加 rv 对 SIGTERM 信号的优雅终止处理; <br>3. 修改 dot2c 脚本避免生成超过 100 列的代码行; <br>4. 调整 RV Kconfig 文件中嵌套监控模块的顺序; <br>5. 在 DA 监控初始化失败时返回正确错误码, 而非 0. | v1 ☐☑✓ | [2025/07/23, LORE v1, 0/5](https://lore.kernel.org/all/20250723161240.194860-1-gmonaco@redhat.com)<br>*-*-*-*-*-*-*-* <br>[2025/08/06, LORE v2, 0/5](https://lore.kernel.org/all/cover.1754466623.git.namcao@linutronix.de)<br>*-*-*-*-*-*-*-* <br>[2025/08/11, LORE v3, 0/5](https://lore.kernel.org/all/cover.1754900299.git.namcao@linutronix.de) |
-| 2025/08/14 | Gabriele Monaco <gmonaco@redhat.com> | [rv: Add Hybrid Automata monitor type, per-object and deadline monitors](https://lore.kernel.org/all/20250814150809.140739-1-gmonaco@redhat.com) | 改进 Linux 内核中的 RV( Runtime Verification) 监控功能, 目标是增强内核运行时验证能力, 提升调度与实时性监控的准确性. 核心内容包括: <br>1. 混合自动机(Hybrid Automata) 监控类型: 扩展确定性自动机, 支持环境变量约束判断, 适用于定时自动机场景. <br>2. 对象级监控(Per-object Monitors): 支持为任意对象(如任务) 创建监控实例, 通过 ID 索引存储监控数据. <br>3. 期限(Deadline)监控集合: 新增 throttle 和 nomiss 监控模块, 用于验证 deadline 调度器的时间行为. <br>4.  对 da_monitor 进行宏清理与重构, 提升代码可维护性. <br>5.  多处文档更新与 rvgen 工具链改进, 支持新监控类型的生成与集成. | v1 ☐☑✓ | [2025/08/14, LORE v1, 0/17](https://lore.kernel.org/all/20250814150809.140739-1-gmonaco@redhat.com) |
+| 2025/08/14 | Gabriele Monaco <gmonaco@redhat.com> | [rv: Add Hybrid Automata monitor type, per-object and deadline monitors](https://lore.kernel.org/all/20250814150809.140739-1-gmonaco@redhat.com) | 改进 Linux 内核中的 RV( Runtime Verification) 监控功能, 目标是增强内核运行时验证能力, 提升调度与实时性监控的准确性. 核心内容包括: <br>1. 混合自动机(Hybrid Automata) 监控类型: 扩展确定性自动机, 支持环境变量约束判断, 适用于定时自动机场景. <br>2. 对象级监控(Per-object Monitors): 支持为任意对象(如任务) 创建监控实例, 通过 ID 索引存储监控数据. <br>3. 期限(Deadline)监控集合: 新增 throttle 和 nomiss 监控模块, 用于验证 deadline 调度器的时间行为. <br>4.  对 da_monitor 进行宏清理与重构, 提升代码可维护性. <br>5.  多处文档更新与 rvgen 工具链改进, 支持新监控类型的生成与集成. | v1 ☐☑✓ | [2025/08/14, LORE v1, 0/17](https://lore.kernel.org/all/20250814150809.140739-1-gmonaco@redhat.com)<br>*-*-*-*-*-*-*-* <br>[2025/09/19, LORE v2, 0/20](https://lore.kernel.org/all/20250919140954.104920-1-gmonaco@redhat.com)|
 
 
 # 21 新语言支持
@@ -1341,7 +1341,7 @@ Fedora 尝试优化 systemd 开机以及重启的时间, 参见 phoronix 报道
 | 2024/10/22 | Danilo Krummrich <dakr@kernel.org> | [Device / Driver PCI / Platform Rust abstractions](https://lore.kernel.org/all/20241022213221.2383-1-dakr@kernel.org) | 参见 phoronix 报道 [phoronix, 2024/11/11, Linux 6.13 Rust Support Allowing For In-Place Modules](https://www.phoronix.com/news/Linux-6.13-Rust-InPlaceModule) | v3 ☐☑✓ | [LORE v3,0/16](https://lore.kernel.org/all/20241022213221.2383-1-dakr@kernel.org) |
 | 2024/09/15 | Alice Ryhl <aliceryhl@google.com> | [File abstractions needed by Rust Binder](https://lore.kernel.org/all/20240915-alice-file-v10-0-88484f7a3dcf@google.com) | 参见 phoronix 报道 [phoronix, 2024/11/16, Linux 6.13 Introducing New Rust File Abstractions](https://www.phoronix.com/news/Linux-6.13-Rust-File-Abstract) | v10 ☐☑✓ | [LORE v10,0/8](https://lore.kernel.org/all/20240915-alice-file-v10-0-88484f7a3dcf@google.com) |
 | 2024/09/15 | Alice Ryhl <aliceryhl@google.com> | [Implement DWARF modversions](https://www.uwsg.indiana.edu/hypermail/linux/kernel/2501.0/02022.html) | 参见 [phoronix, 2025/02/01, gendwarfksyms Tool Added To Linux 6.14 To Help With Rust Push](https://www.phoronix.com/news/Linux-6.14-gendwarfksyms). | NA | [LORE v10,0/8](https://www.uwsg.indiana.edu/hypermail/linux/kernel/2501.0/02022.html) |
-
+| 2025/09/04 | Boqun Feng <boqun.feng@gmail.com> | [Rust atomic changes for v6.18](https://lore.kernel.org/all/20250905044141.77868-1-boqun.feng@gmail.com) | 邮件提交了针对 Linux v6. 18 的 14 个补丁, 主要内容为 Rust 原子操作的支持更新. 主要变更包括: 引入通用 LKMM 原子变量支持, 确保 Rust与 C 侧内存模型一致, 提升 Rust 核心并发能力; 添加 `refcount_t` 的 Rust 封装, 避免在 Rust 侧自定义引用计数实现. 参见 [Linux 6.18 To Allow Rust And C Code To Use The Same Memory Model](https://www.phoronix.com/news/Rust-Atomic-LKMM-Linux-6.18) | v6 ☐☑✓ | [2025/09/04, LORE v6, 0/14](https://lore.kernel.org/all/20250905044141.77868-1-boqun.feng@gmail.com) |
 
 
 ### 21.1.1 Rust Driver
@@ -1353,8 +1353,8 @@ Fedora 尝试优化 systemd 开机以及重启的时间, 参见 phoronix 报道
 | 时间 | 作者 | 特性 | 描述 | 是否合入主线 | 链接 |
 |:---:|:----:|:---:|:----:|:---------:|:----:|
 | 2024/05/20 | Danilo Krummrich <dakr@redhat.com> | [DRM Rust abstractions and Nova](https://gitlab.freedesktop.org/drm/nova/-/tree/nova-next) | 参见 [phoronix, 2025/03/10, The New Rust-Written NVIDIA "NOVA" Driver Submitted Ahead Of Linux 6.15](https://www.phoronix.com/news/NOVA-Driver-For-Linux-6.15), [phoronix, 2025/01/31, "NOVA-Core" Patches Propose Building New NVIDIA Driver Piece-By-Piece In The Linux Kernel](https://www.phoronix.com/news/NOVA-Core-Patches), [phoronix, 2024/05/20, RFC Patches Posted For Rust-Written NVIDIA "Nova" GPU Driver](https://www.phoronix.com/news/RFC-Rust-Nova-NVIDIA-Driver) | v1 ☐☑✓ | [LORE v1,0/8](https://lore.kernel.org/all/20240520172059.181256-1-dakr@redhat.com) |
-| 2025/03/13 | Rahul Rameshbabu <sergeantsagara@protonmail.com> | [Initial work for Rust abstraction for HID device driver development](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com) | [phoronix, 2025/03/16, Linux Kernel's Rust Support Being Expanded To HID Drivers](https://www.phoronix.com/news/Linux-Rust-HID-Drivers-Patches) | v1 ☐☑✓ | [LORE v1,0/3](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com) |
-
+| 2025/03/13 | Rahul Rameshbabu <sergeantsagara@protonmail.com> | [Initial work for Rust abstraction for HID device driver development](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com) | [phoronix, 2025/03/16, Linux Kernel's Rust Support Being Expanded To HID Drivers](https://www.phoronix.com/news/Linux-Rust-HID-Drivers-Patches) | v1 ☐☑✓ | [LORE v1,0/3](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com)|
+| 2025/09/21 | [rust_binder: add Rust Binder driver](https://git.kernel.org/pub/scm/linux/kernel/git/gregkh/char-misc.git/commit/?h=char-misc-next&id=eafedbc7c050c44744fbdf80bdf3315e860b7513) | [phoronix, 2023/12/02, Google Rewriting Android's Binder In Rust With Promising Results](https://www.phoronix.com/news/Google-Linux-Binder-In-Rust), [phoronix, 2025/09/21, Linux 6.18 Expected To Land Google's Rust Binder Driver](https://www.phoronix.com/news/Rust-Binder-For-Linux-6.18) |
 
 ## 22.2 C++
 -------

study/kernel/00-DESCRIPTION/TOOLS.md

@@ -231,7 +231,7 @@ Arch Linux 在 2022 年 5 月份开始了也提供了他们的 [debuginfod 调
 [GitHub](https://github.com/vusec/kasper)
 [Paper](https://download.vusec.net/papers/kasper_ndss22.pdf)
 
-
+[phoronix, 2025/09/05, Linux Kernel Runtime Guard 1.0 Released For Security Vulnerability Exploit Detection](https://www.phoronix.com/news/LKRG-1.0-Released)