mirror of
https://github.com/gatieme/LDD-LinuxDeviceDrivers.git
synced 2026-08-17 16:52:08 +08:00
description/AI: update AI framework
This commit is contained in:
Cheng Jian
@@ -167,11 +167,11 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
|
||||
|
||||
|
||||
# 4 推理框架
|
||||
# 3 推理框架
|
||||
-------
|
||||
|
||||
|
||||
## 4.1 推理框架汇总
|
||||
## 3.1 推理框架汇总
|
||||
-------
|
||||
|
||||
[大模型推理框架概述](https://zhuanlan.zhihu.com/p/659792625)
|
||||
@@ -182,6 +182,10 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
|
||||
[phoronix, 2024/12/07, Llamafile 0.8.17 Brings New Web UI For This Easy-To-Distribute AI LLM Framework](https://www.phoronix.com/news/Llamafile-7-Released)
|
||||
|
||||
|
||||
### 3.1.1 推理引擎框架
|
||||
-------
|
||||
|
||||
| 编号 | 推理框架 | 团队 | 介绍 |
|
||||
|:---:|:-------:|:---:|:---:|
|
||||
| 1 | [vLLM](https://github.com/vllm-project/vllm) | UC Berkeley | vLLM 是一个开源的大模型推理加速框架, 通过 PagedAttention 高效地管理 attention 中缓存的张量, 实现了比 HuggingFace Transformers 高 14-24 倍的吞吐量. PagedAttention 是 vLLM 的核心技术, 它解决了 LLM 服务中内存的瓶颈问题. 传统的注意力算法在自回归解码过程中, 需要将所有输入 Token 的注意力键和值张量存储在 GPU 内存中, 以生成下一个 Token. 这些缓存的键和值张量通常被称为 KV 缓存. [vLLM(二) 架构概览](https://zhuanlan.zhihu.com/p/681716326) |
|
||||
@@ -196,8 +200,34 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
| 10 | MLC LLM | NA | MLC LLM 是一种通用部署解决方案. 可在客户端 (边缘计算), 例如 Android 或 iPhone 平台上, 本地部署 LLM. [MLC LLM：将 LLMs 部署到消费类硬件的优势、挑战以及解决方案](https://blog.csdn.net/FrenzyTechAI/article/details/132340135) |
|
||||
| 11 | [PaddlePaddle/Anakin](https://github.com/PaddlePaddle/Anakin) | BaiDu | 一个高性能的跨平台推理引擎, 可以在 x86 CPU, ARM, NVIDIA GPU, AMD GPU, 比特大陆以及寒武纪等设备上运行. |
|
||||
| 12 | [mllm](https://github.com/UbiquitousLearning/mllm) | [UbiquitousLearning](https://ubiquitouslearning.github.io/mllm_website) | 一个快速轻量级的多模态 LLM 推理引擎, 适用于移动和边缘设备, C/C++ 实现, 无任何其他依赖, 并针对多模态比如 fuyu-8B 进行了优化, 支持 ARM NEON 和 x86 AVX2 加速, 以及 4BIT 和 8BIT 整数量化. |
|
||||
| 13 | [XiaoMi/Mace](https://github.com/XiaoMi/mace) | 小米 | MACE (Mobile AI Compute Engine) 是一个针对移动异构计算平台优化的深度学习推理框架. 它专注于以下目标: 性能、功耗、响应性、内存使用和库体积、模型保护以及平台覆盖. MACE 支持 TensorFlow、Caffe和ONNX等多种模型格式, 并提供了丰富的示例和文档. |
|
||||
| 14 | [Google-AI-Edge/litert](https://github.com/google-ai-edge/LiteRT) | Google Ai Edge | LiteRT(原名 TensorFlow-Lite) 是 Google 开源的高性能端侧 AI 运行时 |
|
||||
| 15 | [AliBaBa/MNN](https://github.com/alibaba/MNN) | AliBaBa | MNN 是一个高效轻量级的深度学习框架, 在阿里巴巴的关键业务场景中得到广泛应用. 它支持深度学习模型的推理和训练, 在设备上具有业界领先的性能. MNN 还提供了一系列工具, 包括模型转换、压缩、表达式计算等功能. |
|
||||
| 16 | [Tencent/TNN](https://github.com/Tencent/TNN) | Tencent | TNN 是由腾讯优图实验室和广影实验室开发的一个跨平台、高性能的深度学习推理框架. 它具有跨平台能力、高性能、模型压缩和代码裁剪等多项优秀特性. TNN 在原有的 ncnn 和 Rapidnet 框架基础上, 进一步加强了对移动设备的支持和性能优化, 同时也借鉴了业界主流开源框架的高性能和良好扩展性特点, 扩展了对X86和NV GPU的支持. TNN已经被应用于腾讯移动QQ、微视、Pitu等多个应用中. |
|
||||
| 17 | [Paddle-Lite](https://github.com/PaddlePaddle/Paddle-Lite) | [PaddlePaddle](https://www.paddlepaddle.org.cn/lite) | Paddle Lite 面向端侧场景的轻量化推理引擎 Paddle Lite, 可以实现飞桨模型在 x86/ARM 平台下多种 OS 内的高效部署, 同时支持在 10 种以上的 GPU/NPU 异构后端上进行推理加速和混合调度. 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架, 定位于支持包括移动端、嵌入式以及边缘端在内的多种硬件平台. 它提供了简单易用的部署流程,支持多种硬件平台和多种编程语言,并且具有优秀的加速、优化策略及实现. |
|
||||
| 18 | [uTensor]() | NA | NA |
|
||||
| 19 | Core ML | Apple | NA |
|
||||
| 20 | MediaPipe | Google |
|
||||
|
||||
## 4.2 推理加速
|
||||
### 3.1.2 推理加速库
|
||||
-------
|
||||
|
||||
|
||||
| 编号 | 加速框架 | 团队 | 介绍 |
|
||||
|:---:|:-------:|:---:|:---:|
|
||||
| 1 | [ARM-software/CMSIS-NN](https://github.com/ARM-software/CMSIS-NN) | ARM | CMSIS-NN 是一个高性能的神经网络内核软件库, 旨在最大化 Arm Cortex-M 处理器上神经网络的性能并最小化内存占用. 它遵循 TensorFlow Lite for Microcontrollers 的 INT8 和 INT16 量化规范, 与 TensorFlow Lite 参考内核完全一致. 该库提供了针对不同 Arm 处理器架构的优化实现, 包括纯 C、 DSP 扩展和 MVE 扩展等. |
|
||||
| 2 | [SNPE](https://www.qualcomm.com/developer?redirect=qdn) | Qualcomm Snapdragon | SNPE 是 Qualcomm Snapdragon Neural Processing Engine 的简称. SNPE 是神经网络在骁龙平台上推理的开发套件, 方便开发者在使用高通芯片的设备上加速AI应用. 支持的模型框架: TensorFlow, CAFFE, ONNX, TensorFlowLite. 比如 [SNPE_Tutorial](https://github.com/gesanqiu/SNPE_Tutorial) |
|
||||
| 3 | [PX4/eigen](https://github.com/PX4/eigen) | PX4 | Eigen 是一个 C++ 模板库, 用于线性代数: 矩阵、向量、数值求解器和相关算法. 它提供了一个高效、灵活和易于使用的接口,适用于各种应用程序.|
|
||||
| 4 | [Google/XNNPACK](https://github.com/google/XNNPACK) | Google | XNNPACK 是一个针对 ARM、x86、WebAssembly 和 RISC-V 平台的高度优化的神经网络推理解决方案. 它不是直接面向深度学习从业者和研究人员使用的, 而是为诸如 TensorFlow Lite、TensorFlow.js、PyTorch、ONNX Runtime 和 MediaPipe 等高级机器学习框架提供低级性能原语,以加速它们的推理性能. |
|
||||
| 5 | [OpenBLAS](https://github.com/OpenMathLib/OpenBLAS) | OpenBLAS | 开源的 CPU 线性代数库，支持多线程和 SIMD 加速, 广泛应用于科学计算和深度学习框架(如 PyTorch). |
|
||||
| 6 | [Intel MKL(Math Kernel Library)]() | NA | 针对 Intel CPU 优化的数学计算库, 支持矩阵运算、FFT 等. 在 Intel 平台上性能优于 Eigen. |
|
||||
| 7 | [Arm Compute Library](https://github.com/ARM-software/ComputeLibrary) | ARM | Arm CPU/GPU 的加速库, 支持图像处理和机器学习算子. 针对 Cortex-A/Cortex-M 优化, 兼容 CMSIS-NN46. |
|
||||
| 8 | [CuPy](https://github.com/cupy/cupy) | NA | 基于 NVIDIA GPU 的数值计算库，语法兼容 NumPy. 替代部分 Eigen 功能, 适合 GPU 加速场景. |
|
||||
| 9 | [neon](https://github.com/NervanaSystems/neon) | Intel | neon 是英特尔公司开源的深度学习框架, 致力于在各种硬件上提供最佳性能. 它设计简单易用, 并且具有可扩展性. |
|
||||
| 10 | [lapack](https://github.com/Reference-LAPACK/lapack) | NA | LAPACK 是一个用于解决常见数值线性代数问题的 Fortran 子程序库. 它是一个免费提供的软件包, 可以包含在商业软件包中. LAPACK 包含了 Fortran 源代码、测试程序、基本线性代数子程序(BLAS)的 Fortran 参考实现, 以及 CBLAS 和 LAPACKE 的 C 接口. |
|
||||
| 11 | [Tencent/ncnn](https://github.com/Tencent/ncnn) | Tencent | ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架. 它从设计之初就深入考虑了手机端的部署和使用. ncnn 无第三方依赖、跨平台, 在手机端 CPU 上的速度快于目前所有已知的开源框架. 开发者可以轻松将深度学习算法移植到手机端高效执行, 开发出人工智能 APP, 将 AI 带到用户的指尖. ncnn 目前已在腾讯多款应用中使用, 如 QQ、Qzone、微信、天天 P 图等. |
|
||||
|
||||
## 3.2 推理加速
|
||||
-------
|
||||
|
||||
|
||||
@@ -207,7 +237,9 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
|
||||
[知乎--刀刀宁聊大模型推理--笔记：学习推理加速半年之总结与迷思](https://zhuanlan.zhihu.com/p/704938096)
|
||||
|
||||
### 4.2.1 KV Cache 压缩
|
||||
[知乎-锦年-全面解析 LLM 推理优化：技术、应用与挑战](https://zhuanlan.zhihu.com/p/18736565021)
|
||||
|
||||
### 3.2.1 KV Cache 压缩
|
||||
-------
|
||||
|
||||
[SnapKV: LLM在生成内容之前就知道您在寻找什么](https://blog.csdn.net/qq_36931982/article/details/139118015)
|
||||
@@ -219,22 +251,23 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
[大模型推理加速：KV Cache Sparsity(稀疏化)方法](https://zhuanlan.zhihu.com/p/701580870)
|
||||
|
||||
[聊聊大模型推理中的 KVCache 之异构缓存](https://zhuanlan.zhihu.com/p/714288577)
|
||||
|
||||
[聊聊大模型推理中的 KVCache 压缩](https://zhuanlan.zhihu.com/p/708946312)
|
||||
|
||||
|
||||
### 4.2.2 稀疏感知推理加速
|
||||
### 3.2.2 稀疏感知推理加速
|
||||
-------
|
||||
|
||||
[论文笔记：DejaVu、LLM in Flash、PowerInfer](https://zhuanlan.zhihu.com/p/675585887)
|
||||
|
||||
[苹果极致LLM端侧方案：LLM in a flash](https://zhuanlan.zhihu.com/p/673775476)
|
||||
|
||||
### 4.2.3 首 Token 时延优化
|
||||
### 3.2.3 首 Token 时延优化
|
||||
-------
|
||||
|
||||
[[Prefill优化][万字]🔥原理&图解vLLM Automatic Prefix Cache(RadixAttention): 首Token时延优化](https://zhuanlan.zhihu.com/p/693556044)
|
||||
|
||||
### 4.2.4 投机执行
|
||||
### 3.2.4 投机执行
|
||||
-------
|
||||
|
||||
[论文导读 | 投机解码加速模型推理](https://zhuanlan.zhihu.com/p/698333087)
|
||||
@@ -245,8 +278,26 @@ MoE(Mixed Expert Models), 即混合专家模型, 首次在 1991 年的论文 [Ad
|
||||
|
||||
[LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理](https://www.jiqizhixin.com/articles/2023-05-30-3)
|
||||
|
||||
[知乎-LLM推理加速新范式！推测解码（Speculative Decoding）最新综述](https://zhuanlan.zhihu.com/p/678404136)
|
||||
|
||||
## 4.3 算子库
|
||||
[知乎-投机采样（Speculative Decoding），另一个提高LLM推理速度的神器（三）](https://zhuanlan.zhihu.com/p/681401656)
|
||||
|
||||
[知乎-刀刀宁-聊聊大模型推理服务之投机推理](https://zhuanlan.zhihu.com/p/699166575)
|
||||
|
||||
[知乎-hemingkx-推测解码（Speculative Decoding）哪家强？-- 最新评测基准Spec-Bench分享](https://zhuanlan.zhihu.com/p/683995502)
|
||||
|
||||
| 编号 | 算法 | 描述 |
|
||||
|:---:|:---:|:----:|
|
||||
| NA | NA | NA |
|
||||
|
||||
|
||||
### 3.2.5 分布式推理
|
||||
-------
|
||||
|
||||
|
||||
|
||||
|
||||
## 3.3 算子库
|
||||
-------
|
||||
|
||||
|
||||
@@ -260,7 +311,7 @@ dmlc/tvm
|
||||
|
||||
ARM-software/ComputeLibrary
|
||||
|
||||
# 5 分析工具
|
||||
# 4 分析工具
|
||||
-------
|
||||
|
||||
| 编号 | 内容 | 详情 |
|
||||
@@ -268,10 +319,10 @@ ARM-software/ComputeLibrary
|
||||
| 1 | [Interactive Tools for machine learning, deep learning, and math](https://github.com/Machine-Learning-Tokyo/Interactive_Tools) | 用于机器学习、深度学习和数学运算的交互式工具. |
|
||||
| 2 | [Visual Guides to understand the basics of Large Language Models](https://towardsdatascience.com/visual-guides-to-understand-the-basics-of-large-language-models-0715701bdd20) | 一系列工具与文章的汇编, 直观易懂地解读复杂的 AI 概念. 译文 [深入浅出：大语言模型的视觉解析 [译]](https://baoyu.io/translations/llm/visual-guides-to-understand-the-basics-of-large-language-models). |
|
||||
|
||||
## 5.1 Tokenizer
|
||||
## 4.1 Tokenizer
|
||||
-------
|
||||
|
||||
### 5.1.1 Token 计算器
|
||||
### 4.1.1 Token 计算器
|
||||
-------
|
||||
|
||||
| 编号 | 工具 | 团队 | 详情 |
|
||||
@@ -279,7 +330,7 @@ ARM-software/ComputeLibrary
|
||||
| 1 | 灵积 Token 计算器 | 阿里 | [阿里 / DashScope 模型服务灵积 / Token 计算器](https://dashscope.console.aliyun.com/tokenizer) |
|
||||
| 2 | OpenAI/Token 计算器 | OpenAI | [OpenAI/Token 计算器](https://platform.openai.com/tokenizer) |
|
||||
|
||||
### 5.1.2 Tokenizer
|
||||
### 4.1.2 Tokenizer
|
||||
-------
|
||||
|
||||
[大模型分词：sentencepiece vs titoken](https://zhuanlan.zhihu.com/p/691609961)
|
||||
@@ -298,7 +349,7 @@ ARM-software/ComputeLibrary
|
||||
| 6 | [OpenNMT/Tokenizer](https://github.com/OpenNMT/Tokenizer) | 一个快速, 通用, 可定制的文本分词器, 支持 C++/Python, 依赖最小. 提供了多种功能, 包括可逆分词, 子词分词, 高级文本分段, 大小写管理以及保护序列等. |
|
||||
|
||||
|
||||
## 5.2 Transformer
|
||||
## 4.2 Transformer
|
||||
-------
|
||||
|
||||
| 编号 | 工具 | 团队 | 详情 |
|
||||
@@ -312,7 +363,7 @@ ARM-software/ComputeLibrary
|
||||
| 7 | [hahnyuan/LLM-Viewer](https://github.com/hahnyuan/LLM-Viewer) | 一个可视化语言与学习模型 LLMs 并分析在不同硬件平台上性能的工具. 可以进行网络级分析, 考虑峰值内存消耗和总推理时间成本等因素. 使用 LLM-Viewer, 可以获取 LLM 推理和性能优化的宝贵见解. 可以在 Web 浏览器或者命令行(CLI) 工具中使用. 在线体验地址 [LLM-Viewer Web](http://llm-viewer.com). 参见论文 [LLM Inference Unveiled: Survey and Roofline Model Insights](https://arxiv.org/abs/2402.16363). |
|
||||
|
||||
|
||||
## 5.3 评测平台
|
||||
## 4.3 评测平台
|
||||
-------
|
||||
|
||||
| 编号 | 工具 | 团队 | 详情 |
|
||||
@@ -321,11 +372,11 @@ ARM-software/ComputeLibrary
|
||||
|
||||
|
||||
|
||||
# 6 基础理论
|
||||
# 5 基础理论
|
||||
-------
|
||||
|
||||
|
||||
## 6.1 基础理论汇总
|
||||
## 5.1 基础理论汇总
|
||||
-------
|
||||
|
||||
|
||||
@@ -352,7 +403,7 @@ ARM-software/ComputeLibrary
|
||||
| [SylphAI-Inc/llm-engineer-handbook](https://github.com/SylphAI-Inc/llm-engineer-handbook) | NA |
|
||||
|
||||
|
||||
## 6.2 Survey
|
||||
## 5.2 Survey
|
||||
-------
|
||||
|
||||
|
||||
@@ -367,7 +418,10 @@ ARM-software/ComputeLibrary
|
||||
| 2024/05/23 | LLMs | [Efficient Large Language Models: A Survey](https://arxiv.org/abs/2312.03863) | Zhongwei Wan | [AIoT-MLSys-Lab](https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey) | 本文对高效 LLMs 研究的发展进行了系统而全面的回顾, 并将文献整理成由三个主要类别组成的分类法, 从模型中心、数据中心和框架中心的角度涵盖了不同但相互关联的高效 LLMs 主题, 并且从以模型为中心和以数据为中心的角度, 回顾了 LLMs 的算法层面和系统层面的高效技术. 详细介绍了每个分类下的具体技术, 如: 量化, 剪枝, 知识蒸馏, 数据选择, 提示工程等<br>1. [知乎--黄浴--高效大语言模型：综述](https://zhuanlan.zhihu.com/p/671710012)<br>2. [知乎--磐石--大模型高效推理 I 推理技术框架总结](https://zhuanlan.zhihu.com/p/696850285)<br>3. [知乎--享享学AI--大模型LLM微调技术方法汇总！](https://zhuanlan.zhihu.com/p/673675939) |
|
||||
| 2024/04/22 | 综述 | [A Survey on Efficient Inference for Large Language Models](https://arxiv.org/abs/2404.14294) | Zixuan Zhou | 1. [如何加速大模型推理？万字综述全面解析大语言模型高效推理技术 ](https://www.sohu.com/a/790365299_121119001)<br>2. [知乎--罗清雨--大语言模型高效推理综述](https://zhuanlan.zhihu.com/p/707685591) |
|
||||
| 2023/06/23 | 多模态 | [A Survey on Multimodal Large Language Models](https://arxiv.org/abs/2306.13549) | Shukang Yin | [BradyFU](https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models) | 本综述中主要介绍了多模态幻觉、多模态上下文学习(Multimodal InContext Learning，M-ICL)、多模态思维链(Multimodal Chain of Thought，M-CoT)和 LLM 辅助的视觉推理(LLM-Aided Visual Reasoning，LAVR)等. |
|
||||
| 2024/07/26 | [Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models](https://arxiv.org/abs/2407.15904) | Aayush Saxena |
|
||||
| 2024/07/26 | 模型压缩 | [Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models](https://arxiv.org/abs/2407.15904) | Aayush Saxena | 近年来, 深度学习模型在大多数行业都取得了巨大成功. 这些模型的发展还导致模型大小和能源需求增加, 使其难以在低计算设备上的生产环境中进行部署. 全球互联设备数量的增加保证了压缩模型可以轻松部署在本地设备上, 但计算容量和电源可访问性较低. 不同的研究人员提出了广泛的解决方案来减小此类模型的大小和复杂性, 其中突出的是权重量化、参数修剪、网络修剪、低秩表示、权重共享、神经架构搜索、知识蒸馏等. 在这项研究工作中, 我们调查了使用量化和修剪技术进行压缩的各种训练有素的深度学习模型的性能影响. 我们在图像分类、对象检测、语言模型和基于生成模型的问题陈述中使用的常用深度学习模型上实施了量化和剪枝压缩技术. 我们还探讨了各种大型语言模型在量化和低秩适应后的性能. 我们对所有相关问题陈述使用了标准评估指标(模型的大小、准确性和推理时间), 并通过讨论挑战和未来的工作来总结本文. |
|
||||
| 2024/06/04 | 投机 | [Unlocking Efficiency in Large Language Model Inference:A Comprehensive Survey of Speculative Decoding](https://arxiv.org/abs/2401.07851) | Heming Xia | [hemingkx/SpeculativeDecodingPapers](https://github.com/hemingkx/SpeculativeDecodingPapers) | [COLING 2025 Tutorial:Speculative Decoding for Efficient LLM Inference](https://speculative-decoding.github.io), [知乎-LLM推理加速新范式！推测解码（Speculative Decoding）最新综述](https://zhuanlan.zhihu.com/p/678404136) |
|
||||
|
||||
|
||||
[Mobile Edge Intelligence for Large Language Models: A Contemporary Survey](https://arxiv.org/abs/2407.18921)
|
||||
[Edge Intelligence: Architectures, Challenges, and Applications](https://arxiv.org/abs/2003.12172)
|
||||
[A Survey on Model Compression for Large Language Models](https://arxiv.org/abs/2308.07633)
|
||||
@@ -386,7 +440,7 @@ ARM-software/ComputeLibrary
|
||||
[Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time](https://arxiv.org/abs/2310.17157)
|
||||
|
||||
|
||||
## 6.3 paper plaza
|
||||
## 5.3 paper plaza
|
||||
-------
|
||||
|
||||
|
||||
|
||||
@@ -1121,6 +1121,10 @@ https://blogs.vmware.com/vsphere/2021/10/introducing-project-capitola.html
|
||||
|
||||
[Memory-management changes for CXL](https://lwn.net/Articles/931416)
|
||||
|
||||
| 时间 | 作者 | 特性 | 描述 | 是否合入主线 | 链接 |
|
||||
|:---:|:----:|:---:|:----:|:---------:|:----:|
|
||||
| 2025/01/07 | Robert Richter <rrichter@amd.com> | [cxl: Add address translation support and enable AMD Zen5 platforms](https://lore.kernel.org/all/20250107141015.3367194-1-rrichter@amd.com) | [phoronix, 2025/01/16, CXL Address Translation Support For AMD Zen 5 Sees Linux Patches](https://www.phoronix.com/news/AMD-Zen5-CXL-Translation-v1) | v1 ☐☑✓ | [LORE v1,0/29](https://lore.kernel.org/all/20250107141015.3367194-1-rrichter@amd.com) |
|
||||
|
||||
|
||||
#### 6.3.2.3 CXL Devices
|
||||
-------
|
||||
@@ -1383,6 +1387,7 @@ AMD-pstate 驱动程序利用 ITMT 体系结构提供的功能和数据结构,
|
||||
| 2023/08/15 | Meng Li <li.meng@amd.com> | [amd-pstate preferred core](https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/log/?id=dfddf34a3f0d45483f5b3e46c2e7bda173796f1b) | [AMD Pstate Preferred Core](https://lore.kernel.org/all/20230815061546.3556083-1-li.meng@amd.com) 以及 [AMD P-State Preferred Core Submitted For Linux 6.9 While Intel Meteor Lake Gets Tuned](https://www.phoronix.com/news/AMD-P-State-Preferred-Core-69) | v2 ☐☑✓ 6.9-rc1 | [LORE v2,0/7](https://lore.kernel.org/all/20230815061546.3556083-1-li.meng@amd.com)<br>*-*-*-*-*-*-*-* <br>[LORE v13,0/7](https://lore.kernel.org/all/20240112092531.789841-1-li.meng@amd.com)<br>*-*-*-*-*-*-*-* <br>[LORE v14,0/7](https://lore.kernel.org/lkml/20240119090502.3869695-1-li.meng@amd.com) |
|
||||
| 2024/03/18 | Perry Yuan <perry.yuan@amd.com> | [AMD Pstate Driver Core Performance Boost](https://lore.kernel.org/all/cover.1710754236.git.perry.yuan@amd.com) | 该补丁集系列为 AMD pstate 驱动程序增加了核心性能提升 (core performance boost) 功能, 包括被动, 引导和主动模式支持. 用户可以使用新的 sysfs 条目: "/sys/devices/system/cpu/amd_pstate/cpb_boost" 更改核心频率 boost 控制. 由于与支持所有模式的新 cpb_boost 的功能冲突, 传统的 boost 接口已被删除. 参见 [AMD Posts Updated Linux Patches For P-State Core Performance Boost](https://www.phoronix.com/news/AMD-Core-Performance-Boost-6). [AMD Core Performance Boost For Linux Getting Per-CPU Core Controls](https://www.phoronix.com/news/AMD-Core-Perf-Boost-Per-CPU), [AMD P-State Core Performance Boost To Be Merged For Linux 6.11](https://www.phoronix.com/news/AMD-Core-Perf-Boost-Linux-6.11). | v6 ☐☑✓ | [LORE v6,0/6](https://lore.kernel.org/all/cover.1710754236.git.perry.yuan@amd.com)<br>*-*-*-*-*-*-*-* <br>[AMD Pstate Driver Core Performance Boost](https://lore.kernel.org/linux-pm/cover.1714989803.git.perry.yuan@amd.com) |
|
||||
| 2024/03/08 | Sibi Sankar <quic_sibis@quicinc.com> | [cpufreq: scmi: Add boost frequency support](https://lore.kernel.org/all/20240308104410.385631-1-quic_sibis@quicinc.com) | [ARM SCMI CPUFreq Driver Enabling Boost Support By Default With Linux 6.9](https://www.phoronix.com/news/ARM-SCMI-CPUFreq-Boost-Linux-69). | v3 ☐☑✓ | [LORE v3,0/2](https://lore.kernel.org/all/20240308104410.385631-1-quic_sibis@quicinc.com)<br>*-*-*-*-*-*-*-* <br>[LORE v4,0/2](https://www.phoronix.com/news/Linux-69-RAM-Bandwidth-Throttle) |
|
||||
| 2024/12/23 | K Prateek Nayak <kprateek.nayak@amd.com> | [x86, sched: Dynamic ITMT core ranking support and some yak shaving](https://lore.kernel.org/all/20241223043407.1611-1-kprateek.nayak@amd.com) | [phoronix, 2025/01/15, Linux 6.14 To Bring An Important Improvement For AMD Preferred Core](https://www.phoronix.com/news/AMD-Preferred-Core-Better-6.14) | v2 ☐☑✓ | [LORE v2,0/8](https://lore.kernel.org/all/20241223043407.1611-1-kprateek.nayak@amd.com) |
|
||||
|
||||
|
||||
## 6.13 Device
|
||||
|
||||
@@ -1311,6 +1311,8 @@ Fedora 尝试优化 systemd 开机以及重启的时间, 参见 phoronix 报道
|
||||
| 时间 | 作者 | 特性 | 描述 | 是否合入主线 | 链接 |
|
||||
|:---:|:----:|:---:|:----:|:---------:|:----:|
|
||||
| 2024/05/20 | Danilo Krummrich <dakr@redhat.com> | [DRM Rust abstractions and Nova](https://gitlab.freedesktop.org/drm/nova/-/tree/nova-next) | 参见 [phoronix, 2025/03/10, The New Rust-Written NVIDIA "NOVA" Driver Submitted Ahead Of Linux 6.15](https://www.phoronix.com/news/NOVA-Driver-For-Linux-6.15), [phoronix, 2025/01/31, "NOVA-Core" Patches Propose Building New NVIDIA Driver Piece-By-Piece In The Linux Kernel](https://www.phoronix.com/news/NOVA-Core-Patches), [phoronix, 2024/05/20, RFC Patches Posted For Rust-Written NVIDIA "Nova" GPU Driver](https://www.phoronix.com/news/RFC-Rust-Nova-NVIDIA-Driver) | v1 ☐☑✓ | [LORE v1,0/8](https://lore.kernel.org/all/20240520172059.181256-1-dakr@redhat.com) |
|
||||
| 2025/03/13 | Rahul Rameshbabu <sergeantsagara@protonmail.com> | [Initial work for Rust abstraction for HID device driver development](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com) | [phoronix, 2025/03/16, Linux Kernel's Rust Support Being Expanded To HID Drivers](https://www.phoronix.com/news/Linux-Rust-HID-Drivers-Patches) | v1 ☐☑✓ | [LORE v1,0/3](https://lore.kernel.org/all/20250313160220.6410-2-sergeantsagara@protonmail.com) |
|
||||
|
||||
|
||||
## 22.2 C++
|
||||
-------
|
||||
|
||||
@@ -523,7 +523,8 @@ Paul McKenney's parallel programming book, [LWN](https://lwn.net/Articles/421425
|
||||
| [ChunelFeng/CGraph](https://github.com/ChunelFeng/CGraph) | ChunelFeng 的图化调度并行框架, 轻量, 快捷, 暂不支持异构 |
|
||||
| [AthrunArthur/functionflow](https://github.com/AthrunArthur/functionflow) | 基于 C++11 的 FunctionFlow 并行编程库. |
|
||||
| [symphony09/ograph](https://github.com/symphony09/ograph) | OGraph 是一个用 Go 实现的图流程执行框架. 可以通过构建Pipeline(流水线), 来控制依赖元素依次顺序执行、非依赖元素并发执行的调度功能. 此外, OGraph 还提供了丰富的重试, 超时限制. 执行追踪等开箱即用的特征. OGraph 受启发于另一个 C++项目 CGraph. 但 OGraph 并不等于 Go 版本的 CGraph. 和 CGraph 一样, OGraph 也提供基本的构图和调度执行能力, 但有以下几点关键不同:<br>1. 用 Go 实现, 使用协程而非线程进行调度, 更轻量灵活<br>2. 支持通过 Wrapper 来自定义循环、执行条件判断、错误处理等逻辑, 并可以随意组合<br>3. 支持导出图结构, 再在别处导入执行<br>4. 灵活的虚节点设置, 用以简化依赖关系, 以及延迟到运行时决定实际执行的节点. 实现多态. |
|
||||
| [google-ai-edge/mediapipe](https://github.com/google-ai-edge/mediapipe) |
|
||||
| [google-ai-edge/mediapipe](https://github.com/google-ai-edge/mediapipe) | NA |
|
||||
| [uxlfoundation/oneTBB](https://github.com/uxlfoundation/oneTBB) | oneTBB(Intel oneAPI Threading Building Blocks) 是一个灵活的 C++ 库, 可以简化向复杂应用程序添加并行性的工作.<br>该库允许您轻松编写充分利用多核性能的并行程序。此类程序是可移植的、可组合的, 并且具有面向未来的可扩展性. oneTBB 为您提供函数、接口和类来并行化和扩展代码. 您所要做的就是使用模板. |
|
||||
|
||||
|
||||
### 12.2.2 WorkQueue
|
||||
|
||||
@@ -113,8 +113,8 @@
|
||||
| 6.10 | [The first half of the 6.10 merge window](https://lwn.net/Articles/973687)<br>*-*-*-*-*-*-*-* <br>[The rest of the 6.10 merge window](https://lwn.net/Articles/974869)<br>*-*-*-*-*-*-*-* <br>[Kernel prepatch 6.10-rc2](https://lwn.net/Articles/976498). | NA | [Linux 6.10-rc1 Kernel Released With Many New Features](https://www.phoronix.com/news/Linux-6.10-rc1), [Linux 6.10-rc5 Released With This Kernel Cycle Looking Good So Far](https://www.phoronix.com/news/Linux-6.10-rc5) |
|
||||
| 6.11 | [The first half of the 6.11 merge window](https://lwn.net/Articles/982034), [LWN, 2024/07/28, Kernel prepatch 6.11-rc1](https://lwn.net/Articles/983760), [LWN, 2024/07/29, The rest of the 6.11 merge window](https://lwn.net/Articles/982605), [LWN, 2024/08/11, Kernel prepatch 6.11-rc3](https://lwn.net/Articles/985233) | NA | NA |
|
||||
| 6.12 | NA | NA | [phoronix, 2024/11/17, Linux 6.12 Released With Real-Time Capabilities, Sched_Ext, More AMD RDNA4 & More](https://www.phoronix.com/news/Linux-6.12-Released) |
|
||||
| 6.13 | NA | MA | [phoronix, 2024/12/06, Linux 6.13 Features: AutoFDO+Propeller Optimizations, Many AMD Additions & SDUC + NVMe 2.1 Support](https://www.phoronix.com/review/linux-613-features) |
|
||||
|
||||
| 6.13 | NA | MA | [phoronix, 2024/12/06, Linux 6.13 Features: AutoFDO+Propeller Optimizations, Many AMD Additions & SDUC + NVMe 2.1 Support](https://www.phoronix.com/review/linux-613-features)<br>*-*-*-*-*-*-*-* <br>[phoronix, 2025/01/16, The Most Exciting Kernel Optimizations, New Hardware Support & Other Linux 6.13 Features](https://www.phoronix.com/news/Linux-6.13-Features-Reminder) |
|
||||
| 6.14 | NA | NA | [phoronix, 2025/01/17, Many Exciting Features & New Hardware Support Expected For Linux 6.14](https://www.phoronix.com/news/Linux-6.14-Features-Expected) |
|
||||
|
||||
年终盘点
|
||||
|
||||
|
||||
@@ -717,7 +717,7 @@ b37e67a6c648 ck: sched: introduce per-cgroup identity
|
||||
| 时间 | 作者 | 特性 | 描述 | 是否合入主线 | 链接 |
|
||||
|:---:|:----:|:---:|:----:|:---------:|:----:|
|
||||
| 2023/07/05 | Laurent Dufour <ldufour@linux.ibm.com> | [Introduce SMT level and add PowerPC support](https://lore.kernel.org/all/20230705145143.40545-1-ldufour@linux.ibm.com) | [Partial SMT Enablement Support Lands For Linux 6.6](https://www.phoronix.com/news/Linux-6.6-Partial-SMT-Enable) | v4 ☐☑✓ | [LORE v4,0/10](https://lore.kernel.org/all/20230705145143.40545-1-ldufour@linux.ibm.com) |
|
||||
| 2024/10/15 | Yicong Yang <yangyicong@huawei.com> | [Support SMT control on arm64](https://lore.kernel.org/all/20230919123319.23785-1-yangyicong@huawei.com) | [HiSilicon Posts SMT Run-Time Control Patches For ARM64 Linux](https://www.phoronix.com/news/Linux-ARM64-Run-Time-SMT-Switch) 以及 [phoronix, 2024/10/15, ARM64 SMT Control Patches Updated For The Linux Kernel](https://www.phoronix.com/news/ARM64-SMT-Controls-Linux) | v1 ☐☑✓ | [LORE](https://lore.kernel.org/all/20230919123319.23785-1-yangyicong@huawei.com)<br>*-*-*-*-*-*-*-* <br>[2024/10/15, LORE v6,0/4](https://lore.kernel.org/lkml/20241015021841.35713-1-yangyicong@huawei.com) |
|
||||
| 2024/10/15 | Yicong Yang <yangyicong@huawei.com> | [Support SMT control on arm64](https://lore.kernel.org/all/20230919123319.23785-1-yangyicong@huawei.com) | [HiSilicon Posts SMT Run-Time Control Patches For ARM64 Linux](https://www.phoronix.com/news/Linux-ARM64-Run-Time-SMT-Switch) 以及 [phoronix, 2024/10/15, ARM64 SMT Control Patches Updated For The Linux Kernel](https://www.phoronix.com/news/ARM64-SMT-Controls-Linux), [phoronix, 2025/03/18, ARM64 SMT Run-Time Controls Staged Ahead Of Linux 6.15](https://www.phoronix.com/news/Linux-6.15-ARM64-SMT-Toggling) | v1 ☐☑✓ | [LORE](https://lore.kernel.org/all/20230919123319.23785-1-yangyicong@huawei.com)<br>*-*-*-*-*-*-*-* <br>[2024/10/15, LORE v6,0/4](https://lore.kernel.org/lkml/20241015021841.35713-1-yangyicong@huawei.com)<br>*-*-*-*-*-*-*-* <br>[2025/03/11, LORE v12,0/4](https://lore.kernel.org/all/20250311075143.61078-1-yangyicong@huawei.com) |
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -81,12 +81,15 @@ systrace, perfetto, drgn, systemtep
|
||||
|:----:|:----:|:---:|:----:|:---------:|:----:|
|
||||
| 2019/05/29 | Sandoval @ Facebook | [A kernel debugger in Python: drgn](https://lwn.net/Articles/789641) | 一款 kernel 调试器, 可以利用 Python 脚本来访问正在运行的 kernel 里的数据结构<br>Drgn 在 [LSFMM2019](https://lwn.net/Articles/lsfmm2019) 被公开, LWN 随即进行了报道 [A kernel debugger in Python: drgn](https://lwn.net/Articles/789641), 随后 [2021 年报道](https://lwn.net/Articles/878309/)了 [drgn: How the Linux Kernel Team at Meta Debugs the Kernel at Scale (Meta)](https://developers.facebook.com/blog/post/2021/12/09/drgn-how-linux-kernel-team-meta-debugs-kernel-scale), Meta 的内核团队使用了 Drgn 跟踪内核中出现的问题, 并贡献了非常分布的用例集合. | ☐ | [Github](https://github.com/osandov/drgn), [User Guide](https://drgn.readthedocs.io/en/latest/user_guide.html), [BPF drgn tools](https://www.kernel.org/doc/html/latest/bpf/drgn.html) |
|
||||
| 2021/11/21 | David Woodhouse <dwmw2@infradead.org> | [Microsoft-Performance-Tools-Linux-Android](https://www.phoronix.com/scan.php?page=news_item&px=MS-Performance-Tools-Linux) | Microsoft [发布了](https://devblogs.microsoft.com/performance-diagnostics/new-tools-for-analyzing-android-linux-and-chromium-browser-performance)一款 Linux/Android 的性能分析工具 [Performance Tools For Linux/Android](https://github.com/microsoft/Microsoft-Performance-Tools-Linux-Android), 一组跟踪处理工具, 它提供了许多强大的功能、功能、方法和生态系统, 这些功能、功能、方法和生态系统在过去 15 年多的时间里一直用于通过不断发展和更新的工具集来推动系统的性能. 支持通过 LTTng、perf 和 Perfetto 对系统进行分析. | v1 ☐ | [LWN](https://github.com/microsoft/Microsoft-Performance-Tools-Linux-Android) |
|
||||
| 2025/01/13 | Oracle OLED | [phoronix, 2025/01/13, Oracle OLED Wants To Help Improve The Debugability Of The Linux Kernel](https://www.phoronix.com/news/Oracle-Linux-OLED-Debug) | 甲骨文公司推出 Oracle Linux 增强诊断(OLED) 作为其最新项目, 旨在增强 Linux 内核的可调试性. Oracle Linux 增强诊断是 Oracle 内部开发的一组工具, 最初是针对 Oracle Linux 开发的, 可帮助增强调试体验, 尤其是在云环境中. | v1 ☐ | [Introducing Oracle Linux Enhanced Diagnostics](https://blogs.oracle.com/linux/post/oracle-linux-enhanced-diagnostics) |
|
||||
|
||||
|
||||
* DRGN
|
||||
|
||||
[LWN/A kernel debugger in Python: drgn(https://lwn.net/Articles/789641)
|
||||
[LWN: 想用python命令来调试kernel吗？drgn就是了！](https://blog.csdn.net/Linux_Everything/article/details/93270705)
|
||||
[pf-kernel/crush](https://codeberg.org/pf-kernel/crush) crush 是一种实验性尝试, 至少部分地使用 Python 和更现代的 drgn 后端重写 crash util.
|
||||
[phoronix, 2025/01/18, Linux 6.14 To Perform Better With The Drgn Debugger Via Faster /proc/kcore Reads](https://www.phoronix.com/news/Linux-6.14-Faster-kcore-Reads)
|
||||
|
||||
* ControlFlag
|
||||
|
||||
|
||||
Reference in New Issue
Block a user