这是 WingEdge777 的博客，专注于算法和后端相关技术的实战分享，涵盖 LLM、AIGC、AI Infra 等技术优化，涉及Python、C++、Go、Rust、Linux、Docker、k8s等领域。同时，博客也分享作者的生活、想法随笔等。https://www.baizeway.comhttps://www.baizeway.com/article/46d98e082b05aca8https://www.baizeway.com/article/46d98e082b05aca8/相信大家都听到过训练端pytorchFSDP，ZeRO1/2/3,Deepspeed/Megatron的pipeline优化、offloading之类的，推理端vLLM、SGLang等框架会提到计算和通信重叠，零CPU开销调度（zero-overheadschedule,当然这个有CUDAgraphTue, 16 Jun 2026 17:42:08 GMThttps://www.baizeway.com/article/1dd8ab388e48946chttps://www.baizeway.com/article/1dd8ab388e48946c/TileLang 入门实战：以 vector add 为例分析向量化访存与代码生成，对比 Triton 并解读自动生成的高性能 CUDA Kernel。Tue, 02 Jun 2026 19:55:52 GMThttps://www.baizeway.com/article/569257f2e554fcfbhttps://www.baizeway.com/article/569257f2e554fcfb/CUDA 实现 LLM 推理 token sampling：讲解 topK/topP 采样、暴力插入排序与 block reduce array merge 等内核优化技巧。Fri, 22 May 2026 15:17:21 GMThttps://www.baizeway.com/article/2a8ffb697f7eb56ehttps://www.baizeway.com/article/2a8ffb697f7eb56e/纯手搓 sm120 flash decoding kernel，单 query 长 KV cache 场景下超越 flashinfer 的 decode attention 优化实战。Thu, 21 May 2026 13:19:23 GMThttps://www.baizeway.com/article/7d1151d07a70e2c9https://www.baizeway.com/article/7d1151d07a70e2c9/在 sm120 架构上纯手搓 FMHA，基于 TMA+ldmatrix+mma 在 prefill 场景超越 torch.sdpa 与 Flash Attention-2 的实战复盘。Tue, 19 May 2026 21:56:50 GMThttps://www.baizeway.com/article/f943166143951a0bhttps://www.baizeway.com/article/f943166143951a0b/用不到 200 行 PyTorch 代码从零手搓大模型分布式推理：数据并行 DP、张量并行 TP、流水线并行 PP，2 卡实战，无需 Megatron 或 vLLM。Fri, 15 May 2026 12:30:03 GMThttps://www.baizeway.com/article/b2ab376d19f52ff4https://www.baizeway.com/article/b2ab376d19f52ff4/在 RTX 5060 sm120 架构上手搓 hgemm：基于 100KB 共享内存，结合 TMA、ldmatrix、mma 等 Tensor Core 技术进行极致半精度 GEMM 调优实战。Sun, 10 May 2026 14:32:05 GMThttps://www.baizeway.com/article/5a219c62549f9573https://www.baizeway.com/article/5a219c62549f9573/FP16/BF16 HGEMM 手搓实战：运用 cp.async、ldmatrix、mma 与 swizzle，在 RTX 5060 上超越 cuBLAS 的半精度矩阵乘法优化全复盘。Sun, 10 May 2026 14:29:19 GMThttps://www.baizeway.com/article/ba9e9d9171004edchttps://www.baizeway.com/article/ba9e9d9171004edc/TF32 Tensor Core SGEMM 优化实战：深入 cp.async、ldmatrix、mma 与 XOR swizzle 推导，在特定规模下挑战并超越 cuBLAS。Sat, 09 May 2026 10:14:49 GMThttps://www.baizeway.com/article/133b6cec3f625597https://www.baizeway.com/article/133b6cec3f625597/最近vibecoding了个小工具，chrome扩展ContextClip，ContextClip是一款专为投喂本地LLM、RAG和Agent开发的零依赖、重隐私Chrome浏览器扩展。它直击传统网页信息收集时“截图耗时/不兼容”和“复制粘贴格式混乱”的痛点。项目地址：ContextClip#为什么Fri, 08 May 2026 21:39:36 GMThttps://www.baizeway.com/article/56dd1be2094125b9https://www.baizeway.com/article/56dd1be2094125b9/AIcoding现在越来越火热，不可避免有点焦虑。我也vibecoding了一个Gemini每日精选论文工具（白嫖githubaction和googleAIstudio大模型token），加紧学习效率。欢迎star/fork使用#背景随着AI技术的飞速发展，每天都有大量的论文发表，作为工程师或者研究Fri, 10 Apr 2026 23:18:27 GMThttps://www.baizeway.com/article/8483c569b3895079https://www.baizeway.com/article/8483c569b3895079/我承认，世界上最好的linux发行版，那就是—WSL#0.背景本人虽然使用Windows电脑，但一直使用WSL2工作，所有项目代码等都在WSL2里，也更习惯于linux命令行操作。结合vscode的remote套件连接WSL进行开发非常方便。但默认配置下在使用shell，可能会有代理配置难或代理无法Thu, 09 Apr 2026 13:37:05 GMThttps://www.baizeway.com/article/af26ad7682e3061ahttps://www.baizeway.com/article/af26ad7682e3061a/CUDA 入门：揭开 local memory 逻辑私有、物理落 global 的本质，讲解触发场景与避免编译器溢出到 local memory 的性能要点。Wed, 01 Apr 2026 19:44:28 GMThttps://www.baizeway.com/article/8b8f983df949c7c0https://www.baizeway.com/article/8b8f983df949c7c0/CUDA safe online softmax 全场景攻略：覆盖任意 hidden_size、one pass/two pass、split-k 等面试高频考点的实现方法与 trade-off 分析。Tue, 31 Mar 2026 17:11:15 GMThttps://www.baizeway.com/article/bff10dfdf376e83fhttps://www.baizeway.com/article/bff10dfdf376e83f/结合 NCU 验证与 NV GTC 技术报告，重新理解 L1/TEX/SMEM 共享存储上的 warp 间 Bank Conflict 成因与规避方法。Fri, 06 Mar 2026 20:40:38 GMThttps://www.baizeway.com/article/ce4e1621e32a7b08https://www.baizeway.com/article/ce4e1621e32a7b08/纯 C++ CUDA 手搓 SGEMM，从 naive tiling 到双缓冲与 swizzle，在 RTX 5060 上超越 cuBLAS，系统复盘 FP32 矩阵乘法极致优化全流程。Thu, 05 Mar 2026 17:47:31 GMThttps://www.baizeway.com/article/722570534c4ba0f8https://www.baizeway.com/article/722570534c4ba0f8/对比 PyTorch 与手写 CUDA Kernel 实现 RoPE 算子，解析 kernel fusion 如何通过减少访存与启动开销突破大模型推理的显存带宽瓶颈。Thu, 05 Mar 2026 17:36:30 GMThttps://www.baizeway.com/article/49c4e15376366f8dhttps://www.baizeway.com/article/49c4e15376366f8d/CUDA 矩阵转置优化实战：从合并/跨步访存的朴素 Kernel，演进到 Shared Memory Tiling、Padding 与 XOR Swizzle，详解共享内存 Bank Conflict 的成因与规避方法。Fri, 13 Feb 2026 19:26:22 GMThttps://www.baizeway.com/article/548cec5dfba296d5https://www.baizeway.com/article/548cec5dfba296d5/梳理 CUDA 性能调优必知的硬件参数与延迟量级——Warp Size、SM 数量、访存带宽等黄金数字，帮助开发者榨干 GPU 算力。Mon, 09 Feb 2026 20:38:13 GMThttps://www.baizeway.com/article/5860d3d6e3f62297https://www.baizeway.com/article/5860d3d6e3f62297/以 RTX 5060 为例深度解读 CUDA deviceQuery 输出，帮你理解计算能力、SM 配置、内存层次等硬件属性以指导 Kernel 开发。Fri, 06 Feb 2026 13:30:44 GMThttps://www.baizeway.com/article/3c6cbaa1ee1bfb8chttps://www.baizeway.com/article/3c6cbaa1ee1bfb8c/记录 vitamin-cuda 项目从零开始的 CUDA 算子开发实践，从基础 kernel 到应用优化，打造 LeetCUDA 风格的手把手学习路线。Wed, 21 Jan 2026 19:43:44 GMThttps://www.baizeway.com/article/fc1c09c2eb681651https://www.baizeway.com/article/fc1c09c2eb681651/经典动态规划-公共子序列问题的基础变形题#题面给定两个字符串s1和s2，返回使两个字符串相等所需删除字符的ASCII值的最小和。#解析经典的公共子序列问题是找出两个序列的最长公共子序列（可以通过删除或增加字符），动态规划主要思路是找到状态的定义以及状态间转移方式。公共子序列需要维护长度，该题相对应的Sat, 10 Jan 2026 12:13:13 GMThttps://www.baizeway.com/article/8cf595ce06f21ca4https://www.baizeway.com/article/8cf595ce06f21ca4/我的公司老了，尽管年纪不大，但真的老了#老兵不会死去，只是凋亡最近在做一个项目的升级，可以称得上是技术框架在版本号上的大跃进，ubuntu20到ubuntu24，gcc8到gcc13，torchv1到torch2.9，tensort8到tensorrt10.14，cuda11到cuda13。本以为只Wed, 26 Nov 2025 21:33:38 GMThttps://www.baizeway.com/article/b084669b799d0d42https://www.baizeway.com/article/b084669b799d0d42/是leetcode每日一题跳出来的。咋看了一眼题就觉得很有趣，让我想到经典的类似题，如：维护一个队列中的中位数，具体题不记得了。#计算子数组的x-sumII如之前所言，这题的题面就让人容易联想到维护滑动窗口中的中位数，维护中位数的做法是如何实现的呢，就是用一大一小个set，每次插入数据无脑往大的seSat, 15 Nov 2025 12:30:41 GMThttps://www.baizeway.com/article/6617ff2c82210644https://www.baizeway.com/article/6617ff2c82210644/这只是一个平行世界的幻想，从某种意义上来说，你，我，我们，整个宇宙，终将逝去。#序未来的某周二，NVIDIA死了。也许是周三，我们不知道。只见零散的媒体消息掠过：已经没人使用CUDA了，都用xxx了。这说明不了什么，可能NVIDIA周一就死了。#英伟达的发家史二三十年前，那个穿皮衣的男人创建了一家公Mon, 10 Nov 2025 20:41:49 GMThttps://www.baizeway.com/article/1234567https://www.baizeway.com/article/1234567/我不知道有多少人在使用思考模型，但笔者个人对思考模型的推理性能（性能吞吐）是极度不满意的，因此笔者一直避免使用思考模型，但人在江湖身不由己，有时候不得不使用思考模型。从OpenAI开始提出推理模型开始，思考模型已经逐渐成为了学界和业界的热点，国内开源模型两巨头qwen和deepseek，都有思考模式Sun, 26 Oct 2025 17:13:27 GMT