标签：模型架构
2 篇文章 · 查看全部标签
从零实现 Qwen3：拆解 mini-qwen3 的 0.6B Dense 架构
以 mini-qwen3 仓库的代码为线索，逐模块讲解 Qwen3-0.6B：从配置文件、RMSNorm、RoPE、SwiGLU、GQA 与 KV Cache，到加载官方权重、对话生成，以及为 MoE 预留的路由实现。
一张表看懂 2026 年主流大模型的架构选择
从 Kimi K2.5 到 Qwen3.8，我把 39 个主流开源模型的 FFN、注意力、归一化、位置编码方案整理成一张对比表；每个模型条目附主要公开来源，相关技术另列论文和核对说明。