漫画图书馆 The Comic Library
模型为什么跑不起来?——漫画读懂 AI Infra

← 书架

连载系列 连载中 更新至第 5 话 · 2026·09·30

模型为什么跑不起来?——漫画读懂 AI Infra

乐天点下 Run,屏幕只回了一行 Out of Memory。跟着乐天和阿哲、小雅、可可一起走进大模型的内部世界:参数之城、量化流水线、显存工作台、KV Cache 档案室——把「什么模型能在什么机器上跑起来」这件事,用漫画讲明白。

#AI Infra#大模型#显存#科普漫画

目录 · 共 6 话

  1. 大家好,我们是 AI 探索小队!
  2. 第 1 章 · 模型都下载好了,为什么不能跑?
  3. 第 2 章 · 显存工作台上摆着什么?
  4. 第 3 章 · 7B、32B、70B,到底是什么意思?
  5. 第 4 章 · 同样是 70B,为什么大小差这么多?
  6. 第 5 章 · 大语言模型推理时,显存为什么会增长? 最新

读后感