纯C极简引擎驱动744B大模型:Colibri让MoE在25GB内存上起飞
JustVugg/colibri 用纯C语言实现零依赖的MoE推理引擎,将744B参数的GLM-5.2模型部署到仅有25GB内存的消费级设备,通过「磁盘换内存」的三档分层架构(VRAM/RAM/SSD)让超大MoE模型在本地流畅运行。冷启动32秒、常驻<10GB、Apache 2.0开源。本文从机制、性能、横向对比、架构启示四维度拆解。
aiec.fun
JustVugg/colibri 用纯C语言实现零依赖的MoE推理引擎,将744B参数的GLM-5.2模型部署到仅有25GB内存的消费级设备,通过「磁盘换内存」的三档分层架构(VRAM/RAM/SSD)让超大MoE模型在本地流畅运行。冷启动32秒、常驻<10GB、Apache 2.0开源。本文从机制、性能、横向对比、架构启示四维度拆解。
JustVugg/colibri 用单文件纯 C 引擎把 GLM-5.2 (744B MoE) 装进 25GB 内存笔记本:MoE 稀疏激活 40B/次、19,456 expert 流式加载、MLA 把 KV 压到 576 floats/token(57× 缩小)、MTP 投机解码提速 2.2-2.8×。22 天拿 17K⭐。本文拆解原理、硬件分层、同类对比与上手步骤。