纯C极简引擎驱动744B大模型:Colibri让MoE在25GB内存上起飞
JustVugg/colibri 用纯C语言实现零依赖的MoE推理引擎,将744B参数的GLM-5.2模型部署到仅有25GB内存的消费级设备,通过「磁盘换内存」的三档分层架构(VRAM/RAM/SSD)让超大MoE模型在本地流畅运行。冷启动32秒、常驻<10GB、Apache 2.0开源。本文从机制、性能、横向对比、架构启示四维度拆解。
aiec.fun
JustVugg/colibri 用纯C语言实现零依赖的MoE推理引擎,将744B参数的GLM-5.2模型部署到仅有25GB内存的消费级设备,通过「磁盘换内存」的三档分层架构(VRAM/RAM/SSD)让超大MoE模型在本地流畅运行。冷启动32秒、常驻<10GB、Apache 2.0开源。本文从机制、性能、横向对比、架构启示四维度拆解。
Unsloth 本地 AI 工具集,训练速度比 Hugging Face 快 2×,显存占用减少 70%,覆盖 Mac/NVIDIA/AMD/多 GPU 全硬件,支持 Claude Code/MCP/Codex 集成,是行业垂直模型微调的本地方案。