178K星的开源神器Ollama：本地跑大模型，比你想象的简单
本文介绍 GitHub 178K 星开源项目 Ollama，让你在本地一键跑 Kimi-K2.6/GLM-5.2/Qwen/DeepSeek 等主流大模型，电商团队可私有化部署 AI 客服，数据不出服务器。
大模型推理
4GB 显存跑 70B 模型：AirLLM 让消费级 GPU 也能玩转大模型
AirLLM 通过非均匀块量化 + 流式内存管理，让 4GB 显存消费级 GPU 也能推理 70B 大模型。本文拆解四大核心技术，对比 vLLM / llama.cpp 等同类方案。
DeepSeek开源DeepSpec：大模型推理速度的「倍增器」
DeepSeek官方推出推测解码全栈工具链DeepSpec，4天斩获4119星。一文详解数据准备到评估的完整工作流，以及2-4倍推理加速的实现原理。