数据不出内网、按次不花钱,是本地部署的两个硬理由。这一线从 Ollama 装起来到单卡微调,讲的都是「消费级硬件能跑到什么程度」。
11 月 20 日,由前 OpenAI CTO 米拉·穆拉蒂(Mira Murati)联合创办的 Thinking Machines Lab(TML)发布并开源了新模型 Inkling 2 M…
很多人觉得微调模型要一堆 GPU。其实现在用 Unsloth 配合 LoRA,一张消费级显卡就能把一个开源小模型调成懂你业务的助手。这篇不讲空话,只讲能照着做的流程。 先分清:你该微调,还是该…
很多人把模型跑起来后,就一直在命令行里对话,体验很原始。Open WebUI 是一个自托管的网页界面,可对接 Ollama、OpenAI 兼容接口等后端,把本地模型包装成接近商业产品的对话工具…
同一个模型,为什么有的要几十 GB 显存,有的几 GB 就能跑?差别往往不在"模型不一样",而在"存法不一样"。这种把模型参数用更少比特存下来的技术,就叫量化。这篇用尽量通俗的方式讲清它省了什…
很多人的本地大模型之旅止步于两条命令:ollama pull 和 ollama run。这当然能用,但你每次都要重复粘贴一堆提示词,模型的语气和格式也飘忽不定。Ollama 自带的 Model…
本地跑模型的好处很实在:数据不出机器、不按 token 付费、断网也能用。硬件门槛也比想象中低——一块 8G 显存的显卡,甚至纯 CPU,就能跑起来可用的小模型。 路线一:Ollama,命令行…