专题 · TOPIC

本地部署与私有化

数据不出内网、按次不花钱,是本地部署的两个硬理由。这一线从 Ollama 装起来到单卡微调,讲的都是「消费级硬件能跑到什么程度」。

6 篇文章 更新至 2026-11-21 约 1 小时读完

建议的阅读顺序

按这三步走,比从最新一篇倒着翻省事

这个专题的全部文章

按发布时间倒序
Thinking Machines Lab 开源 Inkling 2 Mini:27B 循环模型,笔记本也能跑 Agent

11 月 20 日,由前 OpenAI CTO 米拉·穆拉蒂(Mira Murati)联合创办的 Thinking Machines Lab(TML)发布并开源了新模型 Inkling 2 M…

用 Unsloth 做 LoRA 微调:单卡把通用模型调成你的专属助手

很多人觉得微调模型要一堆 GPU。其实现在用 Unsloth 配合 LoRA,一张消费级显卡就能把一个开源小模型调成懂你业务的助手。这篇不讲空话,只讲能照着做的流程。 先分清:你该微调,还是该…

Open WebUI 深度用法:把本地模型变成一个好用的团队 AI 工作台

很多人把模型跑起来后,就一直在命令行里对话,体验很原始。Open WebUI 是一个自托管的网页界面,可对接 Ollama、OpenAI 兼容接口等后端,把本地模型包装成接近商业产品的对话工具…

大模型”瘦身”是怎么回事:量化、INT8/INT4、GGUF 一次讲明白

同一个模型,为什么有的要几十 GB 显存,有的几 GB 就能跑?差别往往不在"模型不一样",而在"存法不一样"。这种把模型参数用更少比特存下来的技术,就叫量化。这篇用尽量通俗的方式讲清它省了什…

Ollama 进阶:用 Modelfile 定制你的本地模型,把”能跑”变成”好用”

很多人的本地大模型之旅止步于两条命令:ollama pull 和 ollama run。这当然能用,但你每次都要重复粘贴一堆提示词,模型的语气和格式也飘忽不定。Ollama 自带的 Model…

本地跑大模型入门:Ollama 与 LM Studio 两条路线

本地跑模型的好处很实在:数据不出机器、不按 token 付费、断网也能用。硬件门槛也比想象中低——一块 8G 显存的显卡,甚至纯 CPU,就能跑起来可用的小模型。 路线一:Ollama,命令行…

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活