无需GPU轻松本地部署多款大模型,DeepSeek支持!

现在大型语言模型那叫一个厉害,文本生成、翻译、问答啥的都不在话下。但部署这些大模型可不是一件容易的事,尤其是对于那些没有GPU的普通用户来说,简直就是难上加难。

今天给大家介绍一个超火的开源项目 – Ollama,可以让本地部署大模型变得简单又轻松,简直就是“平民化”的大模型部署工具。

图片

项目简介

Ollama是一个开源的大型语言模型(LLM)服务工具,它的目标就是简化在本地运行大语言模型的过程。不管你有没有GPU,只要你的电脑满足基本配置,就能用Ollama轻松部署像Llama3、Phi4、Gemma2、DeepSeek等超火的大模型。它不仅开源免费,还提供了一个超简单的命令行界面和服务器,让你能够轻松下载、运行和管理各种开源LLM。

图片

目前在Github上收获了119K star!

图片

性能特色

  • 模型丰富:涵盖了Llama3、Phi4、Gemma2、DeepSeek等众多热门开源LLM,可以一键下载并切换。
  • 本地化运行:不用依赖网络,随时随地就能用模型,再也不用担心网络不好模型罢工啦。
  • 隐私保护:模型在自己设备上跑,隐私妥妥的安全。
  • 成本节省:不用给云端服务交钱,省钱小能手就是它。
  • 灵活性高:可以根据自己需求调整优化模型,想怎么玩就怎么玩。
  • 量化技术:减少模型大小和计算需求,让资源有限的设备也能流畅运行。
  • 模型并行和数据并行:提高训练速度和推理效率,干活更麻利。

快速安装使用

使用Ollama简直不要太简单!只需要几步,就能轻松上手。

1、安装:

Linux/macOS:在终端输入curl -fsSL https://ollama.com/install.sh | sh,一键安装超简单。

Windows:去下载 Ollama Windows 版安装包,然后双击运行安装程序就行。

图片

2、基础命令:

启动 Ollama 服务:ollama serve(默认端口 11434 )。

下载模型:ollama pull <模型名> ,比如想下载 Deepseek,就输入ollama pull Deepseek

运行模型:ollama run <模型名> ,开启愉快的对话模式。

管理模型:ollama list查看已下载模型;ollama rm <模型名>删除模型;ollama help查看所有命令。

图片

3、通过 API 调用模型:用 cURL 生成文本示例:

curl http://localhost:11434/api/generate -d '{
 "model": "Deepseek",
 "prompt":"蛇年有趣的祝福"
}'

Python 调用示例:

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "Deepseek", "prompt": "蛇年有趣的祝福"}
)
print(response.json()["response"])

项目体验展示

试了试最近超火的DeepSeek R-1,简直不要太爽!

按照官网的指示安装了Ollama,然后在模型库中找到了DeepSeek R-1。选择了1.5B的模型,直接用ollama run deepseek-r1:1.5b命令启动。运行起来很流畅,回答得又快又好,简直就像有个智能助手在身边。而且,Ollama的社区超级活跃,遇到问题随时能找人帮忙,这种感觉太棒了!

图片
图片

Ollama是一个非常实用且易用的开源项目。它让我们这些“小白”也能轻松地在本地部署和管理大语言模型。无论你是开发者、研究人员还是爱好者,只要你对AI感兴趣,Ollama都是一个值得尝试的工具。特别是最近超火的Deepseek模型,更是让Ollama的魅力倍增!

更多细节功能,感兴趣的可以到项目地址查看:

项目地址:https://github.com/ollama/ollama

暂无介绍....

延伸阅读:

一款开源高颜值的 IM 即时通讯系统!

前言 在数字化转型日益加速的今天,即时通讯已经成为企业运营和社交互动不可或缺的一部分。然而,市面上的即时通讯软...

郭 智满
2025年4月4日
国产开源企业级自定义报表系统

为什么要做这个项目?优秀的自定义报表工具有很多,比较有代表性的,大厂的有FineReport,免费的有积木报表,但是开源...

郭 智满
2025年3月17日
由微软、清华和中科大联手打造的最强3D生成模型

现在 3D 建模在好多领域都超火,像游戏、电影、VR、AR,还有 3D 打印等等。但传统建模方式简直是 “磨人小妖精”,...

郭 智满
2025年3月23日
Deep Research 开源版上线,一句话让Agent帮你工作!

项目背景Eko是一个开源的JavaScript框架,专门用来帮我们构建AI代理(Agent)工作流。我们可以用自然语言描...

郭 智满
2025年3月18日
解放双手,工作流自动化神器!

我们每天都在处理各种繁琐的任务。从数据提取到报表生成,从邮件发送到社交媒体管理,这些看似简单的任务却占据了我们大量的时间...

郭 智满
2025年2月6日