它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~

Jan 21, 2025 · LLaMa 没有使用之前的绝对位置编码，而是使用了旋转位置编码（RoPE），可以提升模型的外推性。关于 RoPE 的具体细节，可以参考下面的链接： 绝密伏击：十分钟读懂 …

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生 …

Jan 28, 2025 · 常年写sft/RL Qwen和DeepSeek训练脚本和优化，算法同事就是爬数据and跑训练。 Qwen靠美金就可以，并不是靠技术创新（看模型结构基本没咋变，和llama比难有优 …

llama.cpp里实现了多种量化方法，下面我们来整体介绍一下，可能会存在一些理解偏差，因为官方文档实在是太少了，如果发现有错误，请不吝指教。 二、llama.cpp中主要量化方法系列 1. 传 …

cuda llama.cpp v1.17.1版本有问题，删除后，用v1.15.3就可以了，升级后报错

还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open …

我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工 …

文章中的TODO有待补充，第一次认真写知乎，有任何问题欢迎大家在评论区指出. 官方vllm和sglang均已支持deepseek最新系列模型(V3,R)，对于已经支持vllm和sglang的特定硬件（ …

创建工作目录：在 cmd 中输入mkdir llama-cpp，创建llama-cpp目录。 进入工作目录：输入命令cd llama-cpp进入这个目录。这个目录就是我们运行 Ollama 相关操作的主要地方。现在可以在你 …