在苹果硅片的电脑本地运行大模型的性能
lama.cpp允许你在自己的电脑上运行大型语言模型（LLM）。影响性能的关键因素包括CPU、GPU、RAM的大小与速度，以及所用的模型。这里是一个概览，帮助你决定应该选择哪种电脑和量化方式。特别强调这里说的是苹果硅片机Apple Silicon，因为它们支持大容量和高速度的RAM。 Georgi的创新使我们能够通过llama.cpp在本地运行LLM，并且功能不断增加。模型量化也很关键，因为它减小了存储需求。现在，我们可以使用多种技能和量化格式的LLM，例如在huggingface/theBloke上（请注意，要运行llama.cpp需要GGUF模型格式）。Georgi最近还开始了一个仅针对苹果硅片的性能统计比较，提供数据帮助我们在硬件选择和量化效果上做出决策。以下是我的一些主要观点，这些观点通过我的本地实验得到增强。 LLM的“回答”性能（为单个用户生成令牌）主要取决于： a) 可用的RAM需大于模型的内存需求 — 参见huggingface上的模型说明。 在GPU上运行通常比在CPU上快得多，但具体快多少则取决于GPU和CPU的性能。 llama.cpp允许模型在GPU或仅CP