K-文化的一切——从回归到 K-美妆，发送到您的邮箱订阅邮件

METAL MEDIA

AlexsJones/llmfit

★ 33,132本周 +1,545Rust

一条终端命令告诉你哪些AI模型能在你的电脑上跑起来

llmfit是一个终端工具,它会自动检测你电脑的内存、CPU和GPU,然后对数百个语言模型进行打分排序,告诉你哪些真正能在你的硬件上流畅运行。只需一条命令,终端里就会显示一张排名表。它还支持在自己的机器上实测速度,并把结果分享回项目,让所有人的预估数据变得更准确。

它做什么

  1. 支持数百个模型,兼容Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio等多种本地运行方式
  2. 检测内存、CPU和GPU/显存,从内存适配度、预估速度、质量、可处理的上下文长度四个维度给每个模型打分
  3. 速度预估基于内存带宽计算公式,并结合社区实测数据进行校准
  4. 用户可以在自己的硬件上跑基准测试,直接从交互界面提交结果合并进项目,下个版本发布后拥有相同硬件的人就能看到经过验证的真实数字
  5. 支持多GPU配置,以及只激活部分参数的MoE(混合专家)架构模型

为什么重要

想在本地运行AI模型的人通常只能靠反复试错来找到适合自己硬件的模型,这个工具把这个过程自动化了,省下大量时间。随着越来越多真实用户的实测数据积累,项目里的预估值会逐渐变成经过验证的真实数字,让整个社区受益。

本仓库术语

  • TUI · 可以在终端里用键盘操作的交互式文字界面
  • MoE(混合专家) · 一种只激活部分参数而非全部参数的神经网络结构,运行时所需内存比模型总大小小
  • VRAM · 显卡上专用的存储器,即显存
  • tok/s · 每秒处理的词元(文本片段)数量,是衡量模型速度的单位
  • TTFT · 从输入问题到模型输出第一个字所需的时间

仓库简介（英文）

Hundreds of models & providers. One command to find what runs on your hardware.

在 GitHub 打开

热门仓库

全部仓库 →

METAL MEDIA 最新报道