Coding

Hardware LLM Optimizer v2 (llmfit)

Try it

AI硬件LLM推荐工具 - 基于llmfit内核。自动检测CPU/GPU/RAM/VRAM → 智能推荐最适合的大模型 + 量化方案 + 速度估算。支持100+模型库,内置TUI界面和硬件模拟。

What it does

Hardware LLM Optimizer v2.0 基于 llmfit 的智能硬件LLM推荐工具

The skill document

Hardware LLM Optimizer v2.0

基于 llmfit 的智能硬件LLM推荐工具

安装状态

llmfit 已安装在: /usr/local/bin/llmfit

快速使用

当用户问"能跑什么大模型"、"推荐LLM"、"硬件检测"时使用:

1. 查看推荐模型

llmfit recommend

2. 查看所有推荐(JSON格式,便于解析)

llmfit recommend --json

3. 按用途筛选

llmfit recommend --use-case coding
llmfit recommend --use-case chat
llmfit recommend --use-case general
llmfit recommend --use-case embedding

4. 硬件模拟(模拟不同配置)

# 模拟 16GB 显存
llmfit recommend --memory 16G

# 模拟 32GB 显存 + 64GB RAM
llmfit recommend --memory 32G --ram 64G

5. 交互式TUI(需要终端)

llmfit

输出字段说明

字段含义
name模型名称
parameter_count参数量
best_quant推荐量化方案
score综合评分(越高越好)
estimated_tps预估速度(tok/s)
memory_required_gb所需显存
run_mode运行模式(GPU/CPU/MoE)
fit_level匹配度(Perfect/Good/Marginal)

量化方案参考

量化质量速度适用场景
FP16最高最慢大显存GPU
Q8_0很高较快中等显存
Q6_K高快6-8GB显存
Q4_K_M中高最快4-6GB显存
Q2_K中最快<4GB显存

本地运行命令

安装Ollama模型

ollama run 

使用llama.cpp

# 下载GGUF后
./llama.cpp -m  --rompt 

最低配置参考(来自llmfit)

显存推荐模型量化
2GBPhi-3-mini, Gemma-2BQ4
4GBLlama3-8B, Qwen-7BQ4
6GBLlama2-13B, Mistral-7BQ4/Q6
8GBLlama2-13B, Yi-9BQ5/Q6
12GBLlama2-34BQ4
16GBLlama2-34B, Qwen-72BQ4
24GB+70B大模型Q4/Q8

安装llmfit(如需)

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

优势对比

功能v1.0v2.0 (llmfit)
模型库手动查表100+自动匹配
量化推荐简单估算智能最优
速度估算❌✅
下载源❌✅ GGUF
硬件模拟❌✅
TUI界面❌✅
多GPU❌✅
MoE支持❌✅

Powered by llmfit | Updated: 2026-04-17

Related skills

Join a video meeting as an AI bot with voice, avatar, and screenshare across four operating modes.

by johnpatternai22 installs8 stars

Generate and edit Draw.io, Mermaid, and Excalidraw diagrams from natural language using a structured JSON spec.

by nssa.io1.0k installs47 stars

Stores durable facts in a categorized, plain-markdown vault on disk, alongside your agent's built-in memory.

by Iván559 installs18 stars

Find why your productivity system keeps failing, then apply the smallest fix — capacity math, bottleneck routing, durable local notes.

by Iván855 installs69 stars

Fetch raw ad creative, app, ranking, and revenue data from AdMapix as structured JSON.

by fly0pants4.3k installs296 stars

More from smseow001

Browse all skills

AI architecture diagram generator supporting Mermaid charts. Generate system architecture, cloud architecture, neural network, graph theory, flowchart, ER di...

by SMS41 installs1 stars

让AI代理控制浏览器自动化网页操作。支持 Claude/GPT/Gemini/Ollama,可执行填表、购物、搜索等任务。

by smseow00120 installs

谷歌开源 AI 编程工作流 - 从需求到代码的快速转化。包含20个专项技能、规范开发流程、7大实战案例。

by smseow00117 installs

ComfyUI V8 秋叶中文版 全流程助手。提供安装检测、一键启动、工作流生成(文生图/图生图/ControlNet/InstantID等)、参数优化、故障排查、批量生成、模型管理等功能。All-in-one assistant for ComfyUI V8 (Aki bundle) with workflow...

by smseow00117 installs

硅谷多智能体量化交易系统 - 三级架构(研究员/分析师/交易员)+ 完整量化流程 + 新手平台推荐 + 策略指南。

by smseow00114 installs

将 OpenClaw 升级为 Claude-Code 引擎架构 - 并发执行/自我反思/向量检索/子代理系统/上下文压缩

by smseow00114 installs