AI 与本地模型 · 选型指南
本地模型使用与应用开发
选择判断
先让完整任务装得下，再比较交互速度。
统一内存需与系统共享；多卡显存不会自动合并。按同一模型与任务比较可用容量、响应表现和整机预算。
当前比较机型曜 NanoRD-111M
返回总览比较配置01 / 资源与瓶颈
从瓶颈判断配置
以下为选型判断方法，结合本任务的具体软件与输入验证。
单模型容量不足
值得比较的调整比较更大单卡与框架支持的分片；先扣除上下文和运行余量。
升级前验证跨卡后的每卡占用与通信成本。
容量足够，但请求排队
值得比较的调整比较批处理与独立副本；不要把增加副本当作扩大单个模型容量。
升级前验证高峰首个响应、输出速度和整批完成时间。
GPU 等待输入或数据
值得比较的调整检查预处理、检索、CPU 调度和存储，先定位等待来源。
升级前验证分阶段耗时；加卡后等待是否仍存在。
软件与资源分工
- 模型容量与运行余量
- 同时计算权重、上下文缓存与运行开销；统一内存总容量和多卡显存总和都不等于模型可用空间。
- 计算性能与软件生态
- 按框架、精度和算子选择计算路线，用实际任务比较响应和吞吐，容量不能代替性能判断。
- 数据、服务与扩展
- 为检索、预处理、模型存储和服务进程安排资源，再按瓶颈决定是否增加计算卡。
02 / 机型适用边界
对当前机型的判断
曜 Nano
RD-111M以大容量统一内存承载本地量化模型，适合个人交互与应用原型；实际可用容量需为系统和运行缓存留余量。
适用条件
重视模型容量与紧凑本地部署
03 / 工作流与交付
从一份可复现的输入开始
按模型与精度、上下文长度和本地交互响应目标评估。
- 01
确定目标与样例
先说明模型要完成的工作，固定模型版本、精度、输入长度与评估样例。
- 02
比较可用配置
在五种主要显卡中比较每卡显存、实际性能与整机预算，再结合卡数、CPU、系统内存和扩展需求选择机型。
- 03
建立应用或服务
接入工具、知识库或业务接口；团队任务同时安排队列、权限和模型版本管理。
- 04
验证后再扩展
检查质量、响应与资源占用，再决定采用更大单卡、独立副本或模型分片。
软件与环境
PyTorch、llama.cpp、vLLM 等可作为候选。按模型、硬件、驱动版本与许可逐项适配，预装内容以交付约定为准。
04 / 验证清单
验证记录应包含
- 01
核对模型与框架支持
- 02
测量完整运行占用
- 03
验证回答与工具调用
资料只说明各自的软件或硬件范围，不代表本方案整机的性能与兼容性已经验证。
05 / 资料与适用范围
本领域的完整参考目录
- [1]AMD 统一内存本地模型示例本任务引用
- [2]NVIDIA 96GB 单卡规格
RTX PRO 6000 Blackwell Workstation Edition 官方规格为 96GB GDDR7 ECC 显存，为大显存单卡路线提供依据。
- [3]vLLM 推理并行与扩展本任务引用
- [4]NVIDIA RTX PRO 5000 显存规格
官方规格分别列出 48GB 与 72GB 版本，选型时按完整型号与显存容量确认。
- [5]NVIDIA 技术资料：RTX PRO 6000D
官方技术文章记录了 RTX PRO 6000D 的 84GB 显存配置；不将文中的数据库成绩作为本地模型表现。
从你的下一个目标，
开始讨论。
告诉我们你的应用、目标和预算，一起比较合适的平台与配置。