01
Features 核心特性
24GB GDDR6X 大显存
单卡即可承载 7B–14B 量化大模型的本地推理，数据不出内网
第四代 Tensor Core
1321 AI TOPS，支持 FP8 精度加速，推理吞吐表现出众
成熟的 CUDA 生态
主流推理框架（vLLM、Ollama、llama.cpp）开箱即用，部署成本最低
02
技术参数
| 架构 | NVIDIA Ada Lovelace（AD102） |
| CUDA 核心 | 16384 |
| 显存 | 24GB GDDR6X · 384-bit · 1008 GB/s |
| AI 算力 | 1321 TOPS |
| 整卡功耗 | 450W（建议 850W 以上电源） |
03
选型表
| 型号 | CUDA 核心 | 显存 | 适用场景 |
|---|---|---|---|
| RTX 4090 | 16384 | 24GB GDDR6X | 本地大模型推理 / AI 开发 |
| RTX 4090 D | 14592 | 24GB GDDR6X | 国内市场合规版本 |
NVIDIA GeForce RTX 4090 基于 Ada Lovelace 架构，配备 16384 个 CUDA 核心与 24GB GDDR6X 显存，是本地部署 7B–14B 大模型的高性价比选择。宇圻提供基于该卡的 AIPC 终端与工作站整机集成、驱动与推理环境调优服务。参数源自 NVIDIA 官方公开数据。
需要选型或部署建议？
告诉我们您的场景，宇圻为您提供端云协同的 AI 落地建议。