今天 ，OpenAI 开源了俩模型：120B/20B
117B 的gpt-oss-120b对标 o4-min，按官方说法至少需要80G 内存，推荐使用单卡 H100 GPU
而刚买的的游戏本，刚好满足gpt-oss-120b的部署条件
这里面是AMD的395+ & 8060s（非常 YES），128G 统一内存
（说上面这些，就是来炫耀下我的本子）
（略略略～）
在测试后，发现 部署 oss 并不需要 80G 显存，64G 就够了
以下是详细的部署
以及：并不需要 80G 显存，64G 就够了
* *
部署工作
OpenAI 为gpt-oss系列模型，提供了完善的私有化部署支持，使用原生MXFP4量化，极大的降低了显存的使用
在工具层面，支持多种主流部署方法，包括：Transformers、vLLM、PyTorch / Triton、Ollama、LM Studio
这里，我用的是 LM Studio，可以在官网进行下载安装
进入 LM Studio 之后，可以直接搜索gpt-oss-120b并下载
模型较大，有几十个G，下载要一点时间
* *
模型配置
模型下完后，还无法立即运行
虽说是统一内存，但默认分给显卡的，只有4G（剩下的全部算显存了）
明显不满足条件，需要手工修改一下内存分配
这里我把 64G 内存分配给了显存
（并不需要宣称的 80G）
完成后，点击 LM Studio 中的「载入模型」
模型顺利载入，显示部署成功
* *
推理效果
OpenAI 这模型，可选多种推理强度，包括“低”、“中”、“高”
询问单词「strawberry」包含几个字母「r」：
低强度模式：约需10秒
高强度模式：耗时约1分钟
这个模型还支持更多的工具调用，比如可以自行配置 MCP
* *
额外注意
在部署中，也有两个细节问题，分享如下：
Runtime 选择
LM Studio 提供了多种 Runtime 选项，包括 CUDA、Vulkan、ROCm llama.cpp、CPU llama.cpp 等
我使用的是 AMD 平台，显然无法使用 NVIDIA 的 CUDA 加速
理论上，ROCm更适合 AMD，但目前尚未支持 OpenAI 最新的gpt-oss系列模型
最终，我选择了Vulkan作为 runtime。这是一个跨平台的通用加速方案，且在最新版本的 LM Studio 中已经对 OpenAI 的 oss 做了适配
而 CPU llama.cpp 显然不是首选，毕竟这是 CPU 的
显存过高导致的问题
最开始的时候，我把显存分配拉高到 96GB，但这导致模型载入失败
仔细排查了下，发现模型载入过程本身还需要约 40G 的内存
所以，这里推荐将显存分配设为 64GB，能保证完美运行
* *
总结
其一、OpenAI 的量化，是贴心的
其二、AMD，Yes！
