[2025年8月,模型从glm-4.5-air-mlx-4bit升级到openai/gpt-oss-120b]

最近Claude Code比Cursor更流行,可惜国内使用Claude非常困难,我在Apple M4 Max + 128 GB内存的MacBook Pro上离线运行最新的OpenAI gpt-oss-120b开放权重模型,并通过它来驱动Claude Code功能,实现完全本地化的AI编程助手。

硬件环境

我用的是Apple M4 Max处理器和128GB内存的MacBook Pro,依托统一内存Unified Memory运行gpt-oss-120b非常流畅,可以把上下文长度Context Length设置为131072,这对于处理大量代码文件非常有帮助。如下图所示:

MacBook Pro配置

安装LM Studio

首先,需要安装LM Studio作为本地模型的运行环境。LM Studio的图形界面友好,对MLX支持很好,且支持个人和企业免费使用,开源模型更新非常快,包括最新的gpt-oss-120b模型。

  • 下载并使用openai/gpt-oss-120bGGUF模型(约64GB)

  • 将Context Length设置为131072

  • 将GPU Offload设置为36/36(将模型层全部加载到GPU内存中,提高运行速度)

  • 打开Offload KV Cache to GPU Memory(将KV缓存转移到GPU内存,减轻CPU负担)

  • 打开Keep Model in Memory(保持模型常驻内存,避免重复加载)

  • 打开Try mmap()(使用内存映射加载模型,提高初始化速度)

  • 打开Flash Attention(启用快速注意力机制,大幅提升推理性能)

  • 启动本地服务器,默认服务在http://localhost:1234

安装Claude Code

接下来安装Claude Code,我用homebrew安装:

brew install claude-code
claude config set -g autoUpdates false

按照homebrew关闭自动更新,通过brew upgrade更新。

安装Claude Code Router

Claude Code Router是一个第三方工具,它可以将Claude Code的请求转发到本地的LM Studio服务器,从而实现离线使用Claude Code的功能。通过npm安装:

npm install -g @musistudio/claude-code-router

这个路由器的核心功能是将Claude Code发出的API请求拦截并重定向到我指定的本地或远程模型服务。

配置Claude Code Router

安装完成后,需要创建一个配置文件,指定模型服务地址和API密钥。这是完整的配置示例:

cat > ~/.claude-code-router/config.json << EOF
{
  "LOG": false,
  "API_TIMEOUT_MS": "600000",
  "HOST": "127.0.0.1",
  "PORT": 7890,
  "APIKEY": "",
  "PROXY_URL": "",
  "NON_INTERACTIVE_MODE": false,
  "Transformers": [],
  "Providers": [
    {
      "name": "lmstudio",
      "api_base_url": "http://localhost:1234/v1/chat/completions",
      "api_key": "not_needed",
      "models": [
        "gpt-oss-120b"
      ]
    },
    {
      "name": "poe",   
      "api_base_url": "https://api.poe.com/v1/chat/completions",                 
      "api_key": "YOUR_POE_API_TOKEN",
      "models": [
        "gemini-2.5-flash",
        "claude-opus-4.1"
      ],
      "transformer": {
        "use": [
          "poe"   
        ]
      }
    }
  ],
  "Router": {
    "default": "lmstudio,gpt-oss-120b",
    "background": "lmstudio,gpt-oss-120b",
    "think": "lmstudio,gpt-oss-120b",
    "longContext": "lmstudio,gpt-oss-120b",
    "longContextThreshold": 60000,
    "webSearch": "poe,gemini-2.5-flash"   
  }
}
EOF

配置的关键点包括:

  • 设置本地代理服务地址为http://127.0.0.1:7890

  • 配置LM Studio作为主要模型提供者,指向本地运行的gpt-oss-120b

  • 配置Poe API作为备用模型和网络搜索提供方

  • 设置API超时时间为10分钟,以适应大型代码生成任务

启动服务

配置完成后,可以启动Claude Code Router服务,然后运行Claude Code:

ccr code

如果需要在修改配置后重启服务,可以使用:

ccr restart

使用体验

通过上述配置,我成功在MacBook Pro上实现了完全离线运行的Claude Code。OpenAI的gpt-oss-120b运行非常流畅,回复速度快,代码质量和Cursor Pro有的一拼。

参考资料