(Match Point) 個人剩下能打的球 Computing(Hyperscaler), Power(Goverment), Horse/Harness(Person)

對於這段時間(也才2個月的時間)新模型的互相能力超車的感覺越來越快, 相對於去年那種安穩感, 這兩個月的暗自升級潮(Antropic Mythos 5, OpenAI GPT-5.6 Sol+6 Astra)都狠狠地教訓了他們的訓練模型的專家, 資安專家, 順便外面公司的安全性也被教育了一頓後, 我們都不知道該怎麼辦, 只好乖乖地交出更高的訂閱與API帳單, Claude......Fable 5.1 好貴,但是好像也只有他能跟上GPT-6互相訓練疊代現在的AIOS .....照這樣燒token.....還是買台Mac Studio划算,Qwen 3.8-27B安裝指南

近期有趣的謎因, GPT6已經到了一個不只coding強的領域

AIOS_TonyCAPM
Harness Engineering總是期待更新更強的競爭, 至少有兩個在那裏互相成長(還是傷害?) 

免費碼農 Opencode(Big Pickle) 的導入, 來接替Codex(GPT-5.5, 5.6)

Opencode/Codex 互相協力工作

由於近期的OpenAI Token重置越來越慢, 每個禮拜的RPD越來越不夠用, 所以在agent或是寫code,改東西的卡關變成要拉其他代理agent把未完成的事接手完成(結果搞得Deepseek, Claude, Gemini API就得拿來燒tokens=錢). 所以我們身為廉價勞工國家, 終究要以當一個免費仔為目標前提找到夠強, 夠會寫code, 又不會燒掉口袋的模型.  於是就找到了Opencode這個代理Agent 廣泛使用的CLI, 同時本身又支援的免費模型(Big Pickle, 無使用or呼叫上限) 再不行就是自己買一台RAM夠大的 Mac Mini(M6 32GB看起來很棒啊~跑本地產生token也夠快, 也相對省電跟好維護&部署, 所以這次我就只想找個抓個來打消我浪費錢敗家買Mac Mini M6 32GB的理由XD)

(Opencode Big Pickle寫的網頁服務) 寫的Python, Inventory Check Visualization也正確的呈現

(本地端與雲端模型中局求解) 無越獄解鎖把Hermes agent裝進 Android Phone

Hermes Agent in Termux 成功Oauth呼叫GPT-5.6 Sol

Hermes Agent 安裝在F-Droid 安裝的最新版Termux後24/7運作(手機不關機)

經過漫漫survey後(AI hardware benchmark), 後來發現想要買一台足以支撐Agentic AI 的本地端系統根本就是花小錢跟眾AI大神的打群架中賽跑的事情(不要被踩死就很難了XD). 本地端模型即便持續不斷的在開源社群被壓縮(Qwen3.8-27B 越狱无审查模型本地部署完整指南) , 其Token產出的速率仍無法支持多個AI agent協作的過程. 有種像用螞蟻拉著大象走的感覺...所以換了一個考慮點, 就是仍維持用API 以 Hyperscaler的 便宜模型(ex. GPT-5.4-mini, Deepseek-V4-Flash/Pro, Claude Haiku 4.5/Opus5,Grok....)來維持AIOS的獨立作業, 以現今的記憶體推進新電腦的報價高到無法直視(BOM cost來看 memory已經高到讓人很有感)

Qwen3.8 開源模型之神座如何在Mac 本機端部屬

二、硬件要求參考(Qwen 3.8-27B 本地模型, 在最低限度下可以跑Agentic AI的模型之一)

量化版本 大約大小 推薦配置 備注

BF16（官方） ~55-56GB 64GB+ 顯存/內存 最高精度

FP8（官方） ~31GB 40-48GB 官方推薦

Q4_K_M / UD-Q4_K_XL ~17-18GB 24GB 顯存（RTX 4090 等） 性價比最高

Q3 / IQ4 ~13-16GB 16GB 顯卡 可用但質量略降

超低量化（越獄專用） 更低 最低 4GB 顯存 實測重點，質量有妥協

Mac 統一內存、RTX 30/40/50 系列消費級顯卡均可嘗試。 (BTW, 台灣近期的高溫可能要注意散熱不要把硬體燒掉可能更迫切)

半年前

 

現在的報告