(本地端與雲端模型中局求解) 無越獄解鎖把Hermes agent裝進 Android Phone

Hermes Agent in Termux 成功Oauth呼叫GPT-5.6 Sol

Hermes Agent 安裝在F-Droid 安裝的最新版Termux後24/7運作(手機不關機)

經過漫漫survey後(AI hardware benchmark), 後來發現想要買一台足以支撐Agentic AI 的本地端系統根本就是花小錢跟眾AI大神的打群架中賽跑的事情(不要被踩死就很難了XD). 本地端模型即便持續不斷的在開源社群被壓縮(Qwen3.8-27B 越狱无审查模型本地部署完整指南) , 其Token產出的速率仍無法支持多個AI agent協作的過程. 有種像用螞蟻拉著大象走的感覺...所以換了一個考慮點, 就是仍維持用API 以 Hyperscaler的 便宜模型(ex. GPT-5.4-mini, Deepseek-V4-Flash/Pro, Claude Haiku 4.5/Opus5,Grok....)來維持AIOS的獨立作業, 以現今的記憶體推進新電腦的報價高到無法直視(BOM cost來看 memory已經高到讓人很有感)

Qwen3.8 開源模型之神座如何在Mac 本機端部屬

二、硬件要求參考(Qwen 3.8-27B 本地模型, 在最低限度下可以跑Agentic AI的模型之一)

量化版本 大約大小 推薦配置 備注

BF16（官方） ~55-56GB 64GB+ 顯存/內存 最高精度

FP8（官方） ~31GB 40-48GB 官方推薦

Q4_K_M / UD-Q4_K_XL ~17-18GB 24GB 顯存（RTX 4090 等） 性價比最高

Q3 / IQ4 ~13-16GB 16GB 顯卡 可用但質量略降

超低量化（越獄專用） 更低 最低 4GB 顯存 實測重點，質量有妥協

Mac 統一內存、RTX 30/40/50 系列消費級顯卡均可嘗試。 (BTW, 台灣近期的高溫可能要注意散熱不要把硬體燒掉可能更迫切)

半年前

 

現在的報告

Deepseek模型,在Nvidia NIM開發者可用的清單默默被拿掉, 同時突然宣布漲價1100%

(Hermes Bug Patch) 裡面同時有講到如何把Hermes Agent安裝到任何的Android手機

這樣就可以藉由手機本身不會關機的特性, 讓他自己製造輪子--然後讓飛輪在手機裡跑

如果今天我們的目標是要達到一個豐碩的世界, 那麼Tokens越來越有價值的今天(Deepseek調漲API同時Nvidia 暫停了開發者調用), 我們看起來越來越有機會在有生之年看到AGI的出現, 還有比我們更了解自己的AI助理, 只要我們持續把Context餵給他讓他的RL 有辦法伴隨算力慢慢拉上來或許更多時間需要思考的是, 我就算有AI助理了跟成為了Token富翁, 那我要她解決甚麼問題?  這陣子在討論的是, AI可以解決所有問題, 但AI沒辦法解決所有人的問題. 可能我們活了那麼多年還被困在某種符號<--->經驗主義的中間? 有意義的把tokens 燒掉, 然後換成某種意識存在在手機應用, 好像很適合這個農曆七月的活動, 古人燒金紙也是為了要代幣化某種流程獲得祝福還是好處?. 

如何透過Token Burn把日常的流程skills 化 (Prototype to Profit)

Deepseek雖然不是主力模型, 但是API還是一直有在燒錢

(The More You Say It, The More It Will be True) 這個系列的海報很有趣的呼應了這個大時代, 布魯克的座右銘則是Agent的