研究了一下 FreeToken 说白了就是 MoE大模型专家全扔主机内存,GPU只当智能缓存,按你家机器带宽自动决定是搬数据去GPU算,还是直接CPU算 但是这套方案的缺点是内存要 160GB 起步,160GB 起步的内存 + 好的主板 + 4090 起步的显卡,最后换来只是 20 多 tokens/s 现在天价内存条的行情,还不如买 Andy Stewart @manateelazycat · 1 天前