谁能想到，超大参数量大模型居然不靠显卡也能本地跑。 最近挖到Kimi K3这个项目，全部用C99写的推理代码，啥深度学习框架、BLAS库全都不用，CPU就能扛。 权重足足1.56TB，但巧妙设计后峰值内存才8.24GB。 机器内存大小只改变生成快慢，输出内容不会变。

阿台🕊️ @QT9277 ·
谁能想到，超大参数量大模型居然不靠显卡也能本地跑。 最近挖到Kimi K3这个项目，全部用C99写的推理代码，啥深度学习框架、BLAS库全都不用，CPU就能扛。 权重足足1.56TB，但巧妙设计后峰…

更多来自 @QT9277

  1. #1

    他要是死了，家属告上法庭，这个会有责任吗？ 捧杀罪？！🤔

    阿台🕊️ @QT9277 ·
    视频封面
  2. #2

    宇树但凡做这个同款，股价都不会跌这么惨

    阿台🕊️ @QT9277 ·
    视频封面
  3. #3

    这就是拥有苹果18的代价吗

    阿台🕊️ @QT9277 ·
    这就是拥有苹果18的代价吗
  4. #4

    兄弟们，别人打架是真不能看热闹。 一板凳给砸懵逼了

    阿台🕊️ @QT9277 ·
    视频封面
  5. #5

    微信群消息炸锅，爬楼真的太折磨人，有用信息转眼就找不到。 挖到个Mac开源工具WeChatBridge（微信流）。选中微信聊天记录，一键喂给AI。 ✅ 多AI任选：Claude、豆包、千问、Codex，还能直接导入Obsidian ✅ 可以给不同群组预设任务，转发不用反复写提示词 ✅

    阿台🕊️ @QT9277 ·
    微信群消息炸锅，爬楼真的太折磨人，有用信息转眼就找不到。 挖到个Mac开源工具WeChatBridge（微信流）。选中微信聊天记录，一键喂给AI。 ✅ 多AI…
  6. #6

    闲鱼已经变黄色了吗？为啥我没看到过😶

    阿台🕊️ @QT9277 ·
    闲鱼已经变黄色了吗？为啥我没看到过😶

查看 @QT9277 的全部帖子