今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都不如直接蒸,前沿实验室的模型普遍 5-10T,学生太小听不懂老师,700B 蒸 3-5T

indigo @indigox ·
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都…
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都…
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都…
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都…
  1. #1

    今天 Nasdaq 100 下跌 6.49%,SOX 下跌约 12.15%,年度最深的一次回调,进入技术性熊市!这次下跌的诱因按重要性排序大致如下:

    今天 Nasdaq 100 下跌 6.49%,SOX 下跌约 12.15%,年度最深的一次回调,进入技术性熊市!这次下跌的诱因按重要性排序大致如下:
  2. #2

    BLUE EYE SAMURAI 2027 一月十九日回归🔥

  3. #3

    AI 发现不了意义,因为它没有体验!人活着不是为了出名,也不是为了拿菲尔兹奖,而是解决有趣的问题、帮助他人、保持好奇。Lex Fridman 播客中这段分享今天格外有分量。如果你正在做一份无聊的工作,那就趁早换掉,把目标定得更高,去找真正值得解决的问题。这一轮 AI

  4. #4

    自荐下我的油管频道 每个月才更新一两期 而且每期都是一小时以上 实在得不到算法的青睐 。。。 只能靠各位 X 有帮忙了😜 不过我会用直播来温故知新我的分享 也会邀请有趣且有洞见的朋友来对谈 力荐最近的科技加速主义、AI 时代的人生算法、被操控的注意力还有猫姐的交易及人生✨

    自荐下我的油管频道 每个月才更新一两期 而且每期都是一小时以上 实在得不到算法的青睐 。。。 只能靠各位 X 有帮忙了😜 不过我会用直播来温故知新我的分享 也…

查看 @indigox 的全部帖子