现在我也不知道这频道发了啥了,各位慢慢吃瓜,将就着看

联系我请去 @abc1763613206

友链儿
@cyberElaina
@rvalue_daily
@billchenla
Kimi 似乎正在给没参加预览体验计划的 Kimi Code 用户推送 K2.6-code-preview,目前在插件端的 Thinking 过程已经无法展开查看。
🦆 我把 32 台 Intel N100 小主机改造成了一个 DeepSeek-V3.2 685B 推理集群。

没有 NVLink。
没有 InfiniBand。
只有 1 张 RTX 5090、32 台原本用于在线评测的 N100、和普通以太网。

关键想法:
🧠 Attention 留在 GPU
🦆 MoE 层交给 N100 集群
自定义 fp9 数据格式,让 AVX2 小核也能跑 MoE GEMV

最终:
11 tokens 输入,2037 tokens 输出
16.171 tok/s decode
MTP1 接受率约 89%

技术报告:
https://judgeduck.ai/duck-llm/

*个人娱乐项目,与任何组织均无关联*
Back to Top