今天abc看了啥🤔
现在我也不知道这频道发了啥了,各位慢慢吃瓜,将就着看
联系我请去
@abc1763613206
友链儿
@cyberElaina
@rvalue_daily
@billchenla
12 小时前
Kimi 似乎正在给没参加预览体验计划的 Kimi Code 用户推送 K2.6-code-preview,目前在插件端的 Thinking 过程已经无法展开查看。
13 小时前
🦆
我把 32 台 Intel N100 小主机改造成了一个 DeepSeek-V3.2 685B 推理集群。
没有 NVLink。
没有 InfiniBand。
只有 1 张 RTX 5090、32 台原本用于在线评测的 N100、和普通以太网。
关键想法:
🧠
Attention 留在 GPU
🦆
MoE 层交给 N100 集群
⚡
自定义 fp9 数据格式,让 AVX2 小核也能跑 MoE GEMV
最终:
11 tokens 输入,2037 tokens 输出
16.171 tok/s decode
MTP1 接受率约 89%
技术报告:
https://judgeduck.ai/duck-llm/
*个人娱乐项目,与任何组织均无关联*
Before
After
Home
Powered by
BroadcastChannel
&
Sepia