AI 日报

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved: [https://huggingface.co/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved](https://huggingface.co/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved) llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP

我对 MTP 技术很兴奋，尤其是因为 Gemma4 已经成为我某些场景的「主力工具」。我下载了最新的 mlx-vlm 并进行测试，结果令人失望。 | 工作负载 | MTP 关闭 | MTP 开启 | 结果 | 草稿接受率 | |---||---|---|---|| 代码生成 | 75 tok/s

硬件配置： RTX 3060 12GB 32GB DDR4-3200 Windows CUDA 13.x 模型： Qwen3.6-35B-A3B-MTP-IQ4_XS.gguf 这是一个 35B MoE 模型，所以 `-ncmoe` 参数很重要。更低的 `-ncmoe` 意味着更多 MoE 模块留在 GPU 上。 # 主要结论 **12GB 显存对于这个模型来说是非常实用的容量。**

我一直在尝试让 MTP 与 TBQ4\_0（TurboQuant 的无损 4.25 bpv KV 缓存）在 Qwen3.6-27B 上协同工作，供个人使用。 经过一天的摸鱼式编码，我可能找到了可行的方案。从首次编译成功时的约 43 t/s，优化后达到 80-87 t/s

ai2 发布了新的 MoE 模型 EMO，1b 激活/14b 总参数，在 1t tokens 上训练完成 有趣的是文档级路由机制。专家按健康、新闻等领域聚类，而非表面模式 模型链接：[https://huggingface.co/collections/allenai/emo](https://huggingface.co/collections/allen

vLLM has the ability to run .safetensors LLMs before they are converted to GGUF and represents a new engine to explore. I personally had never tried it out until u/krishna2910-amd/ u/mikkoph and u/sa1sr1 made it as easy as running llama.cpp in Lemonade: ``` lemonade backends install vllm:rocm lemon

你好， 我过去几个月一直在构建一个 AI 代理，使用本地 LLM 自主编写 Go 代码。主要用例是为 SIEM 管道生成日志解析器。 很大一部分工作最终变成了评估本身：你如何客观地衡量一个模型是否真的有用

我一直在做一个项目，将运行在 macOS 上的 QEMU 改造为支持将 GPU 直通到 Linux 虚拟机。我写了这篇文章，梳理了其中的一些有趣挑战，并提供了基准测试。文章主要关注游戏，但也包含 AI 基准测试。

我们最近看到了 DeepSeek V4 预览版，但它并没有比 V3.2 好太多。你期待的下一个 SOTA 本地/开源模型是什么？

目前仅在 Open Router 上列出：[https://openrouter.ai/inclusionai/ring-2.6-1t:free](https://openrouter.ai/inclusionai/ring-2.6-1t:free) Ling 2.6 是开源权重，Ring 2.5 也是，所以希望这个也会发布。

5月8日，在2026移动云大会上，中国移动与火山引擎正式发布移动引擎机密模型服务专区，为各行业提供兼具技术领先与安全可信的AI服务，包括豆包大模型MaaS服务、Agent开发平台和工具等。 【中国移动与火山引擎发布移动引擎机密模型服务】 通过在移动云上构建安全可信的机密执行环境，该服务让豆包大模型在推理过程中保持端到端加密，让整个推理过程可追溯可审计；同时实现零硬件投入，全托管免运维。后续还将集成HiAgent、Arkclaw 等智能体开发平台和工具，并逐步提供一系列开箱即用的行业智能体，打造先进技术、安全合规与成本可控的更优解。 目前，该服务已上线豆包视频生成模型Seedance 2.0。作为视频生成领域的全球SOTA模型，Seedance 2.0支持文字、图片、音频、视频四

这里大家都在发布运行不同模型的优化方案——这很好，但请让基准测试更贴近现实，因为速度不是有效运行 LLM 的唯一因素。 1. 上下文大小是关键——在代理/编码/RAG 工作中，你需要合适的上下文大小，所以如果你要做基准测试，请做

最近几天都在讨论 MTP。不知为何大家忽略了 Z 几天前发布的 Gemma4 26B 的 Dflash 版本。据我理解，由于更快的并行块扩散草稿生成以及其本身是

我运行了一次基准测试，看看 DFlash 推测解码在 vLLM 中究竟有多大帮助。 测试配置： * GPU: RTX 5090, 32GB 显存 * vLLM: 0.19.2rc1 * 主模型: cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit * 草稿模型: z-lab/gemma-4-26B-A4B-it-DFlash * 工作负载: 随机数据集，256 输入 tokens，1024 输出 toke

5月8日凌晨，百度搭子DuMate登顶智能体评测基准PinchBench榜首，并在前5位中占据3席，超越Anthropic和OpenAI拿下全球龙虾执行争霸赛冠军。在另外一项DeepResearch深度研究榜单中，DuMate同样位列第一。 PinchBench是OpenClaw赛道最能体现Agent真实工作能力的评测基准，重点考察Agent在23个真实工作场景下147个任务的多步推理、工具调用和任务闭环能力，并从成功率、速度、成本三个维度综合排名。榜单显示，DuMate以93.3%和93.2%的总成绩包揽前两名。作为对照，Anthropic和OpenAI的同款模型场景下的成绩分别为89.0%和91.6%。这意味着，同一模型在DuMate框架中，展现出更强的执行力。   超越原生表现的技术基

5月8日，在2026移动云大会上，中国移动与火山引擎正式发布移动引擎机密模型服务专区，为各行业提供兼具技术领先与安全可信的AI服务，包括豆包大模型MaaS服务、Agent开发平台和工具等。   【中国移动与火山引擎发布移动引擎机密模型服务】 通过在移动云上构建安全可信的机密执行环境，该服务让豆包大模型在推理过程中保持端到端加密，让整个推理过程可追溯可审计；同时实现零硬件投入，全托管免运维。后续还将集成HiAgent、Arkclaw 等智能体开发平台和工具，并逐步提供一系列开箱即用的行业智能体，打造先进技术、安全合规与成本可控的更优解。 目前，该服务已上线豆包视频生成模型Seedance 2.0。作为视频生成领域的全球SOTA模型，Seedance 2.0支持文字、图片、音频、视频

大家好， 我看到一篇文章说 Chrome 会默默下载一个约 4GB 的 AI 模型（可能是 'Gemini Nano'）到你的电脑，用于文本摘要等功能。 两个问题： 1. 这个模型的准确名称/版本是什么？ 2. 是否有可下载的 **GGUF** 文件，以便我在本地运行它

2026年社交网络的活人感，一定是AI给的。从朋友圈的赛博旅行照到聊天框里的AI扩图，生成式AI已不再是极客的玩具，而是普通人记录生活、表达情绪的第六感。当技术门槛被踏平，一场关于谁更会玩的创意竞赛悄然开启。 近日，由AI奇妙物语与安慕希联合发起的即梦X安慕希整颗蓝莓AI创作大赛 正在社交平台卷起一场创意风暴。这场事关想象力的全民狂欢折射出的是AI奇妙物语IP的先锋创意和贴近大众生活的特质，也为行业提供了一个AI+艺术+品牌深度融合的样本。 用AI解构生活，给日常加上奇幻滤镜 AI奇妙物语以先锋影像为定位，以东方梦境为美学基调。它的诞生就是要打破大众对AI只是毫无感情的工具的固有认知，传递出生活不普通，AI让它更奇妙的态度。在这里，AI是用户最

5月8日，主题为有态度 就登场的海信&Vidda全场景新品发布会正式拉开帷幕。作为全球显示产业的领跑者，海信视像在这一次的发布会上，打破传统屏幕的物理界限，以显示技术为原点，向声音、智能感知与移动能源全面延伸。这并非一次简单的品类试水，而是海信以50余年深厚的全栈智能硬件研发底座和全链AI智造能力，向全场景3C生态发起的一次系统性技术赋能。 本次发布会，海信以清晰的场景优先级，构建了一套完整的智慧生活拼图：从主打户外高画质观影体验的Vidda LightGo流光派三色激光投影，到重塑桌面专业级生产力的海信UX系列RGB-Mini LED显示器；从提供全屋沉浸陪伴的海信大白闺蜜机X8 Ultra，到不断刷新家用观影天花板的Vidda C5系列旗舰投影；再到点缀家居与个人随行生活的海信画框

你身边有没有一个 7B 参数的模型在努力理解讽刺？有没有一个微小的 1.5B 模型负担不起再训练一个 epoch？ **你可以帮忙。** 只需每训练步骤 0.006 加元，你就可以送一个小模型上大学。给他们知识的礼物。连贯的礼物。不产生幻觉的礼物。

2026年4月，奇瑞集团销量再创新高：单月总销量25.14万辆，同比增长25.2%，稳居中国品牌销量第二；新能源销量10.03万辆，同比增长63.8%，规模与增速均居行业前列；出口17.76万辆，同比增长102.4%，再创中国汽车单月出口新纪录。 销量稳步增长的背后，是奇瑞长期坚持技术立企、持续加大创新投入的战略定力。这从最新发布的研发投入数据可以略见一斑。 奇瑞汽车一季度财报显示：营收658.7亿元，毛利105.64亿元，同比增长24.91%，毛利率升至16.04%。 同样引人注目的还有另一组数据：一季度研发投入28.5亿元，同比增长25.44%，增速高于同期毛利增速。 在盈利能力稳步提升的同时，奇瑞持续向科技创新倾斜资源，以科技创新驱动高质量发展。 技术'开箱'见真章，31项黑科技亮

要闻提示 1.总部人均奖金610万，中国厂却一毛不拔！三星、SK海力士国内员工集体求涨薪 2.宇树G1人形机器人在韩国出家：法名'迦悲'，需遵守不过度充电等戒律 3.61岁男子五一加班在车间身亡！涉事公司：假期自愿，正积极处理 4.三星关停中国家电业务，员工获N+3或N+4补偿！京东宣布过保产品免费上门检测 5.腾讯混元高级研究员于文豪加盟OpenAI 6.新功能？微信未读语音消息由红变灰引热议！腾讯客户回应 7.昆仑芯启动A股IPO！百度持股比例57.67% 8.苹果首款AI可穿戴设备：内置摄像头的AirPods已进入DVT阶段，预计最快9月搭载新Siri亮相 今日头条 总部人均奖金610万，中国厂却一毛不拔！三星、SK海力士国内员工集体求涨薪 5月7日消息，据