Edge0 发布本地模型:共享专家矩阵与分层加载方案

Edge0 发布两款模型及推理工具,介绍共享专家矩阵、分层加载和本地设计工作流。相关方法与演示来自发布方描述,运行需要适配的硬件,部分功能仍依赖云服务。

Share
Edge0 发布本地模型:共享专家矩阵与分层加载方案
原文配图 · 图片出处

资讯整理 · edge0.ai · 原文日期 2026-11-12

权重、框架与应用入口

此次发布提供 Edge0-145B、Edge0-120B 权重,以及推理框架和部署指南,供开发者下载后本地运行、评估或微调。另一条入口是 Edge0 App,可省去环境配置;发布方称,其核心模型能力支持离线使用,无需账号,也没有使用配额。

专家共享矩阵,训练纳入部署约束

据发布方介绍,模型每组 64 个稀疏专家共享两个大矩阵,各专家保留体现自身差异的少量参数,以减少权重存储和数据搬运,同时保持专家数量。训练从面向本地执行的架构出发,将部署约束纳入设计,而非在云端模型训练完成后再压缩或剪枝。

分层读取与处理器并行调度

发布方的加载方案把读取与计算重叠执行:常用专家驻留 GPU 内存,专家库放在系统内存,词表数据放在 SSD,按需读取。调度时,GPU 计算已缓存专家,CPU 并行处理其余工作;推测解码同时验证多个候选词元,将读取权重的成本分摊到更多输出词元。

PCB 演示连接布线与装配动画

发布方展示的 PCB 工作流从 KiCad 开始:模型放置元件、完成双层板布线,再将设计导入虚幻引擎 5,设置相机和灯光,渲染制造与装配动画。这一演示串联了电路板布局和可视化制作,但动画完成本身不能证明实物电路板的运行效果。

硬件适配与离线使用边界

Edge0-145B 的本地运行需要适配的硬件,算力、散热和电池续航都会影响模型选择。发布方指出,算力很低的设备目前需要选择较小模型,或通过云端访问这一规模的模型。跨设备长期记忆,以及需要高度时效信息的搜索,仍依赖云服务。

原始标题:Introducing Edge0-145B: Frontier AI Capabilities on Your Own Computer
来源:edge0.ai