亚当计划是立足最少资源，一步一步扩大扩大模型规模的增量训练计划
我们解决的核心问题是，黑箱大模型需要整个模型全量参数以高传输速率到各个GPU才能完成预训练的通信瓶颈问题，而我们的白盒模型的模块之间是低数据传输，绕开了这个硬件瓶颈。(100Mbps与100Gbps的区别) #
最关键超大模型的预训练，不会因为通信延迟或者波动而崩溃#
1、模型参数规模目标是70B （根据现有资源，把目标分成阶段性）#
1> 5月底完成7B模型训练2> 7月份前要引入大资金
3> 10月份前完成70B模型训练
2、第一个抽象层训练目标是搞懂数学#
我们分析，传统大模型的非线性激活函数，其实是阻碍用上述神经元优雅表达加减乘除的核心原因
这个计划将彻底改变大模型的预训练范式
随着我们的增量预训练方案落地，我们已经彻底超越deepseek的最低预训练成本#
Add new attachment
List of attachments
| Kind | Attachment Name | Size | Version | Date Modified | Author | Change note |
|---|---|---|---|---|---|---|
pdf |
1808.00508v1.pdf | 1,668.9 kB | 1 | 09-Feb-2026 12:19 | 14.153.69.91 | |
png |
分布式增量训练流程图_01.png | 162.4 kB | 2 | 08-Jun-2026 19:50 | 14.155.111.131 | |
png |
分布式增量训练流程图_01中文版.png | 1,330.3 kB | 1 | 10-Jun-2026 14:08 | 14.153.67.109 | |
png |
分布式增量训练流程图_01英文版.png | 1,496.7 kB | 1 | 10-Jun-2026 14:08 | 14.153.67.109 | |
png |
分布式增量训练流程图_中文.png | 887.0 kB | 1 | 02-Jul-2026 15:21 | 14.153.63.230 | |
png |
分布式增量训练流程图_中文缩放.png | 185.8 kB | 1 | 02-Jul-2026 15:32 | 14.153.63.230 | |
png |
分布式增量训练流程图_英文.png | 1,043.3 kB | 1 | 02-Jul-2026 15:20 | 14.153.63.230 | |
png |
分布式增量训练流程图_英文缩放.png | 197.8 kB | 1 | 02-Jul-2026 15:33 | 14.153.63.230 | |
png |
分布式训练流程图_01.png | 169.9 kB | 1 | 10-Jun-2026 14:20 | 14.153.67.109 | |
pdf |
监控工具业务流程1.0.pdf | 3,111.1 kB | 1 | 06-Feb-2026 16:40 | 14.220.175.62 | |
pdf |
神经元算术运算核心公式解析.pdf | 561.6 kB | 1 | 06-Feb-2026 16:42 | 14.220.175.62 |
Ho hum, it seems that the EditPageHelp page is missing. Someone must’ve done something to the installation...
You can copy the text from the EditPageHelp page on jspwiki.org.
You can copy the text from the EditPageHelp page on jspwiki.org.