亚当计划是立足最少资源，一步一步扩大扩大模型规模的增量训练计划\\
[|http://www.mandelbrot.cn:8080/JSPWiki/attach/Adam%20plan/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E6%B5%81%E7%A8%8B%E5%9B%BE_01.png]


!我们解决的核心问题是，黑箱大模型需要整个模型全量参数以高传输速率到各个GPU才能完成预训练的通信瓶颈问题，而我们的白盒模型的模块之间是低数据传输，绕开了这个硬件瓶颈。(100Mbps与100Gbps的区别)

!!1、模型参数规模目标是70B （根据现有资源，把目标分成阶段性）
       1> 5月底完成7B模型训练\\
       2> 7月份前要引入大资金\\
       3> 10月份前完成70B模型训练\\

!!2、第一个抽象层训练目标是搞懂数学

[加减乘此如何利用神经元拟合|http://www.mandelbrot.cn:8080/JSPWiki/attach/Adam%20plan/%E7%A5%9E%E7%BB%8F%E5%85%83%E7%AE%97%E6%9C%AF%E8%BF%90%E7%AE%97%E6%A0%B8%E5%BF%83%E5%85%AC%E5%BC%8F%E8%A7%A3%E6%9E%90.pdf]\\

[NAC论文|http://www.mandelbrot.cn:8080/JSPWiki/attach/Adam%20plan/1808.00508v1.pdf]

我们分析，传统大模型的非线性激活函数，其实是阻碍用上述神经元优雅表达加减乘除的核心原因

这个计划将彻底改变大模型的预训练范式

!随着我们的增量预训练方案落地，我们已经彻底超越deepseek的最低预训练成本