亚当计划是立足最少资源,一步一步扩大扩大模型规模的增量训练计划\\

1、模型参数规模目标是70B (根据现有资源,把目标分成阶段性)\\
   1> 5月底完成7B模型训练\\
   2> 7月份前要引入大资金\\
   3> 10月份前完成70B模型训练\\

2、第一个抽象层训练目标是搞懂数学

[加减乘此如何利用神经元拟合|http://www.mandelbrot.cn:8080/JSPWiki/attach/Adam%20plan/%E7%A5%9E%E7%BB%8F%E5%85%83%E7%AE%97%E6%9C%AF%E8%BF%90%E7%AE%97%E6%A0%B8%E5%BF%83%E5%85%AC%E5%BC%8F%E8%A7%A3%E6%9E%90.pdf]\\

[NAC论文|http://www.mandelbrot.cn:8080/JSPWiki/attach/Adam%20plan/1808.00508v1.pdf]

我们分析,传统大模型的非线性激活函数,其实是阻碍用上述神经元优雅表达加减乘除的核心原因

这个计划将彻底改变大模型的训练范式