This is version 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 . It is not the current version, and thus it cannot be edited.
[Back to current version]   [Restore this version]

论文#

大模型的基础 transformer
KAN
MEMGPT

向量数据库#

贾阳光的分享

Transfomer#

大模型技术分享#

http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OneFlow技术年货（2023）公众号 .pdf

自成长模型#

自成长模型是一个可以由小到大，自我成长的模型。也就是可以在生产环境里自我进化的模型。

自成长模型要解决的问题
#

1、训练成本巨大的问题
2、可靠性问题（模型幻觉问题）
3、推理过程中不能训练问题
!! 4、输入token限制问题

为啥我们能解决上述问题：
#

因为理解就是结构，符号化的理解结构(KAN的一个核心思想就是把连接主义和符号主义结合)，就是自成长模型的基础
1、符号化的理解结构就是可以解释的结构，就是精确稳定的结构，所以是减少重复训练的基础
2、符号化就是用符号精确映射计算机结构与外部世界结构化的方式，所以可以解释,可解释才能做到可靠
3、符号化的理解结构，因为可解释，才能在推理（对话）过程中，定位到要修改的结构，才能实现推理即训练的过程
4、实现了推理即训练(有人定义为训推同步)，才能摆脱token的上下文限制问题。

我们自成长模型的核心工作
#

1> transformer形成的理解结构在哪里？
2> 符号化这个理解结构，应该咋做？
3> 如何在推理（就是对话）过程中，改变这个理解结构？

当然，本人已经有充分答案。但每一位参与者都应该深刻思考这些问题

我们的自成长模型的大致模块
#

1、认知模型-概念世界（解决客观世界的符号化世界模型,我们当前第一学术目标）(此模型是建立在人类认知能力之上的模型)
2、认知模型-虚拟3D世界模型（解决客观世界的非符号化世界模型,以后实现）（脱离人类认知能力，发展出从物理世界中认知事物的能力）
3、灵魂模型(解决赋予人工智能的情感问题，也可以理解成强化学习中环境给模型行为打分的问题，以后实现)