This is version 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 . It is not the current version, and thus it cannot be edited.
[Back to current version]   [Restore this version]

爱因斯坦说：我不可理解的是，这个世界为什么是可以理解的？#

曼德勃罗说：这个世界是一个分形世界。我说，因为分形在时间和空间各个维度上不断重复，每一个人才能在任意时刻任意一点能感受到相同的本质，所以世界可以理解。

维特根斯坦说：语言的边界就是思想的边界#

咱说：语言就是思想的符号，思想就是理解这个世界的结构

维特根斯坦又说：世界是事实的总和，而是事实是事物之间关系，或者事物某种状态的描述#

我说：完全同意维特说法，而且用嵌入空间的话来翻译的话就是:事物就是静态向量（词嵌入），事实(我有时候也说是事务)就是动态向量（句向量或者文本向量）。

维特根斯坦还说，这个世界是相互联系确定的事实组成，但事实又是独立的，所以任何一个局部世界都可以分解，貌似有逻辑冲突。#

我总结：事实之间的联系有两种联系，一种本质（非线性或者质变）联系，一种非本质（线性，或者说量变）联系。 所以事实之间（非本质的量变）联系构成了一个稳定本质的系统，那么就是这个系统就是一个独立事物系统。那么这个系统可以是包含这个系统的更大系统的独立事物。

这个世界为啥有线性和非线性？#

因为这个世界有量变（线性）到质变（非线性），可为啥这个世界有量变到质变呢？ 因为没有量变到质变就没有分形世界，不断重复的本质，才能用符号定义，这就是理解的本质

大模型为啥会有涌现现象？#

涌现本质是大模型通过大量数据训练，构建的概念世界结构，已经理解到了世界本质。学习到了高维空间的规律

如何评估一个模型有没有产生智慧?#

我认为 scaling law 并不是关键，而是模型内部结构的熵减程度，用程序员的话说，就是代码结构精巧程度。也就是相同复用逻辑，没有出现代码其他地方，也就是写代码不是用不停的复制黏贴产生。用普通人话就是这个人是否活得通透，自相似度（术语是分形维度），就是精巧度。

人是如何分析解决问题的呢？#

先定性分析（抓本质），然后在定量分析（抓细节）。（这个就是人通往解决问题，拟合世界的高效分析法）

反向传播改造分两部分：#

全量反向传播和增量反向传播
全量反向传播通过损失设计引导参数形成有序的熵最小的结构
增量反向传播通过有序的结构快速定位反向传播

论文#

大模型的基础 transformer
KAN
MEMGPT
BERT
基于大模型技术的图像识别技术 vision transformer
lora微调
DeepSeek(时不我待，已经有人往这个方向迈进了)
MiniMax（Google 最新模型）

RAG分享#

李徐赢的分享
余烨的分享

向量数据库#

贾阳光的分享

Transformer#

李徐赢的分享
盛伟的分享
王士昌的分享
王士昌的transformer代码实现分享
翻译模型的训练代码结构图

deepseek#

敖博士的分享

大模型技术分享#

武庭轩

微调数据分享#

余烨

自成长模型#

个人介绍#