| At line 1 added 48 lines |
| !!!爱因斯坦说:我不可理解的是,这个世界为什么是可以理解的? |
|
| 曼德勃罗说:这个世界是一个分形世界。我说,因为分形在时间和空间各个维度上不断重复,每一个人才能在任意时刻任意一点能感受到相同的本质,所以世界可以理解。 |
|
| !!维特根斯坦说:语言的边界就是世界的边界 |
| 咱说:语言就是思想的符号,思想就是理解这个世界的结构 |
|
| !!维特根斯坦又说:世界是事实的总和,而是事实是事物之间关系,或者事物某种状态的描述 |
| 我说:完全同意维特说法,而且用嵌入空间的话来翻译的话就是:事物就是静态向量(词嵌入),事实(我有时候也说是事务)就是动态向量(句向量或者文本向量)。 |
|
| !!维特根斯坦还说,这个世界是相互联系确定的事实组成,但事实又是独立的,所以任何一个局部世界都可以分解,貌似有逻辑冲突。 |
| 我总结:事实之间的联系有两种联系,一种本质(非线性或者质变)联系,一种非本质(线性,或者说量变)联系。 所以事实之间(非本质的量变)联系构成了一个稳定本质的系统,那么就是这个系统就是一个独立事物系统。那么这个系统可以是包含这个系统的更大系统的独立事物。 |
|
| !!这个世界为啥有线性和非线性? |
| 因为这个世界有量变(线性)到质变(非线性),可为啥这个世界有量变到质变呢? 因为没有量变到质变就没有分形世界,不断重复的本质,才能用符号定义,这就是理解的本质 |
|
| !!大模型为啥会有涌现现象? |
| 涌现本质是大模型通过大量数据训练,构建的概念世界结构,已经理解到了世界本质。学习到了高层次的规律 |
|
| !!如何评估一个模型有没有产生智慧? |
| 我认为 scaling law 并不是关键,而是模型内部结构的熵减程度,用程序员的话说,就是代码结构精巧程度。也就是相同复用逻辑,没有出现代码其他地方,也就是写代码不是用不停的复制黏贴产生。用普通人话就是这个人是否活得通透,自相似度(术语是分形维度[|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250218094951.png])或者[|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E7%86%B5.png],就是精巧度。 |
|
| !!人是如何分析解决问题的呢? |
| 先定性分析(抓本质),然后在定量分析(抓细节)。(这个就是人通往解决问题,拟合世界的高效分析法) |
|
| !!写作之难,在于把网状的思考,用树状结构,体现在线性展开的语句里。 |
| 生成内容之难,正如[斯蒂芬·平克|https://sspai.com/post/66959]如是说,而把线性空间里的语句,梳理成树状结构,然后嵌入网状的理解结构里,就是阅读之难,也是模型训练之难 |
|
| !![大模型本质是用有限参数(符号)表达无限的宇宙|nature] |
|
| !![基于超尺度全域观察者的物理统一理论——量子力学与经典力学、随机性与确定性的融合的哲学思考|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%9F%BA%E4%BA%8E%E8%B6%85%E5%B0%BA%E5%BA%A6%E5%85%A8%E5%B1%80%E8%A7%82%E5%AF%9F%E8%80%85%E7%9A%84%E7%89%A9%E7%90%86%E7%BB%9F%E4%B8%80%E7%90%86%E8%AE%BA.pdf] |
|
| !![观察是意识的开始,是智能的自相似递归,能量完成自观察的结果|self-consciousness] |
|
| !!有趣的认知分享 |
| [混沌系统|https://www.jianshu.com/p/3f6508301c4f]\\ |
| [自组织|https://zhuanlan.zhihu.com/p/495786957]\\ |
| [复杂系统研究|https://www.thepaper.cn/newsDetail_forward_14794450]\\ |
| [分层智能|https://www.toutiao.com/article/7532337339218412047/?timestamp=1753771741&share_uid=MS4wLjABAAAAUMegIZqr2nYWpGU23RGe_pzdT3Uj_ozs1gsAEwYPcmc&share_did=MS4wLjACAAAAXHEoYc5mUGzqUqMZ-_mLWTUtUrRuJidK5OHLiD8ie8Y&app=news_article&upstream_biz=client_share&category_new=__all__&share_token=87faad07-cd42-47a2-9632-14ef6dabb9ec&source=m_redirect]\\ |
| [生物神经网络精细仿真算法|https://idm.pku.edu.cn/info/1012/1758.htm]\\ |
| [精细神经元|https://blog.csdn.net/Fellyhosn/article/details/130048518]\\ |
| [大脑看世界的方式,竟与语言模型惊人一致|https://doi.org/10.1038/s42256-025-01072-0]\\ |
| [知识蒸馏|https://zhuanlan.zhihu.com/p/637108617]\\ |
| [控制论与科学方法论|https://zhuanlan.zhihu.com/p/399765962]\\ |
| [系统论|https://www.cnblogs.com/haohai9309/p/18921515]\\ |
| [非解释性小模型也可以有大模型的能力|https://cloud.tencent.com/developer/article/2335354]\\ |
|
|
| At line 53 added 8 lines |
| [BERT|https://arxiv.org/abs/1810.04805]\\ |
| [基于大模型技术的图像识别技术 vision transformer|https://arxiv.org/abs/2010.11929]\\ |
| [lora微调|https://arxiv.org/abs/2106.09685]\\ |
| [DeepSeek(时不我待,已经有人往这个方向迈进了)|https://arxiv.org/pdf/2401.06066]\\ |
| [MiniMax(Google 最新模型)|https://arxiv.org/abs/2501.08313]\\ |
| [MOR|https://arxiv.org/pdf/2507.10524v1]\\ |
| [基于MOE的黑箱分时分块训练(非最优解)|https://arxiv.org/abs/2602.11543]\\ |
| [弹性 AI 预训练来自google|https://arxiv.org/pdf/2604.21428v1]\\ |
| At line 6 changed 2 lines |
| !!!自成长模型 |
| 自成长模型是一个可以由小到大,自我成长的模型。也就是可以在生产环境里自我进化的模型。 |
| !!RAG分享 |
| [李徐赢的分享|https://boardmix.cn/app/editor/YifvuGYyx_5MI17zuH5ztQ?inviteCode=Kwl2zE]\\ |
| [余烨的分享|https://zcnai77qcmqz.feishu.cn/file/HLbubgY25ofKnRxpP7Rc27U9ndb]\\ |
| !!向量数据库 |
| [贾阳光的分享|https://pixso.cn/app/board/B7OO9x2KyKGZon6sB-HVsw?showQuickFrame=true&icon_type=3&file_type=20&open_in_browser=true] |
| At line 9 changed one line |
| !!自成长模型要解决的问题\\ |
| !!Transformer |
| [李徐赢的分享|https://boardmix.cn/app/editor/HU8TtLwFYfLeWBt_C0TUgA?open_in_browser=true&inviteCode=Kwl2zE]\\ |
| [盛伟的分享|https://pptgo.cn/app/share/CAE.IAEqEHWyh5RP2aUt4ZkKvULsYgwwAkABSgozNDU4MTMwNDY0]\\ |
| [王士昌的分享|https://c93wv2pcay.feishu.cn/docx/LJkZdTMYJop3ApxCIeccXFeTnT5]\\ |
| [王士昌的transformer代码实现分享|https://icnwnitmcdqj.feishu.cn/wiki/A13hwfJmWipzTQkOkuTc1C5xnHc?open_in_browser=true]\\ |
| [翻译模型的训练代码结构图|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%85%B3%E4%BA%8E%E8%AE%AD%E7%BB%83.jpg]\\ |
| At line 11 changed 4 lines |
| 1、训练成本巨大的问题\\ |
| 2、可靠性问题(模型幻觉问题)\\ |
| 3、推理过程中不能训练问题\\ |
| 4、输入token限制问题\\ |
| !扩散模型 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B.pptx] |
| At line 16 changed one line |
| !为啥我们能解决上述问题:\\ |
| !VIT分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/Vision%20Transformer.pptx] |
| At line 18 changed 5 lines |
| 因为理解就是结构,符号化的理解结构(KAN的一个核心思想就是把连接主义和符号主义结合),就是自成长模型的基础\\ |
| 1、符号化的理解结构就是可以解释的结构,是减少重复训练的基础,符号化的结构就是精确稳定结构\\ |
| 2、符号化就是计算机结构与外部世界结构化趋同的方式,所以可以解释,可解释才能做到可靠\\ |
| 3、符号化的理解结构,因为可解释,才能在推理(对话)过程中,定位到要修改的结构,才能实现推理即训练的过程\\ |
| 4、实现了推理即训练,才能摆脱token的上下文限制问题。\\ |
| !MOR分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/MoR.pptx] |
| At line 84 added 2 lines |
| !旋转位置编码分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E6%97%8B%E8%BD%AC%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81.pptx] |
| At line 87 added 2 lines |
| !factor vae模型分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/factor-VAE.pptx] |
| At line 26 changed 4 lines |
| !!我们自成长模型的核心工作\\ |
| 1> transformer形成的理解结构在哪里?\\ |
| 2> 符号化这个理解结构,应该咋做?\\ |
| 3> 如何在推理(就是对话)过程中,改变这个理解结构?\\ |
| !deepseek |
| [敖博士的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/DeepSeek-V2-MoE%E6%9E%B6%E6%9E%84%E5%92%8C%E8%AE%A1%E7%AE%97%E6%B5%81%E7%A8%8B.pdf] |
| At line 31 changed one line |
| 当然,本人已经有充分答案。但每一位参与者都应该深刻思考这些问题 |
| !!大模型技术分享 |
| [武庭轩|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OneFlow技术年货(2023)公众号 .pdf] |
| At line 96 added 2 lines |
| !!微调数据分享 |
| [余烨的分享|https://icnwnitmcdqj.feishu.cn/wiki/EmlBwvMwGiqGHZkySvSckLENnMd?from=from_copylink] |
| At line 34 changed 4 lines |
| !!我们的自成长模型的大致模块\\ |
| 1、认知模型-概念世界(解决客观世界的符号化世界模型,我们当前第一学术目标)\\ |
| 2、认知模型-虚拟3D世界模型(解决客观世界的非符号化世界模型,以后实现)\\ |
| 3、灵魂模型(解决赋予人工智能的情感问题,也可以理解成强化学习中环境给模型行为打分的问题,以后实现)\\ |
| !!知识蒸馏 |
| [敖博士的分享|https://icnwnitmcdqj.feishu.cn/wiki/P5NkwsGYdiD3QLkuVCecejJ1n6e?from=from_copylink] |
|
| !!OpenAI的机械可解释分享 |
| [余烨的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OpenAI%20%E6%9C%BA%E6%A2%B0%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7%E6%96%B0%E8%8C%83%E5%BC%8F%E8%A7%A3%E6%9E%90%281%29.pptx] |
|
|
| !!基于MLP神经网络的规则模型实现 |
| [余烨的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/Neural%20Logic%20Machines%20%28NLM%29%20%E8%AE%BA%E6%96%87%E8%AE%B2%E8%A7%A3.pptx] |
|
| !![可解释的自成长模型是通向AGI的唯一路径|selfGrowModel] |
|
| !![个人介绍|resume] |