| At line 5 changed 2 lines |
| !!维特根斯坦说:语言的边界就是思想的边界 |
| 我说:语言就是思想的符号,思想就是理解这个世界的结构 |
| !!维特根斯坦说:语言的边界就是世界的边界 |
| 咱说:语言就是思想的符号,思想就是理解这个世界的结构 |
| At line 9 changed one line |
| 我说:完全同意维特说法,而且用嵌入空间的话来翻译的话就是:事物就是静态向量,事实(我有时候也说是事务)就是动态向量。 |
| 我说:完全同意维特说法,而且用嵌入空间的话来翻译的话就是:事物就是静态向量(词嵌入),事实(我有时候也说是事务)就是动态向量(句向量或者文本向量)。 |
| At line 11 added 3 lines |
| !!维特根斯坦还说,这个世界是相互联系确定的事实组成,但事实又是独立的,所以任何一个局部世界都可以分解,貌似有逻辑冲突。 |
| 我总结:事实之间的联系有两种联系,一种本质(非线性或者质变)联系,一种非本质(线性,或者说量变)联系。 所以事实之间(非本质的量变)联系构成了一个稳定本质的系统,那么就是这个系统就是一个独立事物系统。那么这个系统可以是包含这个系统的更大系统的独立事物。 |
|
| At line 15 changed one line |
| 涌现本质是大模型通过大量训练,构建的概念世界结构,已经理解到了世界本质。学习到了高维空间的规律 |
| 涌现本质是大模型通过大量数据训练,构建的概念世界结构,已经理解到了世界本质。学习到了高层次的规律 |
| At line 18 changed one line |
| 我认为 scaling law 并不是关键,而是模型内部结构的熵减程度,用程序员的话说,就是代码结构精巧程度。也就是相同复用逻辑,没有出现代码其他地方,也就是写代码不是用不停的复制黏贴产生。用普通人话就是这个人是否活得通透 |
| 我认为 scaling law 并不是关键,而是模型内部结构的熵减程度,用程序员的话说,就是代码结构精巧程度。也就是相同复用逻辑,没有出现代码其他地方,也就是写代码不是用不停的复制黏贴产生。用普通人话就是这个人是否活得通透,自相似度(术语是分形维度[|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250218094951.png])或者[|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E7%86%B5.png],就是精巧度。 |
| At line 23 added 26 lines |
| !!人是如何分析解决问题的呢? |
| 先定性分析(抓本质),然后在定量分析(抓细节)。(这个就是人通往解决问题,拟合世界的高效分析法) |
|
| !!写作之难,在于把网状的思考,用树状结构,体现在线性展开的语句里。 |
| 生成内容之难,正如[斯蒂芬·平克|https://sspai.com/post/66959]如是说,而把线性空间里的语句,梳理成树状结构,然后嵌入网状的理解结构里,就是阅读之难,也是模型训练之难 |
|
| !![大模型本质是用有限参数(符号)表达无限的宇宙|nature] |
|
| !![基于超尺度全域观察者的物理统一理论——量子力学与经典力学、随机性与确定性的融合的哲学思考|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%9F%BA%E4%BA%8E%E8%B6%85%E5%B0%BA%E5%BA%A6%E5%85%A8%E5%B1%80%E8%A7%82%E5%AF%9F%E8%80%85%E7%9A%84%E7%89%A9%E7%90%86%E7%BB%9F%E4%B8%80%E7%90%86%E8%AE%BA.pdf] |
|
| !![观察是意识的开始,是智能的自相似递归,能量完成自观察的结果|self-consciousness] |
|
| !!有趣的认知分享 |
| [混沌系统|https://www.jianshu.com/p/3f6508301c4f]\\ |
| [自组织|https://zhuanlan.zhihu.com/p/495786957]\\ |
| [复杂系统研究|https://www.thepaper.cn/newsDetail_forward_14794450]\\ |
| [分层智能|https://www.toutiao.com/article/7532337339218412047/?timestamp=1753771741&share_uid=MS4wLjABAAAAUMegIZqr2nYWpGU23RGe_pzdT3Uj_ozs1gsAEwYPcmc&share_did=MS4wLjACAAAAXHEoYc5mUGzqUqMZ-_mLWTUtUrRuJidK5OHLiD8ie8Y&app=news_article&upstream_biz=client_share&category_new=__all__&share_token=87faad07-cd42-47a2-9632-14ef6dabb9ec&source=m_redirect]\\ |
| [生物神经网络精细仿真算法|https://idm.pku.edu.cn/info/1012/1758.htm]\\ |
| [精细神经元|https://blog.csdn.net/Fellyhosn/article/details/130048518]\\ |
| [大脑看世界的方式,竟与语言模型惊人一致|https://doi.org/10.1038/s42256-025-01072-0]\\ |
| [知识蒸馏|https://zhuanlan.zhihu.com/p/637108617]\\ |
| [控制论与科学方法论|https://zhuanlan.zhihu.com/p/399765962]\\ |
| [系统论|https://www.cnblogs.com/haohai9309/p/18921515]\\ |
| [非解释性小模型也可以有大模型的能力|https://cloud.tencent.com/developer/article/2335354]\\ |
|
|
| At line 55 added 7 lines |
| [lora微调|https://arxiv.org/abs/2106.09685]\\ |
| [DeepSeek(时不我待,已经有人往这个方向迈进了)|https://arxiv.org/pdf/2401.06066]\\ |
| [MiniMax(Google 最新模型)|https://arxiv.org/abs/2501.08313]\\ |
| [MOR|https://arxiv.org/pdf/2507.10524v1]\\ |
| [基于MOE的黑箱分时分块训练(非最优解)|https://arxiv.org/abs/2602.11543]\\ |
| [弹性 AI 预训练来自google|https://arxiv.org/pdf/2604.21428v1]\\ |
|
| At line 32 changed one line |
| !!Transfomer |
| !!Transformer |
| At line 35 changed one line |
| [王士昌的分享|https://c93wv2pcay.feishu.cn/docx/LJkZdTMYJop3ApxCIeccXFeTnT5] |
| [王士昌的分享|https://c93wv2pcay.feishu.cn/docx/LJkZdTMYJop3ApxCIeccXFeTnT5]\\ |
| [王士昌的transformer代码实现分享|https://icnwnitmcdqj.feishu.cn/wiki/A13hwfJmWipzTQkOkuTc1C5xnHc?open_in_browser=true]\\ |
| [翻译模型的训练代码结构图|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E5%85%B3%E4%BA%8E%E8%AE%AD%E7%BB%83.jpg]\\ |
|
| !扩散模型 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B.pptx] |
|
| !VIT分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/Vision%20Transformer.pptx] |
|
| !MOR分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/MoR.pptx] |
|
| !旋转位置编码分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/%E6%97%8B%E8%BD%AC%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81.pptx] |
|
| !factor vae模型分享 |
| [龙君言|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/factor-VAE.pptx] |
|
| !deepseek |
| [敖博士的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/DeepSeek-V2-MoE%E6%9E%B6%E6%9E%84%E5%92%8C%E8%AE%A1%E7%AE%97%E6%B5%81%E7%A8%8B.pdf] |
|
| At line 37 changed one line |
| [OneFlow|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OneFlow技术年货(2023)公众号 .pdf] |
| [武庭轩|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OneFlow技术年货(2023)公众号 .pdf] |
| At line 39 changed one line |
| !![自成长模型|selfGrowModel] |
| !!微调数据分享 |
| [余烨的分享|https://icnwnitmcdqj.feishu.cn/wiki/EmlBwvMwGiqGHZkySvSckLENnMd?from=from_copylink] |
| At line 41 changed one line |
| !![个人介绍|resume] |
| !!知识蒸馏 |
| [敖博士的分享|https://icnwnitmcdqj.feishu.cn/wiki/P5NkwsGYdiD3QLkuVCecejJ1n6e?from=from_copylink] |
| At line 102 added 2 lines |
| !!OpenAI的机械可解释分享 |
| [余烨的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/OpenAI%20%E6%9C%BA%E6%A2%B0%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7%E6%96%B0%E8%8C%83%E5%BC%8F%E8%A7%A3%E6%9E%90%281%29.pptx] |
| At line 105 added 7 lines |
|
| !!基于MLP神经网络的规则模型实现 |
| [余烨的分享|http://www.mandelbrot.cn:8080/JSPWiki/attach/Share/Neural%20Logic%20Machines%20%28NLM%29%20%E8%AE%BA%E6%96%87%E8%AE%B2%E8%A7%A3.pptx] |
|
| !![可解释的自成长模型是通向AGI的唯一路径|selfGrowModel] |
|
| !![个人介绍|resume] |