近日又在图书馆里借了一本书：深度学习进阶（2020年），想着2024-25年间发生的人工智能大飞跃，这本书里面有没有一些启示，顺着启示看看深度学习的下一步发展是什么？
Deepseek当时很火的时候，我就在想什么时候会冷下来，2月最火，5月已经冷下来了，到7月，还剩下什么东东呢？多模态，帮我整理信息？MCP开发？遥远的依然遥远，我在原地踏步吗？我对科研机构和大学的去魅让我多了好多冷静的思考，我不可能那么冲动地想着能够科研发明成功入股上市？我没有那么多的激情，都是坦然。
能量的传递才是我最优先考虑的事情。我觉得这个与神经网络的发展有天然的联系。能量效率的提升，才使生物进化出神经元来，能量利用的精细，才让神经元进化得更高更密，开始分层。
如何研究神经网络呢？结构，数据决定了神经元的应用范围。我想从简单的神经元开始，先固定数据不变，看看结构的变化对结果的影响。我一直觉得神经元与神经元的联系不应该是全连接的，而应该可以中断或者重链的。我好笨啊，中断就是权重为零。重链就是权重为1即可啊。只是生物来看，中断的结构可以让物资得以更好的利用而已。毕竟，大脑里的能量传递是有限的。
如果数据量一定，结构太简单，无法反映出数据的真实来；如果结构过于复杂，结构会浪费大量的能量，出现冗余。所以，一定的数据量对应一定的结构，对应一定量的神经元数量。现实就是：现在的意识涌现，恰恰是参数量达到人脑的神经元数量级。没有数据怎么办？所以结构也就快到尽头了。
想起一件事情，以前垃圾太多，国家鼓励垃圾发电，所以各大集团大干快上，超常发展，中国的垃圾处理量超过了垃圾生产的量，所以现在有点垃圾都被盯上了。