Skip to main content

不要用“模仿大脑”来给AI计算量注水了 | 帖子最近有研究试图用更符合生物学特征的复杂模型去迭代1950年代延续至今的经典神经元公式($u = \text{activation}(w \cdot x + b)$),声称能大幅减少训练所需的数据量

  1. 不要用“模仿大脑”来给AI计算量注水了 | 帖子

    最近有研究试图用更符合生物学特征的复杂模型去迭代1950年代延续至今的经典神经元公式($u = \text{activation}(w \cdot x + b)$),声称能大幅减少训练所需的数据量。

    这事看似在做“底层突破”,其实是个伪命题。评论区有清醒的同行一针见血:历史正好相反。1950年代人类手里多得是复杂的神经元架构,但产业界耗费几十年时间,最终在80-90年代主动选择向最简单的算式妥协。

    原因很简单:AI的尽头是规模化(Scaling)。
    现在大模型跑得通,靠的是简单的乘加运算能够轻易被GPU矩阵乘法加速。那些精细的、试图还原生物脑细节的复杂公式,看似优雅,代价却是极高的计算成本和极难的并行扩展。在实际工程中,与其在单个神经元里雕花、增加参数,不如直接多堆几层网络,或者把算力留给吞噬更多的数据。

    别把营销概念当成现实,现行的神经网络早就和生物学脱钩了。机器有机器的进化路径,强行让AI去致敬生物学,不过是倒退回已经被淘汰的旧路里重新发明轮子。