从梯度下降算法到人生(转载)

如果把梯度下降算法提升到人生的层面,我们会发现它最有价值的地方不是教你努力,而是在教你在一个你根本看不清全局的复杂世界里怎样持续做出相对正确的局部更新。

人生和训练神经网络其实有一个非常深的相似之处,那就是你几乎永远不知道全局最优解在哪,你不知道哪家公司最终会适合你,你不知道哪项技术10年后最重要,你不知道哪次的选择会改变命运,也不知道今天遇到的人以后意味着什么。

你拥有的往往只有当前的位置和局部的反馈,而这恰恰就是梯度下降能够工作的条件。首先人生并不只是努力问题,而是目标函数的问题。机器学习里最危险的事情之一不是优化的慢,而是什么?优化了错误的损失函数。

目标函数:先弄清楚优化什么

如果损失函数定义错了,优化的越强结果可能越荒谬,也就是伟大的毛主席说过的方向错了,知识越多越反动,跟这个意思差不多。人生也是如此,一个人如果把自己的目标函数定义成收入的最大化,或者加一个负号是负的收入最小化,那么他就会自然的不断的去优化收入。

如果定义成别人对我的认可最大化,或者负的别人的认可的最小化,这相对比较严谨。如果他以收入或者地位来去作为人生的目标函数,他最终很可能活成一个高度依赖外界评价的人。

如果目标函数只有这么一个职位,家庭健康自由、兴趣尊严等都可能会当做无关变量而被逐渐牺牲掉。现实中会看到有些人为了金钱、为了美貌、为了地位出卖自己的尊严、身体等等一切。真正成熟的人生不应该只有一个指标,更接近现实的可能是:它是一个多目标的优化问题,那就是损失函数是事业有一个权重,家庭有一个权重,健康有一个权重,重要关系有一个权重,亲密关系一个权重,自由度一个重要权重,人生的意义感一个权重。

真正困难的是什么?就是每一个目标的前面的参数或者说权重应该是多少,这不是数学能替你决定的。而人生最重要的能力之一就是不断的能修复自己的目标函数。很多人不是不够努力,只是说20岁时写下了一个损失函数,40岁的时候还在疯狂的去优化它。

局部梯度:先走下一步

而且不要妄图一开始就去看懂整座山,整座的山坡,整个的山脉。因为梯度下降有一个非常朴素的智慧,那就是不需要知道最低点在哪里,只需要知道现在往哪边走会好一点。年轻时候容易产生一种焦虑,就是到底应该选择什么样的方向?人工智能是不是最终的方向?具身智能又怎样?是创业还是打工?是留在大城市还是回去?未来10年到底应该干什么?

这些问题经常无法提前回答,因为缺少未来的信息,所以更合理的问题不是10年后的全局最优解是什么,而是在当前拥有的信息下,下一步最值得走的方向是什么?这就是局部梯度。

比如现在是图像算法工程师,未必需要知道今天,未必今天就需要知道自己40岁的时候究竟是CTO还是创业者,还是研究员,或者是投资人。只需要判断,如果未来一年把模型训练,边缘部署,工程落地,系统设计,整个的所有的环节,甚至是产品的销售等全部设计打通,那么能力空间是不是扩大了?

如果答案是yes,那么这就是一个负梯度方向,先走就完事了。走到新的位置之后就能够看到的世界就会变化。然后重新去计算梯度。人生并不是一个直接的从a到z的过程,而更像是什么?先有一个目标,目标0到达目标0之后再去设立目标1,再去设立目标2。每得到一个新的目标或者每得到一个新的损失函数都拥有了以前没有的信息。

反馈闭环:允许不完美的更新

真正重要的不是永远做对,而是永远拥有一个反馈闭环。梯度下降原理最反直觉的一点是什么?它允许自己每一步都不完美,允许自己每一步都犯错,甚至允许走歪震荡,暂时的损失上升落入到局部最优,被噪声干扰等等。只要能够继续获得反馈并且更新参数,系统就还能优化。

所以一个人的长期竞争力不一定来自每次选择的都很准,而且还可能来自决策到行动到反馈到复盘到更新,整个的闭环跑得足够快。这也就是为什么有些人看起来走过很多弯路,但其实最终可以看到达到最终的目标时候成长的会非常快。

因为并没有把失败理解成这个人不行,而是理解成当前参数在这个环境下产生了比较高的loss,然后去优化参数,改参数就可以了。这两种思维方式差异特别巨大。

  • 一个是什么?就是在否定整个模型。可以看到这种人其实很多20来岁、30来岁甚至十几岁就认为自己已经不行了,自己已经没有任何希望了。
  • 而另一种思想就是损失函数的思想。他会在想目前只是损失比较大,只要去更新模型相关的参数就可以了。

学习率:调整步子的大小

在梯度下降机制里边有一个非常重要的参数叫学习率。人生其实也有学习率,有些人的人生的学习率太小,他知道现在的工作不适合自己,他会告诉自己不急再看看。他知道自己身体越来越差,他会告诉自己以后再锻炼,今天太累了,知道某种技术已经明显很重要了,甚至他已经看见方向了,但是他会告诉自己今天太懒了,脑子太累了,等我等这个技术发展成熟了我再学。

他知道亲密关系出现了问题,但是他会骗自己应该没事儿,他每次都更新一点点,甚至不更新,结果几年后位置几乎没变,甚至还有可能倒退了。但是另一些人学习率又太大,今天看到AI火了,这是另一种极端,他的学习率太大了,这个参数调的太大了。

今天AI火了,他辞职去做AI了,明天看到自媒体赚钱,他去全职搞自媒体了,后天看到机器人火了,去创业机器人了。他追求的是什么?一次反馈他就想大幅度的修改人生的参数,这实际上是什么?我们这个n远大于一了,可想而知你这个系统它一定会产生震荡,对不对?

所以说成熟的人不是不改变,而是说根据反馈强度控制更新的幅度。那么在弱信号的情况,弱信号是什么?小步实验,强信号我们去大幅调整,也就是说我们需要根据我们现实生活中的这个损失函数来调整我们的实验的步子。步子迈的太大了,容易扯着蛋,太小了你走的又太慢。

所以说要进行中庸之道,要有这个中庸之道,就是步子既不能太大,也不能太小。所以说这是一种非常高阶的能力,就是说根据证据的强度来控制调整人生的学习率。而且每一次的失败,它其实在我们这个梯度下降机制里,我们可以只看作它只是一个batch。

一次失败,只是一个 batch

这是梯度下降对人生很有力量的启示之一,就是说深度学习从来不会因为一个batch的loss很高就宣布这个网络没有天赋,我不训了,不会这样。因为我们知道只是当前这一批样本对于真实梯度的估计或者震荡有点大了,甚至可能造成很大转移到人身上来。

说一次面试失败不代表你的价值就等于零,一次创业失败不代表你不适合创业,一次项目失败也不能推断出你的能力不行,因为那只是某个人、某个时间、某个环境、某个任务下的一次采样。

而真正危险的是什么?我们用一次噪声下或者梯度–种参数下产生的损失结果来更新整个的人生模型,别人的一句否定就把你整个的能力判断给改掉了,这是典型的过拟合,说明你这个调整,你这个人作为一个模型的已经是过拟合了。

反过来也一样,也不要被一次的成功骗了,这个反而是更多的情况。很多人比如说就相当于我们在训练网络的时候某一个batch的loss特别低,也不能说明模型就完美了,一个项目碰巧赚了那么点钱,你就认为自己商业天赋极高,你写公众号一篇文章突然爆了,你就感觉我牛逼了,我掌握流量规律了,一只股票涨了,你感觉你是巴菲特都狗屁不是了,对不对?这都是非常危险的更新。

泛化性:积累可迁移的能力

真正可靠的是什么?跨样本、跨时间、跨环境,你的参数一样能成立,这就是所谓的泛化性,generalization,泛化性。写过人工智能相关论文的大家都知道在实验部分会有一个泛化性验证,所以说真正厉害的人会越来越关心我的能力能不能去迁移,而不是说我这一次我赢没赢,我这一把赢没赢。

很多人的思想就是什么,我爽一把是一把,我这把爽了再说,后边我不管,这种就是我们说的,短生种,而我们都是长生种,人生是一场马拉松。

所以这也就是为什么真正值得积累的是底层能力,数学表达、学习工程、判断能力、沟通能力、组织能力、审美、身体健康,这些能力为什么很重要?因为它的泛化性特别强。

保留探索率,警惕局部最优

另外一点就是人生一定要允许随机梯度的出现,如果每一步都要求100%确认以后才行动,基本上不可能探索出新的东西。随机梯度本身就带有噪声,有意思的是什么?这种噪声有时候反而能够帮助模型跳出局部最优。

人生也是如此,偶尔的情况下去,一个陌生的行业去学一个暂时看不到收益的东西去认识不同领域的人,去一个陌生的城市去做一个边缘项目,阅读和自己专业无关的书,看起来像招生,但人生中的重大转折往往或者经常就来自这些非限性的偶然连接,一个完全确定的优化系统很容易越来越高的重复自己,最后困在局部最优里面。

所以真正好的生活并不是每天都百分百服务于眼前的kpi,应该保留一定的探索率,局部最优反而有可能是人生最大的陷阱。梯度下降有一个经典的问题,就是梯度等于零,感觉损失等于零,感觉已经挺好了,收入不错,工作稳定,生活稳定,别人觉得你也不错,问题是你可能只是落进了一个局部的盆地。

而真正可怕的状态往往不是失败,而是一个足够舒服让你不再搜索其他可能性的局部自由失败,反而容易逼你进行更新生活中的一些不舒服,工作上的一些不贴合,一些让你感觉到不满足的一些点,反而能够让你去更新自己的人生参数。小小的成功往往就容易让你冻结残数。

所以一个人即使过得不错,偶尔也应该问一下,如果把当前的职业、收入、行业、身份全部拿掉,真正拥有的能力是什么?目前的好生活究竟是平台带给你的还是自己的能力带给你的?或者这两者的比重谁占的更重?如果未来五年的环境全部变化的情况下,还有没有重新学习和迁移的能力?这相当于什么?