报告要讲的都已经确定了,再加上这一段,时间上可能会超。
现在有人提出来,正合他的心意。
“何教授,非常感谢您如此深刻的提问,这确实是我的工作中最需要谨慎对待的部分。
您提到的‘无限递归’风险,在任何自指系统中都是理论上存在的。
为了规避这一点并确保系统的收敛与可靠,我们引入了一个基于博弈论和不动点理论的混合数学框架。”
这就是为什么周昀在一开始要学习数学的原因了,一个良好的数学功底,真的能在很多时候帮忙解决一些关键性的问题。
周昀看了眼时间,应该够了。
他用电脑创建了一个白板,然后开始用鼠标作画,虽然有点抽象,但是配合他的讲解,也算能勉强看的懂。
“首先,我们将‘被压缩的ai模型’与‘负责调教的ai元模型’之间的关系,形式化为一个非零和合作博弈。
‘被压缩的ai模型’选择一组模型参数θ目标是在给定的压缩约束下最小化任务损失函数 l_task(θ),
而‘负责调教的ai元模型’选择一种压缩策略φ,目标是最小化一个元损失函数 l_meta(φ,θ),
这样就能得到一个组合的惩罚项,也就是一般模型里的损失函数l_meta(φ,θ)= l_task(θ')+λ* r(φ),
我们并不追求一个无限递归的最优,而是试图找到一个平衡,这正是一个纳什均衡点的概念。
之后我设计了一个交替优化算法来逼近这个均衡点,其迭代过程可以假设地抽象为一个映射t:(θ_k,φ_k)->(θ_{k+1},φ_{k+1})
......
经过以上的过程,我们就可以证明t确实是压缩映射,根据banach不动点定理,