努努书坊

繁体版 简体版
努努书坊 > 科研系学霸 > 第67章 Q&A

第67章 Q&A(3 / 4)

报告要讲的都已经确定了,再加上这一段,时间上可能会超。

现在有人提出来,正合他的心意。

“何教授,非常感谢您如此深刻的提问,这确实是我的工作中最需要谨慎对待的部分。

您提到的‘无限递归’风险,在任何自指系统中都是理论上存在的。

为了规避这一点并确保系统的收敛与可靠,我们引入了一个基于博弈论和不动点理论的混合数学框架。”

这就是为什么周昀在一开始要学习数学的原因了,一个良好的数学功底,真的能在很多时候帮忙解决一些关键性的问题。

周昀看了眼时间,应该够了。

他用电脑创建了一个白板,然后开始用鼠标作画,虽然有点抽象,但是配合他的讲解,也算能勉强看的懂。

“首先,我们将‘被压缩的ai模型’与‘负责调教的ai元模型’之间的关系,形式化为一个非零和合作博弈。

‘被压缩的ai模型’选择一组模型参数θ目标是在给定的压缩约束下最小化任务损失函数 l_task(θ),

而‘负责调教的ai元模型’选择一种压缩策略φ,目标是最小化一个元损失函数 l_meta(φ,θ),

这样就能得到一个组合的惩罚项,也就是一般模型里的损失函数l_meta(φ,θ)= l_task(θ')+λ* r(φ),

我们并不追求一个无限递归的最优,而是试图找到一个平衡,这正是一个纳什均衡点的概念。

之后我设计了一个交替优化算法来逼近这个均衡点,其迭代过程可以假设地抽象为一个映射t:(θ_k,φ_k)->(θ_{k+1},φ_{k+1})

......

经过以上的过程,我们就可以证明t确实是压缩映射,根据banach不动点定理,

『加入书签,方便阅读』