写公众号太难排版？试试这个微信 Markdown 编辑器

非挂人，只是希望创作者不再像我一样

-

友商抄袭阿里AI大模型？我抄不是抄，我是偷偷领先！我纯字研，让阿里deepseek先用怎么了？

友商抄袭阿里AI大模型？我抄不是抄，我是偷偷领先！我纯字研，让阿里deepseek先用怎么了？

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！） 强化学习基础

Depth First https://www.youtube.com/watch?v=mXWiDU9-fOk 这个视频主要讲的是一个叫“组相对策略优化”（GRPO）的东西。它是一种强化学习的训练目标，目的呢，就是通过语言模型回答问题后得到的平均“分数”，来最大化一个总体的目标。 GRPO的核心呢，是一个叫“优势函数”的概念。它衡量的是，在同一组里，针对同一个问题，一个具体的回答应该比其他回答好多少。这个“优势”是怎么算的呢？就是用这个回答的原始奖励，减去这组的平均奖励，再除以这组的标准差，这样来调整。这种“组内相对”的调整，考虑了模型在这个特定问题上的整体表现，相当于根据一个回答在这个组里的独特性或表现力，来决定是惩罚它还是奖励它。视频里特别强调，这种优势函数的近似计算方法不仅计算成本低，而且它本身就考虑了问题的难度，是实现有效强化学习的一个关键创新。 这个“优势函数”其实反映了我们对一个回答到底有多“好”的信心：如果优势是正的，那就会鼓励我们提高这个回答被选中的概率；如果是负的，就会让我们降低这个概率。接着，视频提到了一个 `pi_theta_old`，用它来形成一个比率，衡量当前这个回答的概率跟它以前的状态偏离了多少。还有一个“裁剪”机制，就是用 `1 +/- epsilon` 来限制这些概率更新的幅度，这样可以避免变化太大，保证学习的稳定性。 现在的强化学习目标函数，都会通过像“裁剪项”和“最小值函数”这样的机制，来引入一种“保守性”。这主要是因为，不像监督学习能提供很细致的反馈，强化学习给的奖励往往是稀疏的，而且是针对整个序列的（比如，一个完整的回答是对还是错）。这种“嘈杂”的反馈很难让我们精准地找出具体是哪里错了，所以如果进行大幅度的负向更新，可能会适得其反。因此，强化学习模型会被鼓励进行更保守的梯度更新，尽量保持和旧的概率接近。“最小值函数”呢，就是专门限制了即使某个回答的优势很大，当它的概率增加超过某个阈值后，所能获得的好处也会被限制。这样做的目的是避免模型过度优化某一个回答，而是鼓励它把概率的提升更广泛地分散到整个策略中。 总的来说，这个目标函数通过迭代调整回答的概率，来优化模型在整个数据集上的表现。同时，它还加入了一些机制来防止“奖励作弊”（就是给某个回答分配过高的概率）以及培养保守性。其中一个关键的组成部分是KL散度项，它会惩罚当前策略偏离一个固定的、基准参考模型（比如DeepSeq V3）的程度。这一项确保模型能保持在初始状态附近，避免在强化学习过程中偏离太远。整个目标函数平衡了两个点：既要让模型表现比基准模型更好，又要保持和基准模型的相似性，而一个叫“beta”的项就是用来控制这种权衡的。另外，还有一些“小技巧”，比如概率比率裁剪和最小值函数，它们会进一步限制更新，通过防止过度优化和快速偏离我们原有的认知，确保学习的稳定性和鲁棒性。

2025年最强手机版【RVC变声器】支持安卓和IOS！无需声卡！0延迟！还有更多宝藏APP等你发现！

观看全球电视直播，资源汇聚，文件转换器

-

kontext高清人像放大，老照片修复，整合包本地运行一键使用，小白也可以轻松驾驭的本地ai工具

模型与工作流: https://pan.baidu.com/s/1Nm5I6gA6Pf_dI-grYYqp0Q?pwd=a9h5 提取码: a9h5  整合包使用方法：https://www.bilibili.com/video/BV18KgQziEYP/

0基础入门！AI股神来了！

https://www.yuque.com/xiaosanye-ohrmg/vy5zr1/wgg95lrgz2ioh208#9Q0m

3分钟学会真人版动画角色视频的AI制作教程...

用AI把动画动漫角色”真人化“，超简单速成制作视频！ 👀 AIGC的基础功能和知识，还有很多视频里没有提到的例如不同模型各自擅长的画风，图片AI中镜头的控制；首尾帧的使用（精灵旅社的变身视频）等等，有时问问deepseek或者搜索引擎有很多值得自己探索的哦！ 出现过的真人化视频🔗： 德古拉：https://www.bilibili.com/video/BV1fDTozFEy8/ 章鱼哥：https://www.bilibili.com/video/BV1XUL1z3EZf/ 疯狂动物城副市长：https://www.bilibili.com/video/BV1sNL2z8EmW/ 还有更多真人化视频... 用到的工具🔧： 即梦AI + 海螺AI(视频模型是用字节的Seedream) 视频里没有任何广告或赞助哦，所有的工具都是我常用和在这个场景下可用的。真人化的视频要求只是让图片动起来所以大多数的视频AI都可以完成。

扒一扒摩尔线程

吃透AI大模型面试题【02期】encoder-only模型是什么（图灵托比老师）

【视频配套籽料+问题解答】请看”平论区置顶”自取哦！！！ 视频制作不易，如果视频对你有用的话❤️请一键三莲【长按点赞】支持一下up哦，拜托，这对我真的很重要！