华为盘古和DeepSeek受攻击，背后原因是啥？

猜你喜欢

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！）强化学习基础

Depth First https://www.youtube.com/watch?v=mXWiDU9-fOk 这个视频主要讲的是一个叫“组相对策略优化”（GRPO）的东西。它是一种强化学习的训练目标，目的呢，就是通过语言模型回答问题后得到的平均“分数”，来最大化一个总体的目标。 GRPO的核心呢，是一个叫“优势函数”的概念。它衡量的是，在同一组里，针对同一个问题，一个具体的回答应该比其他回答好多少。这个“优势”是怎么算的呢？就是用这个回答的原始奖励，减去这组的平均奖励，再除以这组的标准差，这样来调整。这种“组内相对”的调整，考虑了模型在这个特定问题上的整体表现，相当于根据一个回答在这个组里的独特性或表现力，来决定是惩罚它还是奖励它。视频里特别强调，这种优势函数的近似计算方法不仅计算成本低，而且它本身就考虑了问题的难度，是实现有效强化学习的一个关键创新。这个“优势函数”其实反映了我们对一个回答到底有多“好”的信心：如果优势是正的，那就会鼓励我们提高这个回答被选中的概率；如果是负的，就会让我们降低这个概率。接着，视频提到了一个 `pi_theta_old`，用它来形成一个比率，衡量当前这个回答的概率跟它以前的状态偏离了多少。还有一个“裁剪”机制，就是用 `1 +/- epsilon` 来限制这些概率更新的幅度，这样可以避免变化太大，保证学习的稳定性。现在的强化学习目标函数，都会通过像“裁剪项”和“最小值函数”这样的机制，来引入一种“保守性”。这主要是因为，不像监督学习能提供很细致的反馈，强化学习给的奖励往往是稀疏的，而且是针对整个序列的（比如，一个完整的回答是对还是错）。这种“嘈杂”的反馈很难让我们精准地找出具体是哪里错了，所以如果进行大幅度的负向更新，可能会适得其反。因此，强化学习模型会被鼓励进行更保守的梯度更新，尽量保持和旧的概率接近。“最小值函数”呢，就是专门限制了即使某个回答的优势很大，当它的概率增加超过某个阈值后，所能获得的好处也会被限制。这样做的目的是避免模型过度优化某一个回答，而是鼓励它把概率的提升更广泛地分散到整个策略中。总的来说，这个目标函数通过迭代调整回答的概率，来优化模型在整个数据集上的表现。同时，它还加入了一些机制来防止“奖励作弊”（就是给某个回答分配过高的概率）以及培养保守性。其中一个关键的组成部分是KL散度项，它会惩罚当前策略偏离一个固定的、基准参考模型（比如DeepSeq V3）的程度。这一项确保模型能保持在初始状态附近，避免在强化学习过程中偏离太远。整个目标函数平衡了两个点：既要让模型表现比基准模型更好，又要保持和基准模型的相似性，而一个叫“beta”的项就是用来控制这种权衡的。另外，还有一些“小技巧”，比如概率比率裁剪和最小值函数，它们会进一步限制更新，通过防止过度优化和快速偏离我们原有的认知，确保学习的稳定性和鲁棒性。

立即观看

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！）强化学习基础
kontext高清人像放大，老照片修复，整合包本地运行一键使用，小白也可以轻松驾驭的本地ai工具

模型与工作流: https://pan.baidu.com/s/1Nm5I6gA6Pf_dI-grYYqp0Q?pwd=a9h5 提取码: a9h5 整合包使用方法：https://www.bilibili.com/video/BV18KgQziEYP/

立即观看

kontext高清人像放大，老照片修复，整合包本地运行一键使用，小白也可以轻松驾驭的本地ai工具
【AI动画】全网爆火的AI动画究竟是如何制作的？今天就来教会你 AI动画生成全流程教学保姆级教学全程干货无废话——AI视频生成教程_AI创作_AIGC_AI

喜欢的朋友们三连+关注，视频中所有用到的AI工具，Z料全都给大家打包好了（持续更新）

立即观看

【AI动画】全网爆火的AI动画究竟是如何制作的？今天就来教会你 AI动画生成全流程教学保姆级教学全程干货无废话——AI视频生成教程_AI创作_AIGC_AI
让豆包AI生成一根华仔和虎力巴图鲁的孩子，太尼玛猎奇了

-

立即观看

让豆包AI生成一根华仔和虎力巴图鲁的孩子，太尼玛猎奇了
Ai绘画进阶200-全面测评！全网最全Flux Kontext功能性Lora及本地训练开源工具T2ITrainer，整合包准备中！-T8 Comfyui教程

本期在线工作流有点多，简介区放不下，评论区玩！打开链接：https://www.runninghub.cn/?inviteCode=kol01-rh099 粉丝福利，注册领1000RH币，学习AI畅玩AI，每天更新最新AI工作流和AI技术贞贞的AI工坊（注册送0.2刀，各种API）：https://ai.t8star.cn/ 左侧令牌，创建令牌，分组选择default，随便取个名字，复制API即可使用，支持直接用（聊天模式），也支持各种工具调用（comfyui,sillytavern,cusor等） Go YounJung（高允贞고윤정） Ins:https://www.instagram.com/goyounjung/ 云声智配（会员兑换码：74C484F4DFAB4AA9）：https://distributor.dubbingx.com/ AIX PS AI版插件粉丝福利版：https://www.bilibili.com/video/BV1AaEnzoEGU/ 端脑云AI：https://cephalon.cloud/share/register-landing?invite_id=92gD9o 通过链接注册后可得5000脑力值 Lib模型会员送算力（搜T8star下载工作流）：https://www.liblib.art/viphome?referralCode=RYBbXGcH LightCC送2币永久98折：https://lightcc.cloud/login?invitationCode=yUK3NMVK16690 AIX官网：https://draw.aix.studio/ 可灵（会员送50%积分）：https://klingai.kuaishou.com/h5-app/invitation?code=6B4JMX8D4B8P Kontext高频词：https://github.com/lrzjason/Kontext-Bench-Analysis/blob/main/analysis.md Kontext官方数据集：https://huggingface.co/datasets/black-forest-labs/kontext-bench Magcache:https://github.com/Zehong-Ma/ComfyUI-MagCache Kontext训练在线版：https://fal.ai/models/fal-ai/flux-kontext-trainer Kontext本地训练：https://github.com/lrzjason/T2ITrainer 记得给开源作者点个star，赠人玫瑰，手留余香全套KONTEXT LORA模型：自己对应下我发的工作流或者RH工作流链接：https://pan.quark.cn/s/2b10a04673d2 路径： comfyui/models目录下深入学习ComfyUI，AI知识，知识星球号：96920057 地址：https://t.zsxq.com/7F90A 节点地图（每周日更新）：https://github.com/T8mars/Comfyui-Aix-NodeMap 海外Plus会员：https://nf.video/rmo5T 优惠码：T8 图文介绍及工作流星球地址:链接：https://t.zsxq.com/AuKDl 下载方式：打开链接，文章底部扫码，复制口令，自动回复,需登录

立即观看

Ai绘画进阶200-全面测评！全网最全Flux Kontext功能性Lora及本地训练开源工具T2ITrainer，整合包准备中！-T8 Comfyui教程
2025最强的AI软件，功能最全！0氪免费！简直离谱！

2025最全AI功能！AI生图片、AI生视频、AI改图片、AI写文案、、AI生成PPT等，多达十几种AI功能！！

立即观看

2025最强的AI软件，功能最全！0氪免费！简直离谱！
有趣的AI聊天软件(多种聊天方向)

一款有趣的AI软件，里面有各种各样的角色，丰富多样的设定，精致美丽的状态栏，角色卡有单人双人多人游戏系统大世界等，聊天方向，只要你想就可以。

立即观看

有趣的AI聊天软件(多种聊天方向)
如何使用AI Toolkit 训练一个Flux.1 Kontext的LoRA 模型

https://youtu.be/WSWubJ4eFqI AI Toolkit的作者发布了如何使用AI Toolkit训练Flux.1 Kontext的LoRA 模型，从教程来看至少4090级别显卡才可以训练。

立即观看

如何使用AI Toolkit 训练一个Flux.1 Kontext的LoRA 模型
【4K】特斯拉：实现世界首次汽车无人驾驶自动交付客户

youtube 特斯拉：实现世界首次汽车无人驾驶自动交付客户

立即观看

【4K】特斯拉：实现世界首次汽车无人驾驶自动交付客户
“AI公务员”上岗，是好事还是坏事？

-

立即观看

“AI公务员”上岗，是好事还是坏事？

华为盘古和DeepSeek受攻击，背后原因是啥？

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！）强化学习基础

kontext高清人像放大，老照片修复，整合包本地运行一键使用，小白也可以轻松驾驭的本地ai工具

【AI动画】全网爆火的AI动画究竟是如何制作的？今天就来教会你 AI动画生成全流程教学保姆级教学全程干货无废话——AI视频生成教程_AI创作_AIGC_AI

让豆包AI生成一根华仔和虎力巴图鲁的孩子，太尼玛猎奇了

Ai绘画进阶200-全面测评！全网最全Flux Kontext功能性Lora及本地训练开源工具T2ITrainer，整合包准备中！-T8 Comfyui教程

2025最强的AI软件，功能最全！0氪免费！简直离谱！

有趣的AI聊天软件(多种聊天方向)

如何使用AI Toolkit 训练一个Flux.1 Kontext的LoRA 模型

【4K】特斯拉：实现世界首次汽车无人驾驶自动交付客户

“AI公务员”上岗，是好事还是坏事？

相关视频

8-上语堂 AI绘画课程设计【商业应用实战】

1-上语堂 AI绘画课程设计【商业应用实战】

OpenAI深夜炸场，o1正式版登场，Pro会员贵到离谱

【全500集】禁止自学走弯路！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！

OpenAI连续12天发布会 Day 1:ChatGPT中的o1和o1正式版,号称世界上最智能的模型!

什么，鹅仔开着跑车上路了？

【OpenAI 的12天活动】第1天： ChatGPT 中的 OpenAI o1 和 o1 专业模式

华为盘古和DeepSeek受攻击，背后原因是啥？

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！） 强化学习基础

kontext高清人像放大，老照片修复，整合包本地运行一键使用，小白也可以轻松驾驭的本地ai工具

【AI动画】全网爆火的AI动画究竟是如何制作的？今天就来教会你 AI动画生成全流程教学 保姆级教学 全程干货无废话——AI视频生成教程_AI创作_AIGC_AI

让豆包AI生成一根华仔和虎力巴图鲁的孩子，太尼玛猎奇了

Ai绘画进阶200-全面测评！全网最全Flux Kontext功能性Lora及本地训练开源工具T2ITrainer，整合包准备中！-T8 Comfyui教程

2025最强的AI软件，功能最全！0氪免费！简直离谱！

有趣的AI聊天软件(多种聊天方向)

如何使用AI Toolkit 训练一个Flux.1 Kontext的LoRA 模型

【4K】特斯拉：实现世界首次汽车无人驾驶自动交付客户

“AI公务员”上岗，是好事还是坏事？

相关视频

8-上语堂 AI绘画课程设计【商业应用实战】

1-上语堂 AI绘画课程设计【商业应用实战】

OpenAI深夜炸场，o1正式版登场，Pro会员贵到离谱

【全500集】禁止自学走弯路！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！

OpenAI连续12天发布会 Day 1:ChatGPT中的o1和o1正式版,号称世界上最智能的模型!

什么，鹅仔开着跑车上路了？

【OpenAI 的12天活动】第1天 ： ChatGPT 中的 OpenAI o1 和 o1 专业模式

【中字】DeepSeek R1 GRPO 里的每个术语，都给你讲透了（还配了例子和练习哦！）强化学习基础

【AI动画】全网爆火的AI动画究竟是如何制作的？今天就来教会你 AI动画生成全流程教学保姆级教学全程干货无废话——AI视频生成教程_AI创作_AIGC_AI

【OpenAI 的12天活动】第1天： ChatGPT 中的 OpenAI o1 和 o1 专业模式