外观
Skip to content
具身智能学习：强化学习与控制
上篇我们搞定了 MDP 建模、贝尔曼方程、动态规划、MC/TD 和 DQN，这部分的核心问题其实就一个：「怎么评价一个状态或动作的好坏」。一旦我们算出了价值函数，决策逻辑就很简单粗暴了：无论是去查传统的 Q 表，还是通过神经网络（DQN）来预测，策略就是直接选出 Q 值最大（贪心）的那个动作执行。
但到了具身智能的真实场景，这套 Value-based 逻辑就有点使不上劲了。一个 30+ 自由度的人形机器人，每个关节的控制都是连续变量。在这样呈指数级爆炸的动作空间里，寻找全局最优的 计算成本是灾难性的。你没法建一张 Q 表把所有动作的价值都存下来，也没法在每个时间步都跑一遍 。
所以这一篇换一个思路：不间接地通过值函数推导策略，而是直接学一个端到端的策略网络（Policy Network），这个网络输入状态输出动作。这就是策略梯度（Policy Gradient）方法的核心思想，也是后续 PPO、SAC 这些具身智能主力算法的共同起点。
具身智能学习：强化学习基础
2025 年到 2026 年，具身智能的热度大概可以用「炸裂」来形容。Figure AI 的人形机器人进了宝马工厂，Tesla Optimus 频繁在发布会上刷存在感，国内银河通用的 Galbot 也在各种展会上搬箱子、叠衣服，春晚舞台上宇树机器人集群表演了赛博中国功夫——这个赛道明显在加速。
但真要想入行做具身智能，第一道坎就是强化学习。不管你以后是做 Sim-to-Real 迁移、做灵巧手控制、还是折腾 RLHF 对齐，RL 的基础都是绕不过去的。我以前只用Torch或者是TensorFlow做过一些 toy project，但这那些都是代码层面的积木拼接。所以我自己最近也在啃这块内容，主要针对算法方面，这篇文章就是我的学习笔记，顺带把它整理成一篇可读的东西。
本文假设你学过一点概率论和线性代数，但没碰过 RL。我会从最基本的 MDP 建模讲起，一路走到 DQN，中间穿插一些具身智能视角的解读。
特别说明
课程我主要看的是西湖大学赵世钰老师的视频以及大量的网络资料。本文偏向于笔记，而不是零基础教程。
精神分析入门笔记：倾听、共情，和那些我没想明白的事
当你网上自查心理疾病belike
最近开始系统接触精神分析，想把一些思考用最通俗的方式记录下来。如果你也对“怎么理解一个人”这件事感兴趣，希望这篇能给你一点启发。
《江城子 · 别乡》
行囊又负别初阳、碾寒光，碎河梁。
汽笛声中，暮色染车窗。回首家山灯火处，风渐冷，雾苍茫。
十年客路鬓添霜、月窥廊、照空床。
万巷楼台，何处是吾乡？欲问归期风骤起，吹落雪、满衣裳。
DeepSeek-R1 技术解析（下）
在
原论文分享的训练方法和细节并不多，复现难度不小。在许多传统观点中，我们认为训练一个具备强大推理能力的语言模型，必须对每一步推导过程进行精细监督。但 DeepSeek-R1 就是个例外——它用了一种更"野"的路子。本文继续深挖 DeepSeek-R1，从不同角度理解奖励信号是如何激发推理能力的。
《冬雪之下》备团记录
提示
这是笔者第一次备团，记录一下备团记录，同时也方便其他kp参考。本记录存在大量改编以及添加的内容，建议通读原模组再阅读。
本文一共2万余字，分为【时间脉络整理】【地点事件整理】【事件台词整理】【面板与常用法术速查】几个部分，其他kp可以根据自己的需要查看。
DeepSeek-R1 技术解析（上）
趣闻
2025年1月，DeepSeek-R1发布当天，英伟达股价暴跌17%。一家中国AI公司用不到OpenAI十分之一的训练成本，做出了接近甚至打平o1的推理模型——这个消息的冲击波，从硅谷一路传导到了华尔街，有人惊呼"神秘的东方力量"。
使用Agent实现仪器仪表的自动测试
提示
项目地址：https://github.com/fullstack-sake/InstruAgent
《献钟与芽》
《献钟与芽》
金属苔藓爬上我的脊椎
我的脊椎正在熔成铁水
一半是灼烧的河
一半是蝴蝶的冷光
光斑在表盘上产卵
铜雀啄食我眼里的沙
所有春天都卡在齿轮的豁口
他们教我用石英校准心跳
可我的脉搏总在整点溃逃
黎明里游着金属的蝌蚪
把暮色扎进静脉点滴
刺穿所有滴答的坟
当铜绿繁殖出第八个月亮
我吞下整座停摆的钟
渗出的绿芽顶开颅骨
新的悬针剪碎了铰链的影
正在我肋间重组年轮
而早该腐朽的心脏
突然撞响青铜的轰鸣
《相见欢 · 岁杪归思》
《相见欢 · 岁杪归思》
寒梅卧雪临窗，暗噙香。
倦数孤灯凝户鬓添霜。
冰霰碎，枯枝坠，夜何长。
欲驾星槎穿夜渡寒江。
《虞美人 · 寒窗寄怀》
《虞美人 · 寒窗寄怀》
霜风叩牖冰弦颤，砚底梅花乱。
青衫尘满未成章，忍看枯枝垂泪向空廊。
浮生总被寒更误，鬓雪添新絮。
但求星火暖苍垠，肯借一襟春色破迷津。
综述：移动机器人路径规划技术回顾与展望
（一）摘要
…移动机器人路径规划（path planning）是指移动机器人自主设计从起点到终点的距离最短（shortest distance）、耗时最短（least time-consuming）、安全（safely）、无碰撞（collision-free）的路径。
《一剪梅 · 暮蛩声咽旧苑楼》
《一剪梅 · 暮蛩声咽旧苑楼》
暮蛩声咽旧苑楼。苔啮痕幽，影啮光幽。
半墙残照渍成秋。风削帘旌，雨蚀帘钩。
忽见寒汀泊客舟。墨字沉浮，眉字沉浮。
雁翎霜薄不堪邮。醉捻空星，月钓沧流。
记九月二十二夜梦
引子
我打小就有个朋友，叫做酒哥。人瘦的跟铁杆一样，忧郁得像个文学青年，喝醉了却像个疯子。叫他酒哥，是因为他网名带有酒，而且人特别爱喝酒，他这人什么都好，会聊天人也靠谱。但就是一直有个很奇怪的"规矩"，就是和他在一起，绝不能开闹钟铃声。不管关系多熟，酒哥都会厚着脸皮，很冒犯地检查别人手机闹钟关了没。
每当朋友们聚在一起时，难免会有人不知情，酒哥也会请求别人关闹钟。别人不答应，他都会露出难为情的样子，说自己有神经衰弱，听不得刺耳的闹铃，说着也指了指塞满棉花的耳朵，大家也就理解了。
在我心里，酒哥就像谜一样，根本猜不透他的想法。但还真别说，我也就一次看过酒哥不小心听到闹铃的样子。那是一个深秋的夜里，我和酒哥在酒吧喝酒，酒哥那会儿喝多了，我正搀扶着他，准备离开。恰逢酒吧上一个前台有事，提前轮班了新的前台，到了换班的时候，新的前台手机闹钟按时响起了。
我突然感到了一丝不安，愣了一下，目光看去酒哥：他眼神瞬间清明，好似没有刚刚没有喝酒，却又空洞无神，怔怔地盯着前方。他突然跪倒在地，脸色愈发惨白，颈椎僵硬的像个死人，额头上的青筋暴起，冒出紧张的汗水，眉毛护成一团，眼角红的仿佛随时会渗出鲜血，他抿着嘴一句话不说，连呼吸声也戛然而止，他双手微微抬起，十指向掌心蜷缩，指关节紧绷地咯咯作响，似乎在接受着什么无形的东西，不停地打颤。
我缓过神来叫他名字，蹲下来拍了拍酒哥，他都一点反应没有。深秋不冷不热的天，我分明地看见酒哥整个衬衫背后都被浸得湿透了。微凉的秋风吹过，我感觉眼前的酒哥，他的灵魂和心仿佛随着风一起带走了，只留下了他的身体在原地残缺不堪地跪着。
我继续大声喊着他的名字，同时也试图摇醒他。终于，酒哥慢慢反应过来，像是憋足了力气发出一声嘶吼，他捂住自己的嘴巴，止不住的颤抖，随即在一旁吐了一地呕吐物，他缓过神来，拉着我迅速逃离现场。而后，关于这件事，无论我如何追问，他始终闭口不言。
最近，这股好奇心已经快到一个临界点了，我这次打定主意一定要套出他的秘密。带了几个朋友以及我女朋友一起组织小聚，当然又是喝酒，不过我这次下血本提前带了好几款很贵的洋酒，我知道酒哥最好这一口。
"酒哥，讲讲呗，把你闹铃的秘密跟我们聊聊"，我把手边的酒一口闷完，先开了个话匣子。我们都凑上来很好奇地看向他，酒哥还是没下定决心，打算不告诉我们。
还好我早有准备，从包里拿出了一瓶苏格兰Diva伏特加，倒满一杯给酒哥闻了闻。感觉他人都要凑到杯子了，我又把手一收，似笑非笑地看向酒哥。酒哥沉默了一会，没有提秘密的事，而是眼神迷离又恍惚地问我："冉啊，你觉得，我们是真的活着吗？"
看他还在故弄玄虚，吊了我十多年的胃口，我有点烦了，"别给我装大师，今天你讲给兄弟听，酒就满上，你讲多少就能喝多少，酒铁定管够。"
酒哥也不想放过这次品尝美酒的机会，深吸一口气，破罐子破摔了，说："行！"我满意地笑了笑，又给酒哥新倒了一杯。
"这个闹铃的故事，得从几年前的一场遭遇说起。"说着他把满上的一杯酒喝的精光。
酒哥喝完之后鼻腔呼出的酒气拍打在我脸上，晕晕乎乎的，酒吧嘈杂的声响逐渐变小，像是我们都跟着酒哥的讲述回到了几年前。
接下来，就是酒哥说的那场遭遇了。
…《献雨与刀》
《献雨与刀》
雨，还有多久才能返回天空，
在融合、在毁灭、在哭、在笑，
在埋葬，这是自由吗？
没有谁在雨里， 没有谁不在雨里。
雨把我忽略了，滴答在窗、在墙壁
不断地碰壁、碰壁、碰壁、碰壁，
我的挣扎与碰撞、我的失败与摩擦，
我是月光都无法劝说的，
要是有万丈沟壑，
让我，先纵身往下跳、再思考。
我这莽撞的人生啊。
在暴雨中冲浪潜水，这天气反复无常，
不过浮于表面的假象，坏天气是人想的。
抓住的都是虚幻，我不敢放开。
我醒着的时候，与活者相遇，
而梦着的时候，与亡者相逢。
人世锈迹斑斑，我不是我。
赤手空拳，更多的人溺死在红色的水，
自由从来不是我能拥有什么，
而是我能变成什么。
救赎也并非直接降临，常藏于间接之中。
我躺在月光能照见的地方，
我越来越薄，
我躺在磨刀石上。
📊 近一年|👀 页面访问量 --|🚀 资源请求总数 --|🛡️ 成功拦截攻击 --|⚡ 边缘节点流量 -- GB