【Robotics】写给那些想要快速了解机器人或者具身智能的工程师们

# 学习资料汇总

## 1. 强化学习
移动行走相关的基础，对于基础来说非常好的课程。

* 西湖大学 zhaoshiyu的网课。  https://www.bilibili.com/video/BV1sd4y167NS?spm_id_from=333.788.videopod.episodes&vd_source=c551ef751ac5907298e9c711d193f9cd
	教材PDF+PPT+代码网址：
	1. 【Github】：https://github.com/MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning
	2. 【百度网盘】：https://pan.baidu.com/s/1kNxM8sl8FUWV6SiiGIep3Q?pwd=ghx8
	3. 【Onedrive】：https://westlakeu-my.sharepoint.com/:f:/g/personal/lyujialing_westlake_edu_cn/EgN1-0jOU61BnaTkG7zJ9nsBUdjKEi6hNrdT5n8mp-qn3g?e=3MbtmD

* 快速上手玩，可以尝试gym / gymnasium https://github.com/Farama-Foundation/Gymnasium 。 gym是openai早起的开源工程，也算是第一个比较完整的强化学习框架，后面交由专门的基金会维护后更名为gymnasium一些接口方面稍微有所区别。时候快速上手，了解强化学习的实际应用。

* 另一用来练手的教材，讲解了如何使用强化学习进行推箱子任务的流程
https://www.youtube.com/watch?v=AoGRjPt-vms
https://github.com/johnnycode8/gym_custom_env

* 如果是想在强化学习方面做算法研究，推荐“天授”，openai的infra工程师wengjiayi的早期工作
https://www.bilibili.com/video/BV1darmBcE4A/?spm_id_from=333.337.search-card.all.click
https://github.com/thu-ml/tianshou

## 2. 移动行走
想要快速了解机器人是如何在仿真中行走并且有财力条件能买到机器人想尝试sim2real过程的

* 宇树的开源工程：https://github.com/unitreerobotics/unitree_rl_gym  基于legedgym库走通了g1，h1，go2等自己机器人的直立平衡和简单踏步行走的demo，基本单卡4090一个小时就能看到实际效果。很好的入门体验

* leggedgym：https://github.com/leggedrobotics/legged_gym 腿式机器人最好的框架，基于 nvidia issacegym（nvidia机器人训练平台，相比较gym/gymnasium支持gpu并行训练和渲染，极大提升了强化学习机器人训练效率） + rsl_rl(专门用来做足式机器人的强化学习库)。已经被nvidia issaclab（考虑到早起issacgym使用的不便性，整合的当前最新的平台）整合，是目前足式机器人行走训练的基础框架。https://github.com/Hellod035/LeggedLab 参考leggedgym适配得isacclab的框架。

* 足式机器人训练很好的视频教程，从逻辑到代码到流程把足式机器人训练讲得很清楚：https://www.youtube.com/watch?v=xwOaStX0mxE

* deepmind 机器人方向首席科学家tanjie的早期论文：https://arxiv.org/pdf/1812.11103  Learning to Walk via Deep Reinforcement Learning   也可以学习阅读tanjie所有的sources https://scholar.google.com/citations?user=neGbgzYAAAAJ&hl=en

## 3. 操作抓取
目前操作抓取的范式工作还没有收敛，所以一方面需要多看多尝试，一方面了解当前工作的方案区分

* open X Embodiment RT-X 数据集：数据集非常全面是目前机器人领域最大的数据集，可以统计的数据片段有2419193段，大小达到了8964.94GB。https://blog.csdn.net/OpenDataLab/article/details/134399456

* 了解当前的vla分类：https://zhuanlan.zhihu.com/p/1984633925067362949

* lerobot：https://github.com/huggingface/lerobot/tree/main  最好的机器人操作 训练 部署的框架，支持很多当前各种vla模型的验证 Pi0Fast, Pi0.5, GR00T N1.5, SmolVLA, XVLA