Public Docs
【模型量化】深度学习模型量化 & 量化理论 & 各平台的量化过程 & 硬件加速
【TVM】TI关于TVM的使用测试与分析
【LLM&LVM】大模型开源工程思维导图
【北航卓越工程师】《汽车前沿技术导论：智能驾驶》讲义
【工具链】Yocto使用介绍——使用Yocto创建一个树莓派的系统镜像
【工具链】使用ssh+dialog指令设定服务器指定用户仅容器访问
【推理引擎】一篇关于模型推理的详细对比与学习
【推理引擎】关于TVM中的Schedule优化详解（On going）
【LLM微调】使用litgpt进行私有数据集模型微调的测试总结
【TVM】在TVM Relay中创建一个自定义操作符
【STT+LLM+TTS】如何使用语音转文字模型+大预言模型＋语音生成模型完成一个类人的语音交互机器人
【RAG】 通过RAG构建垂直领域的LLM Agent的方法探索
【RAG】GraphRAG精读与测试(On going)
【AI Agent】MetaGPT精读与学习
【AI Base】Ilya Sutskever 27篇必读论文分享清单
【Nvidia】Jetson AGX Orin/ Jetson Orin nano 硬件测试调试内容(On going)
【BI/DI】LLM Using in BI Testing Scenario (On going)
【Nvidia】How to Activate a Camera on Nvidia Platform in Details
【RAS-PI】树莓派驱动开发
【行业咨询阅读】关注实时咨询和分析
【mobileye】2024 Driving AI
【mobileye】SDS_Safety_Architecture
【yolo】yolov8测试
【nvidia】Triton server实践
【alibaba】MNN（on updating）
【OpenAI】Triton（on updating）
【CAIS】关于Compound AI Systems的思考
【Nvidia】关于Cuda+Cudnn+TensorRT推理环境
【BEV】BEVDet在各个平台上的执行效率及优化（On Updating）
【Chip】AI在芯片设计和电路设计中的应用
【Chip】ChiPFormer
【Chip】关于布线的学习
【Chip】MaskPlace论文精读与工程复现优化
【gynasium】强化学习初体验
【Cadence】X AI
【transformer】MinGPT开源工程学习
【中间件】针对apollo 10.0中关于cyberRT性能优化的深度解读和思考
【Robotics】调研了解当前机器人开发者套件（on updating）
【Robotics】ROS CON China 2024 文档技术整理与感想总结（上2024.12.7，中2024.12.8，下场外产品）
【algorithm】关于模型、数据与标注规范的平衡问题
文档发布于【Feng's Docs】
-
+
首页
【Robotics】ROS CON China 2024 文档技术整理与感想总结（上2024.12.7，中2024.12.8，下场外产品）
# 0. 两日最终会议日程  其余闪电会议议题： * 蚂蚁机器人 * 英飞凌mcu for slam * 西门子工业机器人 * 双臂人型机器人控制 # 1. 个人针对每个议题的总结 |题目|总结| |-----|-----| |From word to diagram: AIGC for ROS-based robotic system|作为计算机软件方向的教授，赖教授总结了他们对于AIGC帮助程序员解决软件问题的主体思路。希望AI完成90%以上的通用工作，而程序员去完成10%的定制化和创新性工作，而非替换程序员。基于以上思路，他们希望通过提示词的方式生成更加完整而准确的通用代码，相关方法也能延展到ROS的一些专用代码上。 `他们工作的主要亮点是使用一种结构化的伪代码或者是DSL代替自然语言作为提示词，以提高输入的准确度，同时使用国产大模型而非国外的大模型。` 他们还使用以上方案生成3d元素用于blender，该方案可以帮助扩展real2sim。 `个人理解，对于当前的大模型能力，适度帮助大模型做标准化结构化的整理，确实有助于模型理解复杂场景避免产生歧义性和二义性，尤其是针对一些对于准确性要求较高，或者本事具有一定技术水准的工程师。但是结构化梳理仍然对于非程序员或者非开发者有着较高的适配要求，并不是一种面向未来的长远方案。` | |FastUMI：具身技能学习数据采集系统，解耦硬件，灵活扩展，带来卓越用户体验！|是一个很工程化的项目。丁教授团队用6个月的时间，在实际场景下，详细对照和使用UMI的套件进行了机器人室内作业场景的数据采集，并针对原有UMI系统对于硬件要求较高，价格比较昂贵的情况针对硬件方案和硬件结构做了适当优化。同时构建了一个大数据集。相关结果都是在实际使用和体验中得到，具有较高的说服力。对于双臂夹爪机器人场景真实场景数据获得困难的问题，具有一定的借鉴作用。| |NVIDIA Isaac Lab 加速机器人学习|nvidia 解决方案架构师liangxiao，介绍了nvidia关于Real2Sim和Sim2Real的思考，和围绕相关问题的产品和解决方案。为了帮助机器人快速学习目标场景，nvidia构建了omniverse + issace sim + issac lab的整个解决方案，为机器人训练和目标场景的仿真和数据采集提供一个高保真，高可用，高物理还原的解决方案。针对训练，issac gymenv将逐步停止维护，而使用issac lab进行替换。 `nvidia 围绕sim2real和仿真器，做出了非常多的贡献。基于openUSD，nvidia在nim上开发了快速查询、生成、组合3d场景的大模型和API，为在omniverse中快速构建三维场景提供了便利。` | |基于ROS与DISCOVERSE的端到端具身智能开发|清华构建的轻量级，高保真多尺度仿真器的介绍。从实际展示效果来看，确实不错。不过相较于nvidia的商用产品和未来整体在仿真器上的统一来看，自研仿真器的机会不多，并且代价较大。除非是国家大力推行国产化和一些涉密项目不能使用国外软件。| |用合成数据加速具身智能落地|光轮智能认为目前具身智能获得数据的难度比目前自动驾驶场景的难度还要高，想要实现最终的AGI需要借助合成数据，或者说合成数据能充分降低这部分工作的难度。同时，谢晨还认为nvidia和mujoco两个数据资产库和仿真器已经足够够用，并不需要太多标准来提高数据使用的难度。 `对于部分观点从技术角度触发还是比较认可和认同的` | |融合未来：具身智能与数据驱动的共生之路|同光轮智能一样探讨了具身智能对于数据的需求。| |腿足式机器人的粗细粒度感知规划|整体介绍了一些思路，涉及到比较多的算法细节一笔带过。收获不多，需要仔细看看ppt中的方案。| |如何构建ROS的安全底座（基于Linux）|风河是嵌入式linux的资深玩家，为嵌入式linux和yocto贡献了大量工作。并且也是主导了ROS在嵌入式linux上的适配与改造。专题核心分享了风河基于冰羚的PCIE方案。该方案的原因是冰羚虽然有着极高的单机性能，但是对于多机通讯无法发挥他的性能优势。而pcie天然的remote shared memory机制则可以天然完成这部分的互补。风河展示了这部分工作完成后的效果，以及一些在此基础上的扩展解决方案。| |NVIDIA机器人软件栈助力工业无序拣选解决方案开发|介绍了nvidia在工业分拣场景的贡献，如nvidia issac manipulator 可直接用于机器臂。cuMotion可以有效对运动轨迹生成进行加速，FoundationPose也可以有效解算出相关姿态。相关即插即用的库大大提高了在分拣场景机械臂控制和移动的快速实现。| |Navigation2的软件架构和开发经验分享|分享了自己对于软件架构的理解，即尽可能长时间的兼容和支持功能的拓展而不进行大量重复或者颠覆式的工作。| |数据驱动水下航行器控制|针对沿海地区对于水下机器人的需求，延展出的自己的解决方案，针对于数据驱动本身，技术亮点不多。| |ROSBag：service 数据记录和回放|整体功能是基于ROS service introspection扩展的。针对于request-response 用户需要跟踪的需求产生。讲解了一下ros service记录的逻辑和基本使用方法，以及不同种的回放模式。未来还会基于rostopic 和 rosservice的结合，完成ros action的采集和回放。| |基于ROS2的手眼标定工具及机械臂工作展示|一些自己开发的工具包展示| |基于ROS的正交关节蛇形机器人控制系统|展示了自己的蛇形机器人，是一个并不复合蛇类的正常生理结构的蛇形机器人，能够基于一些人工设计的关节运动方式完成管道攀爬、管道疏通、跨地形爬行等功能。 ` 挺有意思，实际形态能否应用于最终场景不太好判断。` | |蚂蚁机器人|针对机器人本体成本高，数据成本高的问题，蚂蚁机器人（真的是蚂蚁集团的蚂蚁）希望能有一些自己的解决方案。 `让子弹飞一飞` | |英飞凌mcu for slam|英飞凌的钱堃经历我们也在会后进行了一些交流，随着mcu算力的提升，m7算力可达600Mhz的主频，在mcu上跑一些复杂的算法对于消费类产品成本的降低也非常有价值。目前ROS虽然有microROS，但是仍然智能用于一些节点部署和通讯能力，对于ROS中支持的算法库，microROS目前还无法完全兼容，并且从远离看，兼容难度还是比较大的。所以一些如slam和导航相关的算法，还是只能自己手搓。目前不少家用机器人或室内场景使用的机器人，都使用单线激光作为定位的主传感器，如果能尽可能利用mcu的能力，家用机器人从3000降低1/3或1/2也会有很大的帮助。 `除了算力， flash和RAM对于最终mcu能否完成slam算法也很重要。` | |西门子工业机器人|西门子的王栋负责人展示了西门子将ROS系统用于产线自动化的解决方案，大部分产线公司都有自己的自动化产线，而西门子的Simatic系统就是一个具备PLC控制，安全，IO和产线机器人控制的解决方案。在原有基础上，通过对ROS进行改造，将PLC控制封装与ROS应用中，能够实现ROS对plc设备的控制。同时因为使用了ROS，能够在产线上更多使用一些视觉检测功能，和机器人机械臂的路径规划和导航功能，从而降低自动化改造方案融合相关算法的难度。最后基于ROS也方便进行产线数据的记录与采集，并使用gazelo，rviz等工具进行可视化和仿真工作。这部分展示与nvidia对于omniverse和issac sim issac ROS的产品定位非常贴合。带来的实际效果也很好。| |开源开启自动驾驶的未来：Autoware开源自动驾驶平台的创新与实践|讲解了Autoware的发展，目前已经交由基金会管理，比较详细的介绍了目前Autoware团队的组织架构和各个组织的分工。Autoware获得了ROS颁发的2024最佳软件。| |智能驾驶关键技术及教学实践分享|讲解了一些上交在智能驾驶人才培养上的一些方法，对工作多年的人来说帮助不太大。采用的方法，没有太多体会。| |聚焦具身智能：Franka机器人在多模态和机器人技术融合方面的优势、机会|讲解了自己的一些机器人产品，表达了他们理解的家用场景机械臂载荷3-7kg基本能够满足需求等信息。内容不多| |基于RISC-V架构设计的开源AI相机reCamera在ROS中的应用与创新|Seeedstudio是我个人非常喜欢的一家公司，专注于机器人硬件。这次主要介绍的是一个名为reCamera的新产品，主打低成本，具备传感器板、核心板和载板的积木式切换（当前只有一个组合，未来会支持），基于risc-v低功耗处理器，具有1tops深度学习算力，能够实现不少部署在端上的智能功能，挺有意思。| |日本机器人生态（大会与比赛）介绍|如题| |从ROS1到ROS2的技术感悟|比较官方，类似官方发言人，直接看ppt内容即可，没什么干活。| |ROS在openEuler与RISC-V上的发展与应用|介绍了相关工作成果和相关降低使用门槛的工作成果。| |双臂人型机器人控制|整体更多是自己公司的产品介绍，其中力控交互是一个比较有意思的点。即利用本身机器人的力控传感器，在不需要额外设计交互开关和界面的情况下，通过对机器人施加一种预先设定的特定的力触发机器人执行相关任务。| |Apollo开放平台: 从工程、算法到工具，构建自动驾驶卓越开发体验|演讲人是Apollo社区的管理员，会有也与管理员进行了交流。讲解了apollo ROS互通的逻辑，更多还是为了做到生态互联，并不是一个工业化或产品化的形态。| |开源社区推动智能机器人技术变革|| # 2. 相关材料 # opensource robotics 基金会主席致辞  ## From word to diagram: AIGC for ROS-based robotic system    大模型控制机器人不够灵活  使用非自然语言作为prompt，可以直接使用DSL作为prompt   以上方案向ROS迁移尝试  使用基于自然语言的结构化数据，生成提示词模版生成指令代码 腾讯浑源大模型生成3d元素，用于blender coze gpts Dify langchain部署以上工作流 ## FastUMI：具身技能学习数据采集系统，解耦硬件，灵活扩展，带来卓越用户体验！  Aloha 2023（下来看看stanford开源项目） mobile aloha Umi 模仿 1. 数据采集硬件 2. 视频 3. 智能化穿戴系统，成本较高  4. stanford UMI    UMI的局限性  1. wgs15夹爪，等高精度设备，需要使用原有硬件的性能  2. 视觉遮挡，校准困难 Fast-UMI realsense T265 代替go pro➕orbslam3  数据均上传stanford的 UMI 去中心化的数据中心 ## NVIDIA Isaac Lab 加速机器人学习   强化学习使用 两种编程方式 1. direct workflow  2. manager-based workflow   整体工程从issacgymenv向issac lab迁移 从 orbit更改更容易    ## 基于ROS与DISCOVERSE的端到端具身智能开发 具身智能仿真器        ## 用合成数据加速具身智能落地         ## 融合未来：具身智能与数据驱动的共生之路   ## 腿足式机器人的粗细粒度感知规划      ## 如何构建ROS的安全底座（基于Linux）       ros探索  混合关键业务，不同任务优先级的任务混跑，不受影响           ## NVIDIA机器人软件栈助力工业无序拣选解决方案开发      cuMotion 实时轨迹规划     1. 基于采样 2. 基于轨迹优化 3. 基于cumotion学习    用户案例     官网可以看，u20机械臂，开源数据集结果 ## Navigation2的软件架构和开发经验分享      foundationpose ➕ navigation2  ## 据驱动水下航行器控制 ## ROSBag：service 数据记录和回放   service     introspection 默认有三种模式，只有使用content才会记录request和response      action 数据的记录回放  ## 基于ROS2的手眼标定工具及机械臂工作展示   ## 基于ROS的正交关节蛇形机器人控制系统 ## 蚂蚁机器人 ## 英飞凌mcu for slam ## 西门子工业机器人     宝马案例    ## 开源开启自动驾驶的未来：Autoware开源自动驾驶平台的创新与实践  每年的最佳软件 movelt nav2 webot ros2control turtultebot nanosaur robot create 2024 autoware     autoware委员会和组织架构  CoE  rf     demos  ros1 autoware.ai ros2 autoware.auto end2end autoware universe   ## 智能驾驶关键技术及教学实践分享  ## 聚焦具身智能：Franka机器人在多模态和机器人技术融合方面的优势、机会   franka research3 产品介绍 产品参数  diffusion policy 策略    ## 基于RISC-V架构设计的开源AI相机reCamera在ROS中的应用与创新      https://seeedstudio.com/reCamera https://github.com/Seeed-Studio/OSHW-reCamera-Series      ## 日本机器人生态（大会与比赛）介绍   ## 从ROS1到ROS2的技术感悟    ## ROS在openEuler与RISC-V上的发展与应用 主要工作成果是把ros sig 跑在了基于risc-v处理器的open-eular才子系统上      openeular embedded 解决方案   嵌入式寄生问题  针对ros实时性问题探索  性能可对标冰羚 技术沙盘  针对yocto使用门槛高的问题，可基于工具进行一键式yocto转换。后续还可以与鸿蒙系家具进行适配，代码工具sdk已经开放。   ## 双臂人型机器人控制   为行为智能提供公共平台  双臂手，目前是不少公司对于家用机器人的预设形态   movebase 导航，长距离规划，特殊轨迹可能会有问题 力控交互，有意思的一种交互方式  ## Apollo开放平台: 从工程、算法到工具，构建自动驾驶卓越开发体验 ## 开源社区推动智能机器人技术变革 # 3. 场外材料                   
dingfeng
2024年12月10日 17:26
113
0 条评论
转发文档
收藏文档
上一篇
下一篇
评论
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档（打印）
分享
链接
类型
密码
更新密码