Public Docs
【模型量化】深度学习模型量化 & 量化理论 & 各平台的量化过程 & 硬件加速
【TVM】TI关于TVM的使用测试与分析
【LLM&LVM】大模型开源工程思维导图
【北航卓越工程师】《汽车前沿技术导论:智能驾驶》讲义
【工具链】Yocto使用介绍——使用Yocto创建一个树莓派的系统镜像
【工具链】使用ssh+dialog指令设定服务器指定用户仅容器访问
【推理引擎】一篇关于模型推理的详细对比与学习
【推理引擎】关于TVM中的Schedule优化详解(On going)
【LLM微调】使用litgpt进行私有数据集模型微调的测试总结
【TVM】在TVM Relay中创建一个自定义操作符
【STT+LLM+TTS】如何使用语音转文字模型+大预言模型+语音生成模型完成一个类人的语音交互机器人
【RAG】 通过RAG构建垂直领域的LLM Agent的方法探索
【RAG】GraphRAG精读与测试(On going)
【AI Agent】MetaGPT精读与学习
【AI Base】Ilya Sutskever 27篇必读论文分享清单
【Nvidia】Jetson AGX Orin/ Jetson Orin nano 硬件测试调试内容(On going)
【BI/DI】LLM Using in BI Testing Scenario (On going)
【Nvidia】How to Activate a Camera on Nvidia Platform in Details
【RAS-PI】树莓派驱动开发
【行业咨询阅读】关注实时咨询和分析
【mobileye】2024 Driving AI
【mobileye】SDS_Safety_Architecture
【yolo】yolov8测试
【nvidia】Triton server实践
【alibaba】MNN(on updating)
【OpenAI】Triton(on updating)
【CAIS】关于Compound AI Systems的思考
【Nvidia】关于Cuda+Cudnn+TensorRT推理环境
【BEV】BEVDet在各个平台上的执行效率及优化(On Updating)
【Chip】AI在芯片设计和电路设计中的应用
【Chip】ChiPFormer
【Chip】关于布线的学习
【Chip】MaskPlace论文精读与工程复现优化
【gynasium】强化学习初体验
【Cadence】X AI
【transformer】MinGPT开源工程学习
【中间件】针对apollo 10.0中关于cyberRT性能优化的深度解读和思考
【Robotics】调研了解当前机器人开发者套件(on updating)
【Robotics】ROS CON China 2024 文档技术整理与感想总结(上2024.12.7,中2024.12.8,下场外产品)
【algorithm】关于模型、数据与标注规范的平衡问题
【nvidia】DLA的学习了解与使用
【nvidia】构建nvidia嵌入式平台的交叉编译环境(其他环境平台可借鉴)
【2025AI生成式大会】2025大会个人总结
【Robotics】 Create Quadruped Robot RL FootStep Training Environment In IsaacLab
【Robotics】如何一个人较为完整的完成一个机器人系统软件算法层面的设计与开发
【VLM】读懂多模态大模型评价指标
【VLM】大模型部署的端侧部署性能与精度评估方法与分析
【Nvidia】Jetson Orin 平台VLM部署方法与指标评测
【Database】向量数据库
文档发布于【Feng's Docs】
-
+
首页
【Robotics】如何一个人较为完整的完成一个机器人系统软件算法层面的设计与开发
# 0 前言之前 转向机器人方向已经有几个月了,回顾思考自己的职业生涯,技术不算精深,但还算是有一些广度、见闻和思考。在汽车行业从事了总和超过6年的自动驾驶软件算法开发工作后,进入了一个大厂的机器人研发新团队,开启了一段新的职业生涯。 所以突然冒出来一个想法,想记录和分享一下如何一个人完成一个较为完整的机器人系统的软件算法层面的开发,以及目前对于机器人方向的一些自己的见闻和思考。算是,雁过留声风(“丰”)过留痕。 2016年在移动互联网逐渐步入成熟和垄断的时候,完成了人机交互方向的学业,进入了一家外企互联网公司的研究院。 通过在校项目,熟练掌握了关于Android、IOS和端云交互等技术。通过实习熟悉了欧洲头部票务服务公司的票务服务系统的结构化数据库(现在看像是上个时代的东西),而在第一份工作又掌握了一项新技能Web前端和后端的开发(ABAP+UI5算不上主流,但是基础的概念和框架是相通的)。之所以做这么多事,是因为当时对于全栈工作的好奇,另外遇到问题多了解一些外围总是能帮助你在遇到问题时知道如何找对人并提出准确的需求(这项能力和意识回头看来对于个人成长帮助巨大)。 2017年回国加入自动驾驶热潮,期间设计过OTA方案、开发过调试可视化工具(2018年就基于threejs+websocket实现各种通用元素的跨平台显示,理念想法很超前)。开发过高精定位盒子产品(熟悉了解国内最早的高精地图产品的演变和使用),主导过封闭环境L4的感知方案和激光slam方案(以轮速作为先验信息将当时方案的NDT的配准准确率提升到99%,即使是50%以上的点云遮挡或者是5Hz的配准周期,也能保证定位的准确性,从而降低了算力开销和定位准确性)。在一个只有0.08T的算力平台上完成了基于maskrcnn+Hough变换+kalman滤波的车道线检测(当时基本都用工控机+显卡)。通过Senorhub的软件框架搭建实现了各种类型的传感器的统一框架扩展开发,同时通过查表、指令集优化、多线程调度等策略优化出流性能。一系列的工作内容,又让我体验了一把算法开发、软件框架搭建和性能优化的乐趣。 2021年加入顶级大厂研究院,打磨技术的同时收获了更多朋友和商业思考。同年回归老东家的研究院全面转向AI能力的建设和开发。在此期间,深入了解了很多制造业工厂,smt、pcba、涂胶、组装、射频、组装、涂胶、发泡材料、锻造、铸造、金属3D打印、印刷,让我在一线看到了当前很多方向的产能需求、柔性制造、供需关系、投入产出。同时也广泛的了解各种AI大模型应用和垂类问题的难点。独立开发开源项目,实现一些有意思的想法。 2025年转投机器人方向。 一路走来一切都是观察、思考和实干,不是一个喜欢追热的人,更多的是对未知的好奇和体验,但是也因为好奇心让我挤进了每一个热点,同时也受益于好奇心让我有更多的能力建设和知识涉猎,这可能也是每一个学物理的人喜欢了解事物本质的惯性吧。就像在火车上看完《黑客与画家》的感受,想要创新创造,首先要有想法,要有对世界观察的独特视角和非共识。 简短回顾完一路走来的感受,后面都是干货。 # 1 前言 在当今智能技术迅速发展的背景下,机器人系统的设计与开发已逐渐从实验室走向现实应用,覆盖工业制造、医疗服务、家庭陪护等多个领域。作为机器人“灵魂”的软件算法层,承担着感知环境、决策规划、运动控制等关键任务,是整个系统智能化的核心。然而,完整地构建一个机器人系统的软件算法层,往往涉及多学科交叉、多个模块协同,挑战巨大。那么,对于一个独立开发者而言,是否可能在资源有限的条件下独立完成这一复杂任务?本文将围绕“如何一个人较为完整地完成一个机器人系统软件算法层面的设计与开发”这一主题展开讨论,分析核心模块、技术路径、开发流程与实践建议,帮助具备一定工程与算法基础的开发者高效、有序地推进机器人系统的实现,从理论走向可运行的原型系统。 # 2 系列图谱 * 需求分析与功能定义 * SOC选型与软件基础环境搭建 * 传感器选型与多传感器标定 * 数据采集与数据基础设施构建 * 电机调试、强化学习与locomotion * VLA模型选型与模型部署测试 * 工具链
dingfeng
2025年11月4日 17:53
7
0 条评论
转发文档
收藏文档
上一篇
下一篇
评论
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码