用旧Redmi 9当Thymio II的“大脑”:端侧视觉、语音与避障学习闭环
一个周末PoC把旧Redmi 9架在Thymio II上用乐高固定,由手机跑ML Kit人脸检测(含微笑概率)和图像标注、粗略光照/运动估计、动画表情与语音输出,机器人只执行轮速目标并回传传感器数据。行为是巡航→后退→转向→观察→停稳的小状态机,遇人脸进入“meet”状态可回答“你看到什么”。避障学习很简单:碰撞后尝试1.2s、2.4s或3.8s转向,以下次接触前的自由行驶时长打分。
一个周末PoC把旧Redmi 9架在Thymio II上用乐高固定,由手机跑ML Kit人脸检测(含微笑概率)和图像标注、粗略光照/运动估计、动画表情与语音输出,机器人只执行轮速目标并回传传感器数据。行为是巡航→后退→转向→观察→停稳的小状态机,遇人脸进入“meet”状态可回答“你看到什么”。避障学习很简单:碰撞后尝试1.2s、2.4s或3.8s转向,以下次接触前的自由行驶时长打分。
REEMAN 展示了基于 Hot Wheels 机器人底盘的图书馆盘点机器人,在室内书架通道中完成移动演示,但未给出 OCR 识别准确率或盘点结果。该底盘采用 Laser SLAM 与 V-SLAM 建图定位,结合激光、3D 视觉和多传感器融合避障,公开参数含 270° 激光扫描角与最远 25 米探测距离。
团队在 Isaac Sim 中把真实自助茶饮台复刻为可物理交互的 3D 环境,放入 Unitree G1 并用脚本执行泡茶的五步动作,机器人动作并非从人类视频提取,全程在开启物理的仿真中运行。G1 与物体交互时仍有接触不完美和打滑现象,目前尚无学习策略或自动轨迹生成。团队正探索这类环境能否作为合成机器人演示数据的来源,包括面向不同本体结构的机器人。
在 Quaddle mini 机器狗的 ESP32-S3 固件上,用 Claude Code 的六条提示词完成了骷髅眼效果,从草图、选定方案到预览和实机显示。该固件将于 12 月初开源,团队同时在征集下一个万圣节表情的草图或图片。
有人用Claude Code直接在Quaddle mini机器狗的OpenCat ESP32-S3固件里“氛围编程”,通过六条提示词在约12分钟内做出万圣节骷髅眼表情。该机器狗的ESP32-S3开源固件将于12月初开源,届时其他人也能复现同样操作。
作者为自研四足机器人调试并微调了基于 MPC/WBC 框架的运动控制器,并用深度相机图像构建高度图,机器人现在能更可靠地爬楼梯、跨越最高 11 cm 的障碍(离地间隙 18 cm),并较有把握地应对松软地面。控制器用 C++ 编写、兼容 ROS2,已开源在 GitHub 的 voltdog/mors_quadruped 仓库;作者下一步将重点提升软件可靠性,包括自动设备连接测试和从任意姿态站起。
文章沿"如何解决不同环境难题"主线梳理具身智能领域五类路径规划范式:图搜索(Dijkstra、A*、Hybrid A*)、采样方法(RRT、PRM)、人工势场法(APF)、最优控制(MPC)以及强化学习与数据驱动方法。
Mino 的伴随行为应用在 Jetson Orin Nano 上基于 ROS 2 实现,含找人、跟随、陪伴三种状态,视频为其首次户外测试。该应用借助深度估计、YOLO-World 人物检测与跟踪、位姿反馈、里程计和运动控制等开源模块,由编码智能体在一个周末内完成行为逻辑拼接。机器人以 3D 位置与速度感知人物,通过卡尔曼滤波平滑轨迹,并持续向定制硬件下发头部位姿与底盘速度指令。
REEMAN YIMA YBOT20P 室外配送机器人可通过兼容的电梯控制接口自动呼梯、进梯并跨楼层送件,无需人工按电梯按钮。该平台面向室内外运输,载荷 100kg,采用双激光 SLAM 导航、自主避障与自动充电,可衔接小区驿站到指定公寓入口的配送流程。电梯集成需确认厂商 API、控制模块或楼宇系统接口的兼容性,且不得绕过电梯原有安全控制。
文章系统讲解 Open X-Embodiment 与 RT-X 的跨具身迁移实践,从 RLDS 数据格式统一、RT-X 模型架构到预训练、微调与在新机器人上部署。文中给出 RLDS 转换脚本、基于 RT-1 的 PyTorch 模型实现、温度采样与具身加权 loss 等训练技巧,并记录数据加载慢、跨具身性能差、动作空间不匹配等六类踩坑与对应解法。
一位开发者用本地运行的 Qwen3.8-Flash-Next 模型将英文指令转为 reBot B601 机械臂的通用控制,全程离线在家中进行。演示中机械臂完成用 nerf 枪射击、投球、写字、画画和倒杯等任务,物体识别使用 Meta SAM。这是该系列的第二段视频,此前一段演示了给、取、跟随和堆叠动作。
PrismaX团队分享了把在一个YAM设备上训练的π0.5策略迁移到另一台YAM设备上的实践,涵盖微调消融、延迟排查和显存压缩三部分。微调方面,只训练动作专家得到51%抓取率和12%掉落率,全量微调为89%和53%,r=128 LoRA为84%和59%且占用32GB;强光会让仅训练动作专家的检查点性能约减半。
推荐理由:原文给出π0.5策略跨设备迁移的微调消融、延迟排查与显存压缩细节,可复用到小实验室的现有设备。
Pollen Robotics 发布教程,演示如何在 Reachy Mini Wireless 头部安装 NFC 配件套件,仅用四颗螺丝、无需胶水,即可启用磁性配件检测。安装后机器人可自动识别放在头部的 NFC 配件,每个配件可在 Reachy Mini 对话应用中解锁不同性格或触发自定义动作。套件还附带额外 NFC 标签和磁铁,供用户自制配件与 AI 交互。
作者用 Python 脚本和修改后的固件,让 OpenMV AE3 相机的曝光与特定 IMU 测量同步,以改善视觉惯性里程计。固件改动在两个 CPU 核之间加入共享时钟,IMU 以 208 Hz 运行,每 10 次 IMU 测量触发一次相机曝光,约 20 FPS。代码已开源,并给出 Kimera-VIO 在 3 m/s 室外飞行和室内飞行的测试视频。
DINOv3特征加向量库可在固定摄像头场景实现免重训,机制上通过改数据不改模型成立,成本上缩短周期且无回归风险。该方案适用边界明确:视角固定、类型数有限、光照稳定并具备运维条件。
文章推导轮腿倒立摆动力学,解释为何必须向倾倒方向加速轮子才能让四足机器人仅靠两条后轮站立。文中还剖析非对称演员-评论家的特权信息设计,并以跨物理引擎实测检验四套策略的边界。
古月居发布 OpenWAM 源码解读,围绕项目结构、Dual-System 架构、Video/Action 联合注意力、Flow Matching 训练流程和推理部署方式展开,并结合关键代码进行梳理。材料仅提供摘要,未给出具体代码细节与结论。
CKT-WAM 源码解读聚焦 Teacher 中间层特征提取、AdapterBank 压缩与路由,以及 Context 注入 Student WAM 的完整流程。文章结合关键代码文件逐段拆解这条从教师特征到学生世界模型(WAM)的信息通路。
该内容介绍用 robomimic 模型动物园的循环行为克隆官方权重,在 MuJoCo 中复现 lift 与 can 操作任务。文中还原 BC 似然建模、LSTM 部署语义与 OSC 阻抗控制的数学细节。
作者记录了将 CLIP 视觉编码器部署到 RK3588 NPU 的完整流程,涵盖模型导出、转换为 RKNN 以及混合量化三个环节,并整理了过程中遇到的问题。材料仅提供摘要,未给出具体量化配置与性能数据。
文章讲解如何将自采机器人数据转换为 RLDS 格式并接入 OXE 管线,覆盖从原始数据整理到格式转换的完整流程。内容以实操踩坑为主线,面向需要复用 OXE 数据管线的机器人研发者。
针对 RK3588 平台,方案用 RKLLM 把任务规划从云端搬到端侧,让机器人主控自行推理下一步动作。原文未给出具体模型版本、任务场景与实测性能数据。
在 RK3588 上做 INT8 量化后精度掉了 6.4 个点,文章围绕这一精度损失讨论如何补救。内容聚焦该平台上的量化精度问题与应对思路。
本文基于 ROS 2 构建差速移动机器人仿真系统,完成模型搭建、雷达感知、路径跟踪与可视化,并通过离线运动学测试检查控制逻辑,为机器人运动控制的学习与实践提供参考。
材料剖析八足仿生机器人 WaterSpiderbot,覆盖三关节腿链的正逆运动学、MuJoCo 接触支撑力学与 SAC 步态策略,并给出完整复现训练闭环。文中还诊断出默认配置下学习从未启动的结构性原因及修复方案。
文章介绍用 RK3588 接入 GPT-6 Astra,以自然语言控制工业机械臂,覆盖任务解析、工具调用、动作执行与异常处理,并附代码示例,讲清从指令到执行的完整链路。
古月居发布灵巧手实战系列第二篇,主题是比较无刷电机、空心杯电机与舵机在灵巧手关节选型中的取舍。目前仅有标题与摘要,正文未提供具体参数或选型结论。
灵巧手实战系列第4篇讲解如何用 SolidWorks 设计单指结构,核心思路是在建模阶段先为传动与传感部件预留安装空间。内容面向灵巧手研发入门者,属于设计流程中的结构建模环节。
古月居代码实战专栏(10.10)以 OpenDW 代码实战为题,围绕 ST-WAM 的源码实现展开。内容涵盖双空间未来建模、CAIR 历史检索、跨分支注意力以及训练与推理流程,并梳理语义信息与时序信息如何共同服务于机器人动作生成。
在 Gazebo 麦轮小车仿真中,A* 与 Dijkstra 各跑 18 次后未测出差异,作者把“没有差异”写进结论。文章同时讨论:当实验测不出差异时,如何判断不是自己实验做错了。
材料解析最小 snap 四旋翼轨迹链路:逐段九次多项式(十个系数)以 snap 为代价、导数连续约束闭式求解,并用 COBYLA 折中时间与平滑。微分平坦映射推力与姿态,几何控制在 MuJoCo 中闭环验证。
GPT-6 Astra 作为具身策略候选,已能在视觉、语言、状态和工具接口之间组织复杂任务,但完成一次操作与从连续失败中形成新能力属于两个层级的问题。文章将自监督学习限定在这一改进环节,提出一套可审计的自监督路线,用于让模型从机械臂的失败中学习改进。
创作者发布 ESP32-S3 桌面机器人 Pamk 的 20 分钟完整制作日志,涵盖从初版草图改为魔方造型、设计约 25 欧元的定制 PCB(集成 ESP32-S3、I2S 麦克风与功放、屏幕、USB-C),到装配与 3 个磁吸外壳的全过程。目前 Pamk 尚无轮子或执行器,作者表示 V2 计划加入电机/执行器。视频为法语配音、英文字幕。
Dexmate 为物理 AI 模型训练提供遥操作数据采集方案,由全身平台 Vega 1 Pro、半身平台 Vega 1 U 与软件 Omniteleop 组成。
Zephyr 输入子系统实战覆盖矩阵键盘、编码器与事件流三类输入设备的接入方式。内容围绕输入事件从设备驱动到事件流的传递路径展开,面向机器人研发者说明如何在 Zephyr 中处理按键与编码器信号。
内容围绕 Zephyr DMA 子系统的控制器、通道与双缓冲传输展开实战讲解。原文未给出具体控制器型号、通道数量、传输速率或实验条件等可核验指标。
Zephyr 设备树与设备驱动模型实战,围绕 DT binding、驱动注册到 device 获取的完整链路展开。内容覆盖从设备树描述到驱动注册、再到运行时获取 device 的关键环节,面向需要理解 Zephyr 驱动模型落地方式的研发者。
Zephyr USB 设备栈实战覆盖 CDC ACM、HID 与自定义类三类设备实现。内容围绕在 Zephyr 中配置 USB 设备栈并实现上述设备类展开,面向需要为机器人主控或外设接入 USB 通信的开发者。
灵巧手实战系列第5篇讲解从三相电流到关节力矩的 FOC 控制链。材料仅提供标题,未给出具体控制环节与实现细节。
古月居发布“灵巧手实战03”,主题是腱绳与连杆两种传动方式如何把电机转动转换为手指弯曲。材料仅提供标题与摘要,未给出具体结构参数或实现细节。