跳转至

模型推理框架

智能机器人与机器学习是紧密相连的,机器学习又可以分成数据采集、标注、训练、推理等环节,其中数据的训练需要消耗大量算力,适合在服务器或者云端进行,不过训练好的模型可是要部署到机器人端进行推理运算的,所以模型推理的效率如何,直接决定了机器人视觉处理的效率,这刚好是TogetherROS所擅长的地方。

Hobot DNN模型推理库

TogetherROS集成了Hobot DNN模型推理库,集成了众多开源模型,借助底层芯片中的AI引擎BPU,提供充足的算力保障,开发者实际使用中,就不用花费很多时间在模型的调教和数据的训练上,基于这套系统,很快就可以部署人工智能应用啦。

image-20220614162316324

hobot_dnn是在地平线X3开发板上利用BPU处理器实现AI推理功能,基于地平线EasyDNN和ROS2 Node进行二次开发,为应用开发提供更简单易用的模型集成开发接口,包括模型管理、基于模型描述的输入处理及结果解析,以及模型输出内存分配管理等功能。

image-20220614162337563

关于hobot_dnn的使用逻辑流程如这张图所示,供大家参考,我们后续也会通过具体的案例解释代码的实现过程。

算法与应用库

image-20220614162356367

在Hobot DNN模型推理库的基础上,地平线还提供了一套基于TogetherROS系统的AI算法包,称为BOXs,这样我们就不需要从零构建算法,基于这些标准而高效的算法,可以更关注应用层面的APP开发。

从这张图中我们可以看到,这套AI算法包中包含两大块,一个是基础算法,一个是应用算法。

基础算法中主要是图像分类、语义分割和目标检测这些常用的算法,应用层面就会基于这些算法和某些场景,动态实现更为复杂的人体识别、骨骼点识别、手势识别等具体的功能,这些模块就可以和机器人运功功能直接结合,节省了我们开发AI视觉部分的时间。

模型推理测试

这套模型推理和算法库的效果如何呢?

image-20220614162426877

我们先来体验一个TogetherROS自带的案例,识别这张图片中的人,以及每个人的骨骼关键点。

# 配置TogetherROS环境
$ source /opt/tros/setup.bash  

# 从tros的安装路径中拷贝出运行示例需要的配置文件。config中为example使用的模型,回灌使用的本地图片 
$ cp -r /opt/tros/lib/dnn_node_example/config/ .  

# 使用本地jpg格式图片通过同步模式进行回环预测,并存储渲染后的图片 
$ ros2 launch dnn_node_example hobot_dnn_node_example_feedback.launch.py

image-20220614162433116

图片1