ROS探索总结-11.机器视觉

机器视觉

机器视觉在计算机时代已经越来越流行，摄像头价格越来越低廉，部分集成深度传感器的混合型传感器也逐渐在研究领域普及，例如微软推出的Kinect，而且与之配套的软件功能十分强大，为开发带来了极大的便利。ROS集成了Kinect的的驱动包OpenNI，而且使用OpenCV库可以进行多种多样的图像处理。

注：本章内容及代码均参考《ROS by Example》书中的第十章。

一、图像显示

我们从最基础的开始，想办法显示Kinect的图像数据。

1、安装驱动包

安装步骤很简单：

$sudo apt-get install ros-fuerte-openni-kinect 

2、测试

首先运行kinect节点：

$roslaunch rbx1_vision openni_node_fuerte.launch 

然后我们调用ROS的image_view包来直接显示摄像头的数据库。

image_view包的介绍可以参考：http://www.ros.org/wiki/image_view。

   $rosrun image_view image_view image:=/camera/rgb/image_color 

我们可以看到弹出了一个独立的图像显示框：

3、分析数据

下图是我们上面测试中的节点图。

我们可以使用如下的命令来查看节点之间发送的图像消息是什么样的：

rostopic echo /camera/rgb/image_color 

然后就会看到数据刷刷的在显示，有没有感觉看不清楚，我们使用终端的重定向功能将数据全部存储到文件中：

rostopic echo /camera/rgb/image_color > test 

好了，现在看看文件中是不是已经有数据了，我们来看一下其中的一帧数据：

header:   

  seq: 19285  

  stamp:   

    secs: 1370867560  

    nsecs: 538447820  

  frame_id: camera_rgb_optical_frame  

height: 240  

width: 320  

encoding: rgb8  

is_bigendian: 0  

step: 960  

data: [223, 225, 225, 220, 225, 225……………..

从数据中我们可以的出来几个很重要的参数，首先是图像的分辨率：240320，编码的格式是rgb8，也就是说图像应该有240320=76800个像素，而每个像素由八位的R、G、B三个数据组成，因此我们可以预计下面的data中应该有76800*3=230400个八位的数据了。

我们可以验证一下data中到底有多少个数据，这个很简单了，数一下就行了，不过好像有点多，我使用的是linux的“wc”命令。首先我一帧数据复制到单独的文件中，每个数据都是用“，”号隔开的，只要计算“，”的数量就知道数据的数量了。

结果和我们预想的是一样的。知道这个数据格式以后，我们以后就可以直接把其他摄像头的数据装换成这种格式的数据就可以直接在ROS中使用了。

4、rviz显示图像

我们再来点高级的。rviz是我们经常使用的工具，把图像显示在rviz中才更有应用价值。rviz已经为我们提供好了显示图像的接口，使用非常简单。

首先按照上一节的方法运行kinect节点，然后打开rviz：

rosrun rviz rviz 

然后修改“Fixed Frame”为/camera_rgb_color，修改“Target Frame”为，接着点击add，选择camera类型。添加成功后选择camera菜单下的Iamge Topic选项，选择/camera/rgb/image_color，确定后下面的显示框内就显示图像了。

二、深度显示

使用kinect的一大特色就是可以获得传感器的深度数据，也就是物体距离传感器的距离，传说kinect的可识别范围在60cm到10m之间。

1、显示深度图像

首先也需要运行Kinect的节点：

roslaunch openni_launch openni.launch 

这一步我使用的是ROS安装openni包中的节点，使用与前面相同的命令运行的节点在后面无法产生深度数据。
然后同样适用iamge_view包就可以简单的显示深度图像了：

rosrun image_view disparity_view image:=/camera/depth/disparity 

2、rviz中显示深度

首先运行rviz：

rosrun rviz rviz 

然后修改“Fixed Frame”和“Target Frame”，在add中添加PointCloud2类型，修改“topic”，具体参数如下图所示：