基于树莓派和Tensowflow的物体识别-brain

近来这篇文章很火:How to build a robot that “sees” with $100 and TensorFlow (作者是Lukas,CrowdFlower创始人) ,中文译本为《如何用100美金和Tensowflow来造一个能"看"东西的机器人》,公众号们纷纷转载

文章读来饶有趣味,里边涉及的技术大多接触过,都不难,遂决定动手实现它

要实现整个项目,我手头还缺小车底盘,我们先来实现这个项目的核心部分:用树莓派和Tensowflow的识别现实世界的物体。日后有空再加上小车

随手把桌子上同事给的橘子拍下来,之后我们试着让树莓派认出它

任务描述

How to build a robot that “sees” with $100 and TensorFlow 已经把要做的是事说清楚了

物体识别是近来机器学习领域的热点之一。对于识别人脸或是区分猫狗这件事上,计算机已经胸有成竹,而在更大的图片集中识别一个指定的物体还是人工智能领域的“圣杯”,不过近年也有很大进展

我们将造一个能自己识别物体的机器人(不需要云服务)

工具介绍

树莓派

树莓派(Raspberry Pi)是一款基于Linux的单板机电脑,它只有巴掌大小,却有惊人的计算能力,你可以把它当做一台普通电脑。

树莓派的使命是制作一套启发孩子的电脑,降低孩子们试错的成本

树莓派最新的版本是树莓派3,较前一代树莓派2,树莓派3的处理器升级为了64位的博通BCM2837,并首次加入了Wi-Fi无线网络及蓝牙功能。加量不加价

TensorFlow

TensorFlow是一个由"Google大脑"团队的研究人员开发的机器学习库,Google遵循Apache License 2.0将其开源。该系统可以被用于语音识别、图片识别等多个领域

在这个项目中我们主要用到一个叫做inception的模型(基于ImageNet数据集)。它可以完成物体识别,我们直接使用预训练好的模型。训练模型可是个费时费力的工作

你把智能当黑盒使用的时候,并不需要有那么多偷懒的负罪感啦(哈哈 我还是有一点)

电气时代来临的时候,变革社会的除了那些发电的人,那些懂得使用电力去改造传统行业,创造新的行业的人,也许对社会的变革更为深刻。尽管他们可能连卡诺循环都不知道,甚至不知如何将水蒸汽中的动能转换为功,进而驱动电机发电

ImageNet数据集

这个数据集包含约120万张训练图像、5万张验证图像和10万张测试图像,分为1000个不同的类别,用于机器学习中训练图像识别系统

准备工作

我们先准备好树莓派,我用的是安装了raspbian-2016-05-31版本的树莓派3代(使用其他版本应该也没问题),关于树莓派的相关配置可以参考我之前的文章:树莓派折腾笔记之系统安装与配置

安装Tensowflow

How to build a robot that “sees” with $100 and TensorFlow 这篇文章里,作者采用的是TensorFlow提供的makefile命令,在树莓派中本地编译,这一步骤花费了作者几个小时。不过好处是一步到位。安装完后可以直接运行:tensorflow/contrib/pi_examples/label_image/gen/bin/label_image来识别物体

我不打算编译安装,除了过程费事,还需要在安装的几个小时里提心吊胆,深怕某个依赖问题导致前功尽弃,重新编译。 我在手动编译opencv的时候就曾备受折磨

我的安装过程

我们先安装已经适合树莓派的Tensowflow,这种工作,肯定有人做过,github一搜果不其然:tensorflow-on-raspberry-pi。我们开始安装:

wget https://github.com/samjabrahams/tensorflow-on-raspberry-pi/raw/master/bin/tensorflow-0.9.0-cp27-none-linux_armv7l.whl
sudo pip install tensorflow-0.9.0-cp27-none-linux_armv7l.whl  #这一步会安装其他依赖,如果太慢,可以用-i参数,使用豆瓣源

安装过程很快,也就喝杯茶时间,过程十分流畅

Tensowflow安装完成,我们开始加载模型,安装过程参考这里:pi_examples

mkdir  ~/tf
cd /usr/local/lib/python2.7/dist-packages/tensorflow/models/image/imagenet
python classify_image.py --model_dir ~/tf/imagenet #--model_dir 指定模型数据存放的目录

完成后我们来测试下是否正常

python /usr/local/lib/python2.7/dist-packages/tensorflow/models/image/imagenet/classify_image.py  --model_dir ~/tf/imagenet

如果是如下输出则一切就绪:

giant panda, panda, panda bear, coon bear, Ailuropoda melanoleuca (score = 0.89233)
indri, indris, Indri indri, Indri brevicaudatus (score = 0.00859)
lesser panda, red panda, panda, bear cat, cat bear, Ailurus fulgens (score = 0.00264)
custard apple (score = 0.00141)
earthstar (score = 0.00107)

测试

我们来试一下我的伞(拍于办公室):

python /usr/local/lib/python2.7/dist-packages/tensorflow/models/image/imagenet/classify_image.py  --model_dir ~/tf/imagenet --image_file /tmp/test.jpg  # 图片需是jpg格式

输出为

程序会给出5个可能的物体,得分最高的是雨伞,识别的很准确

我们接着给它看一张橘子的图片:

输出为

lemon (score = 0.72036)
orange (score = 0.16516)
spaghetti squash (score = 0.01571)
butternut squash (score = 0.00304)
ocarina, sweet potato (score = 0.00298)

它认为最大的可能是柠檬,橘子和柠檬确实很相似

如果你想自己来训练你的模型,可以参考googleblog上的这篇文章:Train your own image classifier with Inception in TensorFlow

优化

目前物体识别的性能不高,需要等一会儿,Lukas的机器人很有趣,它每次拍下照片,开始计算的时候会说I'm thinking。延时得很自然,机器也确实是在“思考”

关于如何提高运算速度,以下是几个可能

  • 利用GPU来计算。树莓派支持GPU运算,不过tensorflow-on-raspberry-pi目前没有GPU版本的whl,linux/mac都有GPU版本的whl. 此问题详细谈论可以参考:Question on GPU
  • 使树莓派超频可以加快运算速度
  • 把tensorflow部署到小车控制器坐在的电脑上(本地电脑),实际计算在本地进行(这样可以把tensorflow用到任何client里,不过需要联网运行)
  • 把tensorflow部署到云上,提供网络服务

另一个优化是,缩小图片尺寸,可以使用ImageMagick提供的convert指令:convert -resize 100x100 test.png dest.jpg。 如此一来就把图片转化为小尺寸(100x100),能有效提高运算速度

todo

  • 中文语音输出
    • 蓝牙音箱
    • 英->中翻译
    • 语音输出
  • 加载到汽车模型上
    • L298N驱动板

参考




Fork me on GitHub