基于WiFi的手机无线显微成像技术研究与应用

【作 者】金海岚，刘静,

1 清华大学医学院生物医学工程系，北京市，100084

2 中国科学院理化技术研究所，北京市，100190

0 引言

显微镜是人类历史上最伟大的发明之一，它在科学研究、医疗检测以及教学方面发挥了不可替代的作用。传统的显微镜由于设备庞大，价格昂贵，在应用上存在一定局限性。手机处理器的快速发展，使手机能应用摄像头、多媒体影音播放功能及运行许多应用软件[1]。操作系统的植入使手机更接近微型电脑，可处理复杂的计算任务。为此，国内外近期围绕手机与显微镜结合问题开展了系列尝试。

2008年，中国科学院理化技术研究所科研人员提出采用手机实现流体视频的拍摄及计算，由此推算诸如血液等流体的粘度[2]，实验表明，相应精度已在一定程度上能满足实际需求[3]。2009年，美国加州大学伯克利分校的研究者推出Cellscope[4]，利用了手机的摄像、计算及通讯功能，可实现如下任务：① 用手机自带摄像头由目镜中得到300X显微图像、荧光图像；② 运用手机的计算能力对细胞计数；③ 通过手机的通讯功能，实现远程图像传输。但在这一系统中，由于手机与显微设备以机械方式连接，在使用上多有不便，总体上仍然是常规显微概念的拓展，并未真正发挥手机的无线通讯优势。为实现无障碍显微成像，2010年清华大学医学微系统技术实验室提出了手机无线显微成像系统方法[5]，并随后发展出原理性装置[6]。这种方法可通过手机以无线方式接收显微图像，观察不受空间所限。相比于Cellscope技术，该系统在手机端的数据接收为纯软件方式，没有为手机增加任何外设，因而真正意义上实现了便携化，在无干扰性研究细胞/组织培养以及危险生物样品的远程观测等方面会有较大的适用面。不过，略显遗憾的是，这种无线显微的最初原型由手机、网络摄像仪、微型显微镜或高倍率显微镜等构成[6]，网络摄像机获取显微图像，通过网线将图像传到互联网，手机则通过无线上网来查看、接收显微图像。在这种无线传输的方式中，网络摄像机需要借助网线连接到以太网交换机(Switch)、路由器或IP共享器，手机无线上网会产生一定的费用，且在无网络地区无法使用，因而仍然没有最大限度的满足用户需求。

与上述方式不同的是，WiFi则是一种短程无线传输技术，能够在数百英尺范围内支持互联网接入的无线电信号，传输速度最高可达600 Mbps。与其他无线通讯技术相比，WiFi具有使用广泛，传输速度快，通讯距离远的特点。事实上，如今大部分智能手机均自带有WiFi无线网卡。WiFi的频段在世界范围内是无需任何电信运营执照的免费频段，因此为WLAN无线设备提供一个可以随时随地使用的、费用低廉且数据带宽极高的无线空中接口[7]。为此，为充分推进手机无线显微成像技术的发展，本文结合WiFi，即802.11b/g无线通讯协议，构建出小型的无线局域网，成功实现了显微图像的远距离获取和传输。在该系统中，手机只需接入无线局域网，即可实时接收处理显微图像。

本文工作主要分为三个方面：一是引入了嵌入式Linux操作系统，构建了简捷的网络视频服务器；二是编写了Android手机客户端软件，实现了实时显示以及存储的功能；三是基于该系统开展了系列新颖的基础实验应用探索。

1 系统的总体结构

系统由图像采集端、图像处理模块、无线通讯模块和手机终端四部分组成。从图1可以看到，图像信号由CMOS摄像头OV9655采集，经过ARM9核心板的初步处理，成为jpeg图片序列，由WiFi模块传送到手机终端。手机终端可以对图像进行显示、存储等操作。

图1 系统结构图Fig.1 Scheme for the system

1.1 硬件参数介绍

(1) CMOS摄像头OV9655[8]

OV9655是美国OmniVision公司生产的一款低功耗微型CMOS数字摄像头，最高分辨率为1280X1024，最大传输速率可以达到30 帧/秒，在（-30～70）oC能稳定工作，主光角为25o，CMOS彩色8位或10位可选。

(2) WiFi模块

采用台湾雷凌Ralink RT3070L主芯片[9]，最大传输速度可达150 Mbps。1.25 V与3.3 V双电压供电，工作电压范围宽，功耗低，发热小，系统较稳定，室外理论传输距离约300 m，室内约100 m。

(3) 主控芯片

采用陆通网络科技出品的LT2440开发板。这是一款以S3C2440处理器为核心的高性价比开发板[10]，而S3C2440系三星出品的低功耗、高性能、低成本的ARM9处理器，较具成本优势。采用ARM920T内核，具有400 M CPU主频、64 M 双片SDRAM、256 M Nand Flash，支持SD/MMC/SDIO接口存储卡、USB Device接口下载、DM9000A网卡、Camera输入、WiFi、蓝牙、3G、GPS等外置模块。

(4) 手机终端

本系统目前支持Android手机平台，实验用的手机为天语W606智能手机[11]。W606是天语和中国联通携手推出的首款Android手机，主要参数如表1。

表1 天语W606手机参数Tab.1 Main technical parameters for W606

1.2 系统实现

1.2.1 视频服务器的构建

视频服务器的核心是ARM9处理器S3C2440，支持WinCE，Linux系统。考虑到Linux的内核比较稳定，且功能强，性能高效，支持多任务模式，而且Linux具有完善的网络通信、图形和文件管理机制，本系统采用Linux操作系统。系统使用了开源视频服务器软件MPEG_Streamer，程序使用插件的方式，可以动态加载不同的输入输出库文件，易于扩展。

(1) 嵌入式系统构建

Linux嵌入式系统的构建，包括安装交叉编译环境、编译U-Boot（Universal Boot Loader）并移植、配置Linux内核和制作文件系统。本文精简了系统内核，仅保留所需模块，包括系统运行必需的模块、网络模块和相关硬件驱动等。编译WiFi模块的驱动程序，并添加到核心板使用Linux系统中的U-Boot，为整个系统提供建立无线局域网功能。

(2) MJPG-streamer移植

MJPG-streamer项目从输入设备拷贝图像数据到输出设备，默认支持单输入多输出。从摄像头中读数据系通过V4l2接口。V4l2全称Video for Linux Two，是Linux提供的一套标准化API，应用程序通过API来调用和操作音视频设备。客户端与服务器的网络通讯涉及到Socket编程。Socket通常被称为“套接字”，用于描述IP地址和端口，是一个通信链的句柄。Socket面向连接的操作使用TCP通信协议。视频服务器以CMOS摄像头作为MPEG_Streamer项目的输入设备，并将其转化为JPEG数据流，监听来自客户端的Socket连接，如果没有连接，则处于等待状态。当手机终端向服务器发出一个连接请求时，TCP协议会建立一个用于发送和接收数据的虚拟链路，使手机可以读取视频服务器数据。

MJPG-streamer源码可以在有关专业网站上下载，如CSDN和Google源码等。MJPG-streamer编译后生成的文件为：

mjpg_streamer：主程序，用来启动其他模块；

output_ fi le.so：输出到jpeg文件；

output_http.so：输出到网络；

output_viewer.so：输出到LCD；input_uvc.so：USB摄像头输入；

input_ fi le.so：从视频或者图片输入；

input_cmoscamera.so：CMOS摄像头输入。

将mjpg_streamer放到开发板文件系统bin目录下，将input_cmoscamera.so、output_http.so放到/lib/modules/目录下，可用命令行来加载输入输出模块。下面这一句代码实现了以CMOS摄像头为输入，用jpeg压缩格式输出图片序列到端口192.168.123.1：8080。

-i：表示input输入选项；

-o：表示output输出选项；

-b：后台运行；

-y：表示使用程序的jpeg压缩；

-w：表示数据输出绑定到这个网址的这个端口。

1.2.2 手机客户端实现

(1) 开发环境构建

Android是以Linux 2.6内核为基础的开放的手机平台，使用Android组件做开发，较为方便和高效。Android的官方指定开发语言是Java，Google官方提供了基于Eclipse的Android开发插件（Android Developer Tools，ADT）。本系统采用开源的集成开发环境Eclipse。

开发环境搭建步骤包括：下载并安装1.6 Java软件开发工具包（Software Development Kit，SDK），安装Eclipse，安装软件开发工具包（Software Development Kit， SDK）与ADT。

(2) 客户端软件编写

首先介绍客户端界面，其由1个文本框、1个图像区域及4个按扭组成。在文本框中显示连接状态，图像区域显示接收到的图像，如图2所示。

图2 软件界面Fig.2 Software interface

首先介绍接收一帧图像的过程。在图像读取线程中，由下面三行代码获得套接字的输入流并组装成基本数据输入流，URL（Uniform Resource Locater）对象代表统一资源定位器，即：

下面介绍几个功能按钮。图像的帧头与帧尾为SOI、EOI。

寻找帧头与帧尾，从而解析出一帧完整的图像。其软件流程如图3。

启动软件后，手机就以每秒5帧的速度开始获取图像并显示，每帧图像大小为640*512，8位的彩图，约为277 K。为方便地查看和存储显微图像，本文设计了4个功能按钮：

开关按钮pause/continue 控制视频的暂停、继续，pause状态下点击按钮，停止从缓存中读取图片，continue则继续从缓存中读取。

开关按钮start/stop 控制录像的开始与结束。每2.5 s保存一帧图像到SD卡的指定文件夹中。文件夹以当前时间“年_月_日_时_分_秒”命名。

图3 软件流程图Fig.3 Software fl ow chart

普通按钮screenshot 点击screenshot按钮，将图像保存到SD卡的screenshot目录下。图像文件以当前时间

“年_月_日_时_分_秒”为名。

普通按钮quit 退出程序。

2 性能评测

2.1 传输质量

本系统中使用的WiFi模块的传输距离，在无障碍物的情况下，可达30 m；有障碍物时约为10 m。本系统设定的传输速度为每秒5帧，传输图像为30万像素的8位数据，传输速度为12 Mbps。

2.2 图像质量

摄像头输出640*512的图像，约30万像素，通过拍摄黑白相间的条纹来查看图像变形情况与色差，如图4所示。可以看出，图像并没有出现几何变形，但对比度明显下降。由于光照的不均匀，导致一部分白色呈现浅青色，另一部分则呈现浅粉色。在黑白过渡处不够锐利。这些问题有待于今后进一步研究。

图4 图像条纹与色差Fig.4 Fringe image and color difference

3 应用探究

3.1 商用便携式显微镜成像试验

常见物体观察实验使用义乌市立明光学仪器厂生产的MG10085-1自带光源便携式100X显微镜，可以通过齿轮调焦，照明使用纯白LED光源，由两节五号电池供电。

将摄像头对准袖珍显微镜目镜，调整摄像头与目镜的距离，用胶带固定，在手机端于是可以看到一个明亮的视野，如图5所示。

图5 连接效果图Fig.5 Renderings of the connection

对常见植物标本进行观察，在图6 (a)中可以看到蒲公英种子的冠毛，由于伞状结构，只有上半平面聚焦，冠毛约0.02 mm粗，下面还有微小绒毛结构。图6 (b)为蒲公英的花朵显微图，中间棕色者为花丝，上面附有黄色的花粉，背景为花瓣。

图6 植物显微图像Fig.6 Plant microscope images

对蚂蚁进行观察，在图7 (a)中可以看到触角，在图7 (b)中可以清楚识别蚂蚁的腿及腿上的绒毛。这一方法对于小昆虫的远程观察试验研究很有价值。

3.2 高倍率显微镜成像试验

采用的光学显微镜为Nikon Eclipse TS100，用于高倍率显微图片的拍摄。该显微镜采用的是CF160无限远光学系统，可以提供长工作距离和高数值孔径的清晰图像。连接方法与便携式显微镜类似，固定方式采用台虎钳。观察无需进入超净间，适合长时间监控(图8)，如本实验中，我们观察了乳腺癌细胞的生长情况。

图7 蚂蚁显微图Fig.7 Micrograph of ant

图8 超净间外观察图Fig.8 Outside of the clean room

为了对图像效果作一个客观评价，使用商用CCD摄像机拍摄的显微图片与本系统获取的显微图像作一个对比。图9中上方三幅图系CCD相机拍摄结果，分辨率为640×480，下方三幅图为本系统获得的显微图片，有效分辨率约为300×300。

图9 与商用CCD摄像机对比图Fig.9 Comparison with commercial CCD camera

可以看出，除视野较小，存在色差外，本系统得到的显微图像足以清晰观察细胞形态，具较好的实用价值。进一步通过在手机端编写一定的软件，可以实现细胞识别及计数等功能。

4 结论

本文研制出一套基于WiFi的手机型无线显微图像获取与传输系统，实现了图像采集、实时传输、显示和存储等功能。文中详细介绍了系统的组成，采集端的硬件设计，手机终端的软件设计和结构功能等，并在此基础上进行了性能测试，开展了内容新颖的基础实验应用探索。

该系统最大的优势在于图像采集端使用的Linux系统，手机端使用的Android系统，WiFi所在的频段，均是免费的，比较适合推广应用及产业化。“无线”概念的引入，极大地扩展了产品的适用范围，手机终端无需添加任何机械外设，使用方便。

与以往的网络图文显示系统相比，该系统不依赖于现有的无线网络，真正实现了无障碍监控，且支持多客户端模式。手机作为终端，可以随身携带，而且省去了PC，降低了成本。

总体而言，新系统在图像传输速度及质量上均可以满足实际需求，预计在许多细胞生物学试验及微小生物学对象的远程观察试验中会发挥重要作用。

致谢：

本文工作部分得到清华大学自主科研基金资助。

[1] 萧萧. 新摩尔定律—手机的处理器[J]. 通信技术. 2005, (5): 102-103.

[2] 刘静, 杨阳, 王昊. 一种非接触式测量液体参数的测量方法: 中国, 200810227982.2[P], 2008-10-22

[3] Yang Y, Wang H, Liu J. Mobile phone enabled pervasive measurement of liquid viscosity [J]. Applied Rheology. 2011, 21:63890-63894.

[4] Breslauer DN, Maamari RN, Switz NA, et al. Mobile phone based clinical microscopy for global health applications [J]. PLoS ONE,2009, 4: e6320-e6324.

[5] Xie Q M, Liu J. Mobile phone based biomedical imaging technology: A newly emerging area [J]. Recent Patents on Biomedical Engineering, 2010, 3(1): 41-53.

[6] 袁宇辰, 刘静.手机无线显微成像技术[J]. 中国医疗器械杂志.2011, 35(2): 79-82.

[7] 杨丰盛. Android应用开发揭秘[M]. 北京: 机械工业出版社, 2011

[8] OmniVision. ultimate 1/4 inch camera-on-a-chip[DB/OL]. http://datasheet.eeworld.com.cn/pdf/411310_OMNIVISION_OV9655.pdf , 2012-05-22.

[9] Ralink.Technology Corporation.11n RT3070 USB Test Report[DB/OL]. http://www.datasheet.co.kr/download.php?id=707769, 2012-05-22.

[10] Samsung Electronics. S3C2410X 32-bit RISC Microprocessor user's manual [DB/OL]. http://datasheet.eeworld.com.cn/pdf/2575_SAMSUNG_S3C2440A.pdf, 2012-05-22.

[11] ZOL中关村在线. 天语W606参数[DB/OL]. http://detail.zol.com.cn/256/255764/param.shtml, 2012-05-22.