基于Android智能手机的WIFI电子内窥镜

吕伟通 樊翔 钟颖珊 黄志强 朱鹏志广东省医疗器械质量监督检验所 （广东 广州 510663）

基于Android智能手机的WIFI电子内窥镜

吕伟通 樊翔 钟颖珊 黄志强 朱鹏志＊广东省医疗器械质量监督检验所 （广东 广州 510663）

针对移动医疗需求的发展，提出一种采用WiFi通信并基于Android手机平台的便携式电子内窥镜设计方案，可代替传统的内窥镜设备，应用于网络化或远程医疗环境中。本方案在基于RT5350的EasyMIPS硬件上搭建了openwrt软件系统和MJPG－streamer服务器，并通过USB接口实时读入电子内窥镜的视频数据，转换为MJPEG视频流后，通过WiFi接口传入Android智能手机，然后在Android手机上编写相应的客户端用户程序，实现了对电子内窥镜的视频采集、图像增强、保存回放、远程传输等功能。实验结果表明内窥镜封装尺寸可小于5mm，图像分辨率640×480，视场角120˚，本方案可广泛应用于资源受限的偏远环境及家庭健康领域，实现耳鼻喉等人体器官的内窥成像及医学诊断。

电子内窥镜 智能手机 Android WiFi 远程医疗

耳鼻喉电子内窥镜在基层医疗中比较匮乏，现有的电子内窥镜体积大，成本高且需要专业人士进行操作诊断；随着人们健康理念的更新，对耳鼻咽喉等部位疾病的早期诊断和自我保健的要求日益增长。因此，低成本、便携化、网络化的医用电子内窥镜内窥镜是近年来医疗器械的一个研究方向。Wu等[1]设计了一个适配器与便携的内窥镜镜头，与智能手机摄像头连接即可共享成像视频；Sohn等[2]设计了一个智能手机与内窥镜的耦合系统，Ian Joseph Alexander设计了一个基于无线传输模块的便携式鼻腔内窥镜[3]。而在内地市场上，网络电子内窥镜大多用于工业领域，在分辨率、成像清晰度、图像增强方面的技术水平不高[4-7]。

基于此，本文设计一种新型的基于智能手机平台的WiFi电子内窥镜，在本地搭建了MJPG-Streamer服务器，通过Android客户端APP获取内窥镜采集的图像并实时处理，充分利用了智能手机的软硬件功能，从而降低了医用电子内窥镜的成本，方便了对电子内镜图像的分析处理和远程共享。

1.WiFi内窥镜总体设计

硬件系统由电子内窥镜系统和网络传输系统构成，由电子内窥镜系统采集医学图像后将视频数据通过USB接口送入网络传输系统，经编码后传输给手机终端或者浏览器，用户在终端App或者浏览器内输入IP地址和端口就可以在多个显示屏上看到电子内窥镜采集的画面，整体结构如图1（a）所示，图1（b）为实物照片。

图1. 内窥镜系统整体结构图与实物图

1.1 内窥镜系统

内窥镜部分包括照明LED，微型镜头，CMOS图像传感器，视频处理模块四个主要部件。LED光源照亮体内器官，反射的光信号通过微型镜头成像到CMOS传感器，视频处理模块完成图像采集并直接输出标准的NTSC/PAL视频，接入标准监视器中即可观看到内窥镜采集的视频。

1.2 网络传输系统

系统的传输部分采用了USB视频采集卡以及WiFi信号处理板，内窥镜系统将NTSC/PAL信号输出后传入视频采集卡，输出的MJPG格式视频通过usb接口接入WiFi信号处理板，最后视频数据通过WiFi接口传输至Android智能手机，用户通过APP软件可以对电子内窥镜进行控制、视频处理、存储等操作。

图2. wifi信号处理板硬件结构图

WiFi信号处理板移植了嵌入式openwrt系统并搭建了mjpeg-streamer视频流服务器，可实现对本地USB视频设备进行数据采集，并将所采集的视频数据通过MJPEG方式压缩编码，通过http/rtsp传输协议向客户端进行传输。当客户端向服务器端口发送连接请求，服务器接收到后创建起数据连接，连接建立之后，服务器端将压缩编码后的采集图像通过无线网络发送到客户端。整个系统的硬件结构如图2所示。

2.Android客户端设计

Android客户端中包含了四大主要功能模块：网络传输模块，视频监控显示模块以及视频功能模块。客户端在连接WIFI的条件下接收图像数据后还原成单帧视频流，实现内窥镜预览。通过改变获位图的颜色参数值可以改变实时预览帧效果，对单帧数据流的压缩保存即可实现视频抓图。

2.1 网络传输模块

网络传输模块实现的是获取WiFi开发板传送的视频流数据的功能。在Android sdk中附带了两种HTTP客户端，HttpURLConnection和Apache HttpClient，它们都支持HTTPS，能上传和下载文件[8]。由于Apache HttpClient的功能更为强大，所以此处作者采用了Apache HttpClient来实现网络传输。

在登陆界面输入相应的IP地址建立网络连接后即可接受来自WIFI开发板的视频流数据。对于接收到的视频流数据，按照JPG标准文件头进行分段处理。通过标记码SOI和EOI计算出数据的长度，该长度的数据即为一帧图像。将分段后的数据存入缓冲区，设置线程不断对缓冲区刷新，即可得到一帧一帧的图像数据，对这些图像数据处理后送入显示即可得到视频。对于缓存数据的处理，Android中提供了BitmapFactory类来获取资源中的位图，BitmapFactory的所有函数都是static，这个辅助类可以通过资源ID、路径、文件、数据流等方式来获取位图[8]。利用BitmapFactory的DecodeStream（InputStream is）解码位图资源，即可获取当位图。该部分流程如图3所示。

图3. 数据转化位图流程图

2.2 视频监控显示模块

上述位图形成后，即可通过线程绘制到界面上进行显示。但是由于环境的变化以及医疗需要，作者对位图提供了图像增强功能，将得到的位图预先进行图像处理。

在Android可通过颜色矩阵（ColorMatrix）对图像颜色进行处理，实现图像的黑白显示，彩色增强等等[9]。colormatrix为一个一维方式存储的5×4颜色矩阵，可修改位图的RGBA颜色通量实现对图片中色彩的增强：

图5 视频功能模块实现流程图

图4. surfaceView更新界面机制流程图

其中M表示颜色矩阵，C表示原位图的RGBA分量，相乘后得到新的R’G’B’A’分量。且通过运算可知，第一行参数决定了图像的红色成分，第二行参数决定了图像的绿色成分，第三行参数决定了图像的蓝色成分，最后一行参数决定了图像的透明度，第五列参数是颜色的偏移量。将修改后的位图送入线程中，绘制在界面上即可实现显示功能。

Android的绘图与Swing类似，通过继承View组件并重写它的OnDraw（Canvas canvas）方法来进行绘图[10]。但当需要快速更新View的UI，或者当前渲染代码阻塞GUI线程过长的时候，Android提供了Surface View来代替View。

SurfaceView一般会与SurfaceHolder结合使用，SurfaceHolder用于向之前关联的Surface上画图，调用SurfaceView的getHolder()方法可以获取SurfaceView关联的SurfaceHolder。surfaceView更新界面的机制如图4所示。

在本视频显示模块中定义了MjpegView控件，用来显示视频图像的一个SurfaceView，通过lockCanvas方法得到canvas对象，复写线程中的run()方法，在线程中调用canvas，按照网络传输模块中变化的位图图像对界面进行更新。

2.3 视频功能模块

该模块是在完成视频显示的基础上增加了拍照保存、画面暂停以及图片浏览等功能。该功能是在主界面中通过点击按钮实现，我们首先为指定按钮绑定相应的监听器OnChecked-ChangeListener，当按钮被按下的时候触发相应的方法。其中拍照保存，图片浏览以及画面暂停的实现方式如图5所示。

3.实验结果

图6 程序界面及功能图

将应用程序的apk安装至手机，开启WiFi电路板且手机连上该WiFi，可以观察到如下图6（a）（b）的程序界面，界面中显示的是人耳内的场景。界面最下面有一组功能按钮。点击下列按钮，可以对画面进行增强，暂停，抓拍图片等等。如图6（c）则为在程序中浏览已拍图片。且当电脑或其他设备只要在浏览器中输入该IP地址，也能同时访问内窥镜摄像头。如图7所示。

从上述结论中可以看出，不论是在什么环境，只要有一部Android手机，知道要访问的内窥镜摄像头的IP地址，就可以对耳鼻喉等器官进行自身检查。这比传统的内窥镜设备更加体现除了便携性，大众性，模块独立性。

图7. 多台设备同时访问内窥镜摄像头

4.小结

智能化发展促使手机平台成为移动医疗的主流，引领着医疗设备朝着便携化网络化的方向发展。对于移动医疗，其最关键最主要的技术就是如何将传统的设备与智能手机结合并充分的利用手机的硬件系统，从而降低设备体积成本，推广大众。Android手机端实现内窥镜图像显示比传统的标准监视器更注重其基层的推广性，除了具有普通的观看，画面暂停，图像增强等功能之外，若有治疗需要，还可多台显示器共同观看并实现远程传输。至此，手机端的内窥镜医疗系统前景将会更加光明。

[1] Wu CJ, Wu SY, Chen PC, et al. An Innovative Smartphone-Based Otorhinoendoscope and Its Application in Mobile Health and Teleotola[J]. J Med Internet Res, 2014,16(3):e71.

[2] Sohn W1, Shreim S, Yoon R, et al. Endockscope:Using Mobile Technology to Create Global Point of Service Endoscopy[J]. J Endourol , 2013,27(4):1154-1160.

[3] Ian Joseph Alexander, Brian Dean Owens. Portable Endoscope and Method of Use Thereof. US, US20130096374(A1)[P]. 2013-04-18[2017-03-10]. http://www3.drugfuture.com/uspat/download/US20130096374.pdf.

[4] 深圳市永恒丰智能设备有限公司. 一种可与移动设备连接的内窥镜. 中国, CN103984086(A)[P]. 2014-08-13[2017-03-10]. http://www.soopat.com/Patent/201410169851.

[5] 合肥德铭电子有限公司. 一种无线内窥镜. 中国, CN203311093(U)[P]. 2013-11-27[2017-03-10]. http://www.soopat.com/Patent/201320068660.

[6] 江苏金视光电科技有限公司. 无线耳鼻喉电子内窥检查镜. 中国, CN203280358(U)[P]. 2013-11-13[2017-03-10]. http://www.soopat.com/Patent/201320304015.

[7] 陈旭全. 一种便携式口腔内窥装置. 中国, CN103070662(A)[P]. 2013-05-01[2017-03-10]. http://www.soopat.com/Patent/201310042297.

[8] 周鹏飞, 潘地林. 基于Android视频监控系统的数据处理及实现[J]. 计算机技术与发展, 2013,23(5):150-153.

[9] http://blog.sina.com.cn/s/blog_629b701e0100spsn.html.

[10] http://developer.android.com/reference/android/graphics/ColorMatrix.html.

WIFI Electronic Endoscope Based on Android Smartphone

LV Wei-tong FAN Xiang ZHONG Ying-shan HUANG Zhi-qiang ZHU Peng-zhi＊Guangdong Medical Device Quality Surveillance and Test Institute (Guangdong Guangzhou 510663)

To satisfy the needs of the development of mobile health, designing a portable electronic endoscope is proposed, which uses WIFI to transmit video data to Android smartphone platform, and that can replace traditional endoscope equipment in the network or remote medical environment. This scheme builds the Openwrt system and the open source video sever MJPG-streamer on EasyMIPS hardware based on chip RT5350. The video data which were read through the USB interface in real time convert into MJPEG video stream, and then transmitted into the Android mobile phone via WIFI interface. The corresponding client/user application software is developed too, which performs the function of video capture, image enhancement, teletransmission, save and recall etc. Experimental results show that the package dimensions of our endoscope can be less than 5 millimeter, with the image resolution up to 640×480 and the feld of view up to 120˚. The endoscope can be applied to the remote environment which the source is limited and family health, realize the endoscopic imaging and medical diagnosis of ENT and other human organs.

electronic endoscope, smart-phone, android, WIFI, telemedicine

1006-6586(2017)11-0042-04

TP391

A

2017-03-10

朱鹏志，通讯作者。