王宪臻,王志刚,牛宝超
(河北工业大学 天津 300401)
随着芯片集成和嵌入式技术的发展,智能手持设备越来越广泛的应用在各个领域。搭载着操作系统的智能手机更是集合了高端处理器芯片、嵌入式操作系统和现代网络传输技术等前沿科技。主流高端嵌入式芯片无论是ARM架构还是intel新推出的medfield,都在朝着SoC单片高集成、多核、低功耗发展。嵌入式操作系统也足渐形成symbian、android、windows phone、iOS分足鼎立。Camera作为智能手机的重要应用,作为多媒体数据的获取和处理的枢纽,功能日趋复杂化。文中通过分析android平台下Camera模组的驱动架构,深入介绍了android camera模块的驱动设计。
Android camera架构主要基于android系统本身的层次结构,主要由应用程序层 (CameraApp)、应用程序框架层(CameraService)、 硬件抽象层 (CameraHal)、 内核驱动层(CameraDriver)组成[1-3]。Android发布版的 Camera程序架构分成客户端和服务端两个部分,建立在Android的进程间通讯Binder的结构上。运行时环境是Camera应用层通过JNI的本地调用部分。它通过google提供的 java虚拟机 dalvik使应用层的 java代码可以与C++语言编写的代码进行交互。Camera底层库是Camera功能中实现 Binder机制的接口类,对上层 Camera.apk提供接口,具体功能由其子类实现,在Camera模块中是 libCameraservice.so。而真正CameraClient的功能实现是硬件抽象层库Libcaemra.so通过调用底层驱动来实现的。Camera具体层次架构如图1所示。
图1 Andoird系统camera架构图Fig.1 Structure diagram of the camera on android system
Camera的硬件抽象层遵循V4L2接口系列规范,通过V4L2接口完成Camera的各项功能。V4L2是Linux中关于视频设备的内核驱动,是Alan CoX为了给Linux下视频采集设备驱动程序的编写提供同一的接口而提出的一套规范(API)[4-6]。用于管理所有视频采集设备的驱动,统一的驱动接口使得软件能够较容易的访问这些设备,给驱动程序的编写者提供了极大的方便。在手持终端的视频采集模块中得到了广泛的应用。
V4L2驱动框架的主要作用是对视频数据的时序和数据缓冲区的内存管理,并不直接和硬件打交道,控制硬件和获得视频数据需要借助I2C、PCI等驱动来完成[7-8]。它是一个双层驱动系统,上层为video device模块,是注册了设备功能函数的字符设备。下层为V4L2驱动,利用video_register_device()注册V4L2驱动和设备节点/dev/video,在open函数打开/dev/video后,对应的对设备文件的操作则实际替换成由v4l2_ioctl_ops结构定义的各种V4L2的接口来完成。V4L2视频采集流程如图2所示。
图2 V4L2视频采集流程图Fig.2 Flow chart of V4L2 video capture
本模块完成了智能手持设备的双sensor支持,包括带有ISP的前置RAW sensor和 简单采集功能的后置SoC sensor.camera驱动的主要功能封装在ISP驱动中,ISP驱动向上层提供V4L2的调用接口,实际sensor作为v4l2_subdev,由ISP驱动的v4l2_subdev_call接口与实际sensor驱动的实现数据通信[9-10]。ISP挂接在PCI总线上,两个sensor挂接在I2C总线上。
ISP驱动的核心结构体为isp_device,它封装了诸如pci_dev、device、v4l2_device、isp_sub_device 等重要的结构体。其中isp_sub_device映射的是sensor, 因为sensor是以v4l2_sub_device的方式完成与ISP进行数据和控制信息的交互的。ISP驱动中通过自动探测函数pci_register_driver()将完成了初始化的驱动结构体注册进内核。在probe函数中不仅需要有利用pci_enable_device()启用设备等PCI驱动的基本操作,还包括两个重要的操作就是isp_initialize_modules和isp_register_entities。在这两个函数中,完成对从作为v4l2_device的ISP设备到作为 v4l2_sub_device的 sensor的一系列的初始化。从而既实现了对上层V4L2接口的衔接,又可以利用V4L2规范中的sub_dev_call完成与sensor的交互。
Sensor驱动的核心结构体为sensor_device,它封装了v4l2_sub_dev结构体。用于实现与ISP的交互。在sensor驱动中通过i2c_register_driver()完成i2c_driver的注册,并在probe函数中利用v4l2_i2c_subdev_init完成从 i2c_client到v4l2_sub_dev的映射。并通过v4l2_subdev_ops定义了相应的操作。实现作为i2c设备的sensor通过sub_dev_call与上层驱动交互的功能。
文中对Android系统下的Camera模块的架构和模组的驱动设计进行了深入系统的分析,结合被手持设备广泛应用的V4L2视频采集接口规范给出了完整的设计实现方法,并介绍了分别基于PCI总线和I2C总线的Camera模组中的ISP驱动和sensor驱动,对于多媒体视频采集需求场合中,视频设备驱动或者其他相关设备驱动的开发有着一定的参考价值。
[1]Meier R.Professional Android Application Develop[M].WROX PR/PEER INFORMATION INC,2009.
[2]Jakie.Anatomy-Physiology-of-an-Androidpdf.[EB/OL].US:Jakie,2009.[2012].http://code.google.com/p/androidteam/dow nloads/list.
[3]韩超,梁泉.Android系统原理及开发要点详解[M].北京:电子工业出版社,2009.
[4]Michael H Schimek V4L2 API Specification (Revision 0.24)[EB/OL].US:Michael H Schimek,1999-2008.[2012].http://v4l2spec.bytesex.org/spec-single/v4l2.htm l.
[5](美)拉芙,陈莉君(译).Linux内核设计与实现[M].2版.北京:机械工业出版社,2006.
[6]Wolfgang Mauerer.Professional Linux Kernel Architecture[M].WROX PR/PEERINFORMATION INC,2008.
[7]宋宝华.LINUX设备驱动开发详解[M].北京:人民邮电出版社,2008.
[8]Sreekrishnan Venkateswaran.Essential Linux Device Drivers[M].Prentice Hall,2009.
[9]Aptina std MT9E013 DataSheet[Eb/OL].US:Aptina.2012[2012].http://www.aptina.com/products/image_senors/mt9e013 d00stc/.