Android Camera HAL开发文档-2012.1.30

Android：CameraHAL3的参数传递（CameraMetadata）⼀、camera_metadata简介 Camera API2/HAL3架构下使⽤了全新的CameraMetadata结构取代了之前的SetParameter/Paramters等操作，实现了Java到native到HAL3的参数传递。

引⼊了管道的概念将安卓设备和摄像头之间联系起来，系统向摄像头发送 Capture 请求，⽽摄像头会返回CameraMetadata，这⼀切建⽴在⼀个叫作 CameraCaptureSession 的会话中。

⼆、Framework到HAL层的转换 Camera2Client 使⽤ API1 传递参数采⽤的逻辑是还是在Java层预留了setParameters接⼝，只是当Parameter在设置时⽐起CameraClient⽽⾔，是将这个Parameter根据不同的TAG形式直接绑定到CameraMetadatamPreviewRequest/mRecordRequest/mCaptureRequest中，这些数据会由Capture_Request转为camera3_capture_request中的camera_metadata_t settings完成参数从Java到native到HAL3的传递。

但是在Camera API2下，不再需要那么复杂的转换过程，在Java层中直接对参数进⾏设置并将其封装到Capture_Request即可，即参数控制由Java层来完成。

这也体现了API2中Request和Result在APP中就⼤量存在的原因。

对此为了和Framework Native层相关TAG数据的统⼀，在Java层中⼤量出现的参数设置是通过Section Tag的name来交由Native完成转换⽣成在Java层的TAG。

（1）Java层对应代码位置：frameworks\base\core\java\android\hardware\camera2\impl\CameraMetadataNative.javaprivate <T> T getBase(Key<T> key) {int tag = nativeGetTagFromKeyLocal(key.getName());byte[] values = readValues(tag);if (values == null) {// If the key returns null, use the fallback key if exists.// This is to support old key names for the newly published keys.if (key.mFallbackName == null) {return null;}tag = nativeGetTagFromKeyLocal(key.mFallbackName);values = readValues(tag);if (values == null) {return null;}}int nativeType = nativeGetTypeFromTagLocal(tag);Marshaler<T> marshaler = getMarshalerForKey(key, nativeType);ByteBuffer buffer = ByteBuffer.wrap(values).order(ByteOrder.nativeOrder());return marshaler.unmarshal(buffer);}（2）Native层对应代码位置：frameworks/base/core/jni/android_hardware_camera2_CameraMetadata.cppstatic const JNINativeMethod gCameraMetadataMethods[] = {// static methods{ "nativeGetTagFromKey","(Ljava/lang/String;J)I",(void *)CameraMetadata_getTagFromKey },{ "nativeGetTypeFromTag","(IJ)I",(void *)CameraMetadata_getTypeFromTag },{ "nativeSetupGlobalVendorTagDescriptor","()I",(void*)CameraMetadata_setupGlobalVendorTagDescriptor },// instance methods...... 其中CameraMetadata_getTagFromKey是实现将⼀个Java层的string转为⼀个tag的值，如：android.control.mode。

CameraHardwareStub学习＆CameraHAL设计初步CameraHardwareStub是Android提供的一个fake camera工具。

其代码主要包含三个部分：init、preview和picture。

1、InitCameraHardwareStub()（）构造函数|initDefaultParameters()|setParameters(const CameraParameters& params)|initHeapLocked(){mRawHeap = new MemoryHeapBase(picture_width * 2 * picture_height);mPreviewHeap = new MemoryHeapBase(mPreviewFrameSize * kBufferCount);mBuffers[i] = new MemoryBase(mPreviewHeap, i * mPreviewFrameSize, mPreviewFrameSize);mFakeCamera = new FakeCamera(preview_width, preview_height);}2、PreviewstartPreview()|PreviewThread(this)|previewThread(){mlockinit...munlockfakeCamera->getNextFrameAsYuv422(frame);}3、PicturePicture又可以分为autofocus和picture两个部分，autofocus 暂时不看，无法实现。

takePicture()|beginPictureThread(void *cookie)|pictureThread(){case CAMERA_MSG_RAW_IMAGEcam.getNextFrameAsYuv422((uint8_t *)mRawHeap->base());case CAMERA_MSG_COMPRESSED_IMAGEmemcpy(heap->base(), kCannedJpeg, kCannedJpegSize);}4、FakeCamera.cpp中，除了本身的构造函数，只有getNextFrameAsYuv422经常被调用，所以如果从真实摄像头获取一帧数据，应该也可以。

android camera HAL v3.0详细介绍（二）android camera HAL v3.0详细介绍（二）2015-12-21 11:11412人阅读评论(0)收藏举报分类：android camera（20）3.Startup and expected operation sequence这段描述了使用camera API的详细步骤。

其中涉及到的结构体和函数请参考文件：platform/hardware/libhardware/include/hardware/camera3. h1. Framework层调用函数camera_module_t-&gt;common.open()，将返回一个hardware_device_t类型的结构体。

2. Framework层检查字段hardware_device_t-&gt;version，根据版本信息，实例化一个适合这个版本的camera硬件设备的句柄。

例如版本号是CAMERA_DEVICE_API_VERSION_3_0，则这个设备将被转化为camera3_device_t。

3. Framework层调用函数camera3_device_t-&gt;ops-&gt;initialize()，并传递了framework层的回调函数指针。

这个函数只能被调用一次，且在调用函数open()之后，在其他函数被调用之前。

4. Framework层调用函数camera3_device_t-&gt;ops-&gt;configure_streams()，向这个HAL层设备传递了输入输出的流信息。

5. Framework层分配grallocbuffer；调用函数camera3_device_t-&gt;ops-&gt;register_stream_buffers()，至少使用一个configure_streams中列举的输出流。

AndroidCameraManager类详解本⽂实例为⼤家分享了Android CameraManager类的具体代码，供⼤家参考，具体内容如下先看代码：private SurfaceView mSurfaceView;private SurfaceHolder mSurfaceHolder;private CameraManager cameraManager;cameraManager = new CameraManager(this);mSurfaceView = (SurfaceView) findViewById(R.id.java_surface_view);mSurfaceHolder = mSurfaceView.getHolder();// mSurfaceView 不需要⾃⼰的缓冲区mSurfaceHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);// mSurfaceView添加回调mSurfaceHolder.addCallback(new SurfaceHolder.Callback() {@Overridepublic void surfaceCreated(SurfaceHolder holder) { //SurfaceView创建try {cameraManager.openDriver(mSurfaceHolder);cameraManager.startPreview();} catch (IOException e) {e.printStackTrace();}}@Overridepublic void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {}@Overridepublic void surfaceDestroyed(SurfaceHolder holder) { //SurfaceView销毁holder.removeCallback(this); // Camera is being used after Camera.release() was calledcameraManager.stopPreview();cameraManager.closeDriver();}});⾃定义⼀个 CameraManager 类，在关闭当前页⾯，释放camera资源时偶尔报错Camera is being used after Camera.release() was called第⼀次，加了⼀句 holder.removeCallback(this); 运⾏发现还是时不时出现报错。

AndroidCameraHal类图分析先看⼀下CameraHAL整体的类图。

很乱，我们⼀块⼀块的看。

第⼀部分，CameraAdapter的继承关系：V4LCameraAdapter： V4LCameraAdapter是处于最底层的类，他负责跟硬件的通讯，并且实现了⼤部分的控制功能。

V4LCameraAdapter内部定义了PreviewThread线程。

V4LCameraAdapter的mVideoinfo实现了对VideoInfo的引⽤，⽽VideoInfo定义了Camera Video的相关信息。

BaseCameraAdapter： BaseCameraAdapter实现了MessageNotifier及FrameNotifier的全部接⼝，及⼀些不需要与硬件交互的接⼝。

⽽下列接⼝都由V4LCameraAdapter实现： takePicture [android::BaseCameraAdapter] stopImageCapture [android::BaseCameraAdapter] startBracketing [android::BaseCameraAdapter] stopBracketing [android::BaseCameraAdapter] beginAutoFocusThread [android] autoFocus [android::BaseCameraAdapter] cancelAutoFocus [android::BaseCameraAdapter] startSmoothZoom [android::BaseCameraAdapter] stopSmoothZoom [android::BaseCameraAdapter] startPreview [android::BaseCameraAdapter] stopPreview [android::BaseCameraAdapter] useBuffers [android::BaseCameraAdapter] fillThisBuffer [android::BaseCameraAdapter] getFrameSize [android::BaseCameraAdapter] getFrameDataSize [android::BaseCameraAdapter] getPictureBufferSize [android::BaseCameraAdapter] startFaceDetection [android::BaseCameraAdapter] stopFaceDetection [android::BaseCameraAdapter] switchToExecuting [android::BaseCameraAdapter] disableMirror [android::BaseCameraAdapter] BaseCameraAdapter定义了两个消息队列mFrameQ及mAdapterQ，但这两个消息队列没有被使⽤到。

Android的Camera架构介绍1.1 Camera概述Android 的Camera 包含取景器（viewfinder）和拍摄照片的功能。

目前Android发布版的Camera程序虽然功能比较简单，但是其程序的架构分成客户端和服务器两个部分，它们建立在Android的进程间通讯Binder的结构上。

以开源的Android为例，Camera的代码主要在以下的目录中：Camera的JAVA程序的路径：packages/apps/Camera/src/com/android/camera/在其中Camera.java是主要实现的文件frameworks/base/core/java/android/hardware/Camera.java这个类是和JNI中定义的类是一个，有些方法通过JNI的方式调用本地代码得到，有些方法自己实现。

Camera的JAVA本地调用部分（JNI）：frameworks/base/core/jni/android_hardware_Camera.cpp这部分内容编译成为目标是libandroid_runtime.so。

主要的头文件在以下的目录中：frameworks/base/include/ui/Camera底层库在以下的目录中：frameworks/base/libs/ui/这部分的内容被编译成库libui.so。

Camera服务部分：frameworks/base/camera/libcameraservice/这部分内容被编译成库libcameraservice.so。

为了实现一个具体功能的Camera，在最底层还需要一个硬件相关的Camer库（例如通过调用video for linux驱动程序和Jpeg编码程序实现）。

这个库将被Camera的服务库libcameraservice.so调用。

1.2 Camera的接口与架构Camera的整体框架图Camera的各个库之间的结构可以用下图的表示：在Camera系统的各个库中，libui.so位于核心的位置，它对上层的提供的接口主要是Camera类，类libandroid_runtime.so通过调用Camera类提供对JAVA的接口，并且实现了android.hardware.camera类。

AndroidCameraHAL3分析剖析1Android Camera HAL3 分析本⽂均属⾃⼰阅读源码的点滴总结，转账请注明出处谢谢。

欢迎和⼤家交流。

qq:1037701636email:gzzaigcn2009@/doc/f6376fb26394dd88d0d233d4b14e852459fb396f.htmlSoftware ：系统源码Android 5.1Camera3研读前沿：当初在研读Camera1.0相关的内容时，主要围绕着CameraClient 、CameraHardwareInterface 等⽅⾯进⾏⼯作的开展，⽆论是数据流还是控制流看起来都很简单、明了，⼀系列的流程化操作使得整个框架学起来特别的容易。

因为没有Camera2.0相关的基础，所以这次直接看3.0相关的源码时，显得⼗分的吃紧，再加上底层⾼通HAL3.0实现的过程也是相当的复杂，都给整个研读过程带来了很多的困难。

可以说，⾃⾝⽬前对Camera3.0框架的熟悉度也⼤概只有70%左右，希望通过总结来进⼀步梳理他的⼯作原理与整个框架，并进⼀步熟悉与加深理解。

1.Camera3下的整体架构图。

整个CameraService 建⽴起⼀个可⽤操作底层Camera device ⼤致需要经过Camera2Client 、Camera3Device 以及HAL 层的camera3_device_t 三个部分。

2从上图中可以发现Camera3架构看上去明显⽐camera1来的复杂，但他更加的模块化。

对⽐起Android4.2.2 Camer 系统架构图（HAL 和回调处理）⼀⽂中描述的单顺序执⾏流程，Camera3将更多的⼯作集中在了Framework 去完成，将更多的控制权掌握在⾃⼰的⼿⾥，从⽽与HAL 的交互的数据信息更少，也进⼀步减轻了⼀些在旧版本中HAL 层所需要做的事情。

2. Camera2Client 的建⽴与初始化过程在建⽴好Camera2Client 后会进⾏initialize 操作，完成各个处理模块的创建：123 .... mStreamingProcessor = new StreamingProcessor(this);//preview 和recorder threadName = String8::format(C2-%d-StreamProc,mCameraId);4 5 6 7 8 91011141516171819202122232425 mStreamingProcessor->run(threadName.string());//预览与录像mFrameProcessor = new FrameProcessor(mDevice, this);// 3AthreadName = String8::format(C2-%d-FrameProc,mCameraId);mFrameProcessor->run(threadName.string()); //3AmCaptureSequencer = new CaptureSequencer(this);threadName = String8::format(C2-%d-CaptureSeq,mCameraId);mCaptureSequencer->run(threadName.string());//录像，拍照mJpegProcessor = new JpegProcessor(this, mCaptureSequencer); threadName = String8::format(C2-%d-JpegProc, mCameraId);mJpegProcessor->run(threadName.string());....mCallbackProcessor = new CallbackProcessor(this);//回调处理threadName = String8::format(C2-%d-CallbkProc,mCameraId);mCallbackProcessor->run(threadName.string());依次分别创建了：StreamingProcessor并启动⼀个他所属的thread，该模块主要负责处理previews 与record两种视频流的处理，⽤于从hal层获取原始的视频数据FrameProcessor并启动⼀个thread，该模块专门⽤于处理回调回来的每⼀帧的3A等信息，即每⼀帧视频除去原始视频数据外，还应该有其他附加的数据信息，如3A值。

AndroidCamera详解相关的类1. android.hardware.camera22. Camera3. SurfaceView---这个类⽤于向⽤户呈现实时相机预览。

4. MediaRecorder---这个类⽤于从摄像机录制视频。

5. Intent---MediaStore.ACTION_IMAGE_CAPTURE或MediaStore.ACTION_VIDEO_CAPTURE可⽤于捕获图像或视频，⽽⽆需直接使⽤Camera对象。

清单声明在使⽤Camera API开始开发应⽤程序之前，应确保您的清单具有适当的声明，以允许使⽤相机硬件和其他相关功能。

相机权限 - 您的应⽤程序必须请求使⽤设备相机的权限。

<uses-permission android:name="android.permission.CAMERA" />注意：如果您通过调⽤现有的摄像头应⽤程序来使⽤摄像头，则应⽤程序不需要请求此权限。

相机功能 - 您的应⽤程序还必须声明使⽤相机功能，例如：<uses-feature android:name="android.hardware.camera" />存储权限 - 如果应⽤程序将图像或视频保存到设备的外部存储设备（SD卡），则还必须在清单中指定此选项。

<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />⾳频录制权限 - 对于使⽤视频捕获录制⾳频，应⽤程序必须请求获取⾳频捕获权限。

<uses-permission android:name="android.permission.RECORD_AUDIO" />创建⾃定义摄像头为应⽤程序创建⾃定义摄像头界⾯的⼀般步骤如下：1. 检测和访问摄像机 - 创建代码以检查摄像机是否存在并请求访问。

Android Camera HAL3中拍照Capture模式下多模块间的交互与帧Result与帧数据回调本文均属自己阅读源码的点滴总结，转账请注明出处谢谢。

欢迎和大家交流。

qq:1037701636 email:gzzaigcn2009@Software：系统源码Android5.1前沿：之前的两篇博文算是比较详细的记录了整个Camera3 HAL3架构下完全不同于HAL1的preview预览处理过程，包括主要涉及到的控制流和视频流等。

比较详细的阐述了Camera2Client下streamProcessor、CallbackProcessor、CaptureSequencer等模块在Camera3架构下的功能。

分析得出每个模块下均会在Camera3Device下以一个Stream的形式存在，而每个stream又是由多个buffer来构成主体的。

与HAL3进行数据的交互时，以Request和result来作为数据传输的载体。

在这些基础上本文将描述具体拍照Capture模式下的数据流和控制流，主要会涉及到jpegprocessor、CaptureSequencer这几个模块的工作原理。

鉴于Capture模式下的数据流更复杂，在这里重点会分析数据流result回传时，每个模块的响应以及处理过程，填补前一博文的空白。

1. HAL3中Camera2Client下的take picture的入口函数作为标准的capture picture功能的入口，主要完成了以下两件事情：updateProcessorStream(mJpegProcessor, l.mParameters); mCaptureSequencer->startCapture(msgType)对于JpegProcessor模块而言，他的stream流第一次是在preview阶段进行了create与初始化，这里之所以再次调用JpegProcessor::updateStream目的是参考原先JpegProcessor stream的width与height是否变化即是否照片要求的分辨率发生了变化，如果是的话就需要delete原先的stream，重新建立一个stream。

1Android Camera HAL3 分析本文均属自己阅读源码的点滴总结，转账请注明出处谢谢。

欢迎和大家交流。

qq:1037701636 email:gzzaigcn2009@Software ：系统源码Android 5.1Camera3研读前沿：当初在研读Camera1.0相关的内容时，主要围绕着CameraClient 、CameraHardwareInterface 等方面进行工作的开展，无论是数据流还是控制流看起来都很简单、明了，一系列的流程化操作使得整个框架学起来特别的容易。

因为没有Camera2.0相关的基础，所以这次直接看3.0相关的源码时，显得十分的吃紧，再加上底层高通HAL3.0实现的过程也是相当的复杂，都给整个研读过程带来了很多的困难。

可以说，自身目前对Camera3.0框架的熟悉度也大概只有70%左右，希望通过总结来进一步梳理他的工作原理与整个框架，并进一步熟悉与加深理解。

1.Camera3下的整体架构图。

整个CameraService 建立起一个可用操作底层Camera device 大致需要经过Camera2Client 、Camera3Device 以及HAL 层的camera3_device_t 三个部分。

2从上图中可以发现Camera3架构看上去明显比camera1来的复杂，但他更加的模块化。

对比起Android4.2.2 Camer 系统架构图（HAL 和回调处理）一文中描述的单顺序执行流程，Camera3将更多的工作集中在了Framework 去完成，将更多的控制权掌握在自己的手里，从而与HAL 的交互的数据信息更少，也进一步减轻了一些在旧版本中HAL 层所需要做的事情。

2. Camera2Client 的建立与初始化过程在建立好Camera2Client 后会进行initialize 操作，完成各个处理模块的创建： ?123 .... mStreamingProcessor = new StreamingProcessor(this);//preview 和recorder threadName = String8::format(C2-%d-StreamProc,mCameraId);4 5 6 7 8 910111213141516171819202122232425 mStreamingProcessor->run(threadName.string());//预览与录像mFrameProcessor = new FrameProcessor(mDevice, this);// 3AthreadName = String8::format(C2-%d-FrameProc,mCameraId);mFrameProcessor->run(threadName.string()); //3AmCaptureSequencer = new CaptureSequencer(this);threadName = String8::format(C2-%d-CaptureSeq,mCameraId);mCaptureSequencer->run(threadName.string());//录像，拍照mJpegProcessor = new JpegProcessor(this, mCaptureSequencer); threadName = String8::format(C2-%d-JpegProc,mCameraId);mJpegProcessor->run(threadName.string());....mCallbackProcessor = new CallbackProcessor(this);//回调处理threadName = String8::format(C2-%d-CallbkProc,mCameraId);mCallbackProcessor->run(threadName.string());依次分别创建了：StreamingProcessor并启动一个他所属的thread，该模块主要负责处理previews 与record两种视频流的处理，用于从hal层获取原始的视频数据FrameProcessor并启动一个thread，该模块专门用于处理回调回来的每一帧的3A等信息，即每一帧视频除去原始视频数据外，还应该有其他附加的数据信息，如3A值。