原理图参考——RK3399

0 引言作为目标检测领域里的一个较为重要的一个分支,固定背景下的行人检测在视频监控等方面得到广泛的应用。

经过几十年的不断发展,从人工特征工程到机器学习特征工程,从人工设计模板发展为端到端深度学习,在检测精度上有了很大的提高。

同时在当前检测精度尚可的情况下,研究更多的关注点是在有限的条件下拥有更少的计算量,更快的预测速度。

YOLO [1]将检测任务视为回归任务进行处理,在基础骨干网络相同的情况下,有着更快的预测速度。

通过借鉴YOLO这一思想,保障了预测的Benchmark速度。

但在部署到嵌入式端时(如RK3399平台),发现如若不对骨干特征提取网络进行更改,依旧难于达到实时预测,由此引出本文。

1 行人检测与网络训练1.1 改进的网络设计为了能达到实时性目的,并结合实际数据目标特征,对特征提取网络进行大幅度修改。

相比于YOLO_v1/2/3的精简版(Tiny)还要精简。

取消了上采样层与叠加层,只保留了卷积层和最大池化层。

骨干特征提取网络层数缩减到只有8层,远小于YOLO_v1-Tiny的15层,YOLO_v2-Tiny的15层,YOLO_v3-Tiny的20层。

同时,为了衡量网络模型复杂度,从计算量与参数量这两个指标进行评价,如图1所示,本文模型相比于YOLO_v2/3-Tiny分别是后者的～12.4%和～11.7%,甚至相比于YOLO_v1-Tiny而言分别是后者的9.66%和5.86%。

骨干特征提取网络的更简单,为在开发板上达到实时性要求打下了良好的基础。

在设计特征提取网络时,考虑到计算量这一条件限制,并没有使用小卷积核将网络加深的方式来获取更大的感受野与更少的参数量[2],而是通过增大卷积核大小与步长的方式,这样做的目的一方面是增加卷积核感受野。

另一方面是将特征图尺寸快速降下来,减少后续的计算量。

同时,低层特征卷积核个数设计得并不多,原因是根据对数据集的观察,发现小纹理并不丰富。

丰富的是高层网络的上下文。

RockchipIO-Domain开发指南发布版本:1.0日期:2016.06前言概述产品版本读者对象本文档（本指南）主要适用于以下工程师：技术支持工程师软件开发工程师修订记录目录1电源域设置.................................................................................................. 1-11.1驱动文件与DTS节点：......................................................................... 1-11.2 使用IO-Domain驱动好处：...................................................................... 1-1 2如何配置电源域 ............................................................................................ 2-1 3无PMIC情况如何处理.................................................................................... 3-1 4总结.......................................................................................................... 4-11电源域设置1.1驱动文件与DTS节点：驱动文件所在位置：drivers/power/avs/rockchip-io-domain.cDts节点：io-domains {compatible = "rockchip,rk3399-io-voltage-domain";rockchip,grf = <&grf>;bt656-supply = <&vcc1v8_dvp>;audio-supply = <&vcca1v8_codec>;sdmmc-supply = <&vcc_sd>;gpio1830-supply = <&vcc_3v0>;};pmu-io-domains {compatible = "rockchip,rk3399-pmu-io-voltage-domain";rockchip,grf = <&pmugrf>;pmu1830-supply = <&vcc_1v8>;};1.2使用IO-Domain驱动好处：1.在IO-Domain的DTS节点统一配置电压域，不需要每个驱动都去配置一次，便于管理；2.依照的是Upstream的做法，以后如果需要Upstream比较方便；3.IO-Domain的驱动支持运行过程中动态调整电压域，例如PMIC的某个Regulator可以1.8v和3.3v的动态切换，一旦Regulator电压发生改变，会通知IO-Domain驱动去重新设置电压域。

深圳双芯信息科技有限公司CTF3399产品规格书版本：V1.1发布日期：2019.07.30改版日期：目录第一章概述 (4)1.产品概述 (4)2.硬件特点 (4)3.硬件规格 (5)第二章产品说明 (6)1.外观图样 (6)2.PCB结构 (6)3.硬件接口说明 (7)1)电源按键接口 (7)2)电源输入接口 (7)3)显示屏背光控制接口 (7)4)背光电源选项跳线 (8)5)SATA硬盘电源接口 (8)6)SPI/UART接口 (8)7)I2S总线信号输出 (8)8)功放输出选择跳线 (9)9)音频光纤输出接口 (9)10)LVDS显示屏接口 (9)11)LVDS电源选项跳线 (10)12)遥控接收接口和工作指示灯 (11)13)外接喇叭接口 (11)14)复位/升级按键接口 (11)15)触摸屏接口*1 (11)16)I/O控制接口 (12)17)串口插座接口1 (12)18)串口插座接口2 (12)19)串口插座接口3 (12)20)I2C接口 (13)21)串口接口电源选择跳线 (13)22)BAT1RTC电池接口 (13)23)USB1插座接口 (13)24)USB2~3插座接口 (13)25)USB4~6插座接口 (14)26)USB7插座接口 (14)27)耳机MIC功能选择跳线 (14)28)MIC输入插针 (14)29)其它一些标准接口以及功能 (14)4.电气性能 (15)缩略语：DDR Double Data Rate双倍速率同步动态随机存储器DP DisplayPort显示接口eDP Embedded DisplayPort嵌入式数码音视讯传输接口eMMC Embedded Multi Media Card内嵌式多媒体存储卡HDMI High Definition Multimedia Interface高清晰度多媒体接口I2C Inter-Integrated Circuit内部整合电路(两线式串行通讯总线)JTAG Joint Test Action Group联合测试行为组织定义的一种国际标准测试协议（IEEE1149.1兼容）LDO Low Drop Out Linear Regulator低压差线性稳压器LVDS Low-Voltage Differential Signaling低电压差分信号MAC Media Access Control以太网媒体接入控制器MIPI Mobile Industry Processor Interface移动产业处理器接口PCIe Peripheral Component Interconnect-外设组件互联标准expressPMIC Power Management IC电源管理芯片PMU Power Management Unit电源管理单元RK Rockchip Electronics Co.,Ltd.瑞芯微电子股份有限公司SD Card Secure Digital Memory Card安全数码卡SDIO Secure Digital Input and Output Card安全数字输入输出卡SDMMC Secure Digital Multi Media Card安全数字多媒体存储卡SPDIF Sony/Philips Digital Interface Format SONY、PHILIPS数字音频接口SPI Serial Peripheral Interface串行外设接口TF Card Micro SD Card(Trans-flash Card)外置记忆卡Type-C USB TYPE-C USB3.0定义的一种接口标准USB Universal Serial Bus通用串行总线VR Virtual Reality虚拟现实第一章概述1.产品概述RK3399是基于大小核架构的低功耗高性能64bit处理器，可应用于计算机、手机、个人移动互联网、数字多媒体设备、网络播放器、智能商显、智能自助终端、智能工控、电子班牌、嵌入式AI（人工智能）、机器人、AR/VR增加现实及虚拟现实、视频会议系统、电子白板、无人机地控、离线翻译机，人脸识别闸机等产品及领域。

RK系列以太⽹卡驱动学习笔记RK系列芯⽚已经内置了以太⽹控制器，所以只需要搭配⼀颗以太⽹ PHY 芯⽚就可以实现以太⽹功能！所以不管是PHY ⼚家有多少，基本的功能是都是使⽤ RK 的驱动配置基本就可以实现，就是调⽤RK 的通⽤的驱动接⼝。

10/100M以太⽹ PHY 与 MAC 之间的接⼝主要有 MII 和 RMII。

⽽10/100/1000M 以太⽹ PHY 与MAC 之间的接⼝主要有 RGMII。

在⽤的⽐较多的 RK3288 RK3399 的芯⽚上⾯都是⽀持 RMII 和 RGMII 接⼝的，也就是都可以⽀持 100 M ⽹卡，或者 1000M⽹卡⼀、RK系列以外⽹卡驱动调试1、查看以太⽹设备是否打开；Device Drivers ->[*] Network device support ->-*- PHY Device support and infrastructure-><*> Driver for Rockchip Ethernet PHYs2、修改 dts ⽂件，看你是⽀持什么接⼝的，也就是你只有 100 M ⽹卡，还是 1000M ⽹卡即可。

修改 Y:\RK3399\kernel\arch\arm64\boot\dts\rockchip\ rgf-rk3399.dts3、千兆⽹（1000M PHY）配置clkin_gmac: external-gmac-clock {compatible = "fixed-clock";clock-frequency = <125000000>; /* PHY供给GMAC的时钟⼤⼩ */clock-output-names = "clkin_gmac";#clock-cells = <0>;};&gmac {phy-supply = <&vcc_phy>; /* PHY供电 */phy-mode = "rgmii"; /* PHY接⼝ */clock_in_out = "input"; /*时钟⽅向 */snps,reset-gpio = <&gpio3 15 GPIO_ACTIVE_LOW>; /* 复位IO及有效电平 */snps,reset-active-low;snps,reset-delays-us = <0 10000 50000>;assigned-clocks = <&cru SCLK_RMII_SRC>;assigned-clock-parents = <&clkin_gmac>;pinctrl-names = "default";pinctrl-0 = <&rgmii_pins>;tx_delay = <0x28>; /* TX线上的延时值 */ rx_delay = <0x11>; /* RX线上的延时值 */ status = "okay";};查看原理图⾥供电、复位脚是否正确PMUPHY_RST然后就可以查看⽹卡是否存在rk3399:/ # ifconfig4、百兆⽹（100M PHY）配置clkin_gmac: external-gmac-clock {compatible = "fixed-clock";clock-frequency = <50000000>; //时钟 100M 使⽤ rmii 接⼝固定是50Mclock-output-names = "clkin_gmac";#clock-cells = <0>;};&gmac {phy-supply = <&vcc_phy>;phy-mode = "rmii"; // 说明接⼝是什么 PHYclock_in_out = "output"; // 是 output 的时候，就由 RK芯⽚提供 50M，1000M 的是 inputsnps,reset-gpio = <&gpio3 15 GPIO_ACTIVE_LOW>; // 硬件接⼝看原理图 snps,reset-active-low;snps,reset-delays-us = <0 10000 50000>;assigned-clocks = <&cru SCLK_RMII_SRC>;assigned-clock-parents = <&clkin_gmac>;pinctrl-names = "default";pinctrl-0 = <&rgmii_pins>;。

RK3399Pro∙Dual-core Cortex-A72 up to 2.0GHzQuad-core Cortex-A53 up to 1.5GHz∙NPU up to 2.4TOPS∙Mali-T860MP4 GPU∙Dual-channel DDR3/DDR3L/LPDDR3/LPDDR4∙4K UHD H265/H264/VP9∙HDR10/HLG∙H264 encoder∙Dual MIPI CSI and ISP∙USB Type-C详细参数CPU•双Cortex-A72+四Cortex-A53 大小核CPU结构•频率最高2.0GHzGPU • Mali-T860MP4 GPU，支持OpenGL ES1.1/2.0/3.0/3.1, OpenVG1.1, OpenCL, DX11•支持AFBC（帧缓冲压缩）NPU • 支持8bit/16bit运算•支持TensorFlow、Caffe模型内存• 双通道DDR3-1866/DDR3L-1866/LPDDR3-1866/LPDDR4 •支持eMMC 5.1，SDIO3.0多媒体• 支持4K VP9 and 4K 10bits H265/H264 视频解码，高达60fps• 1080P 多格式视频解码(VC-1, MPEG-1/2/4, VP8)• 1080P 视频编码，支持H.264，VP8格式• 视频后期处理器：反交错、去噪、边缘/细节/色彩优化显示• 双VOP显示：分辨率分别支持4096x2160 及2560x1600 • 支持双通道MIPI-DSI （每通道4线）• 显示支持：eDP 1.3（4 线，10.8Gbps）• HDMI 2.0支持4K 60Hz显示，支持HDCP 1.4/2.2 • 支持DisplayPort 1.2 (4 线，最高支持4K 60Hz)• 支持Rec.2020和Rec.709色域转换接口• 双ISP像素处理能力高达13MPix/s，支持双路摄像头数据同时输入• 支持USB3.0 Type-C接口• 支持PCIe 2.1 (4 full-duplex lanes ) • 内置低功耗MCU• 支持8路数字麦克风阵列输入。

RK3399W V1.0智能工控主板之阿布丰王创作规格书文档修改历史目录第一章产品概述31.1适用范围31.2产品概述31.3产品特点31.4外观及接口示意图4第二章基本功能列表6第三章 PCB尺寸和接口规划83.1PCB尺寸图83.2接口参数说明9第四章电气性能20第五章组装使用注意事项21第一章产品概述1.1 RK3399W适用范围RK3399W属于商显智能自助终端主板，普遍适用于：互动广告机、互动数字标牌、智能自助终端、智能零售终端、O2O智能设备、工控主机、机器人设备等。

1.2 产品概述RK3399W采取瑞芯微RK3399 （双CortexA72大核+四 CortexA53小核）六核64位超强CPU，搭载Android7.1系统，主频高达2 GHz。

采取MaliT860MP4 GPU，支持4K、H.265硬解码。

多路视频输出和输入，性能更强，速度更快，接口更丰富，是您在人机交互、智能终端、工控项目上的最佳选择。

1.3 产品特点◆RK3399超强CPU搭载Android 7.1系统，速度更快，性能更强。

◆支持5G和2.4GWIFI,独立双天线。

◆双网口设计，支持1000M网口+100M网口。

◆内置PCIE 3G/4G模块接口.支持华为、中兴、龙尚等多种PCIE3G/4G模块,支持上网和通话.◆丰富的扩展接口.6个USB接口(1路USB3.0 OTG，1路USB Host 1路+3路HUB，1路TYPE C),1路485接口，4路可扩展串口（2路TTL，2路RS232）,GPIO及ADC接口，可以满足市场上各种外设的要求。

◆高清晰度。

最大支持3840x2160的4K解码，支持LVDS/eDP/HDMIOUT/HDMI IN等接口的LCD显示屏、裁剪屏，支持双屏异显.◆支持Android系统定制，提供系统调用接口API 参考代码，完美支持客户上层应用APP开发。

◆完美支持红外、光学、电容、电阻、触摸膜等多种主流触摸屏，支持免驱触摸屏的HID配置，无需调试。

24ELECTRONIC ENGINEERING & PRODUCT WORLD 2023.7电子产品世界基于RK3399的AI摄像头软硬件设计Software and hardware design of AI camera based on RK3399周胜杰 （深圳康佳电子科技有限公司，深圳 518057）摘 要：本文设计一款基于RK3399方案的AI 摄像头，主控采用瑞芯微RK3399，传感器索尼IMX335，摄像头通过USB 接口直连电视，实现4K 高清呈现。

支持UVC 协议，具有行人追踪功能。

关键词：AI 摄像头；RK3399；IMX335；UVC 协议随着智能电视的普及和家庭视频会议、家庭娱乐健身的需求，本文开发了一款基基于RK3399方案的AI 摄像头，通过USB 连接线直连智能电视，即可实现AI 摄像头和智能电视连接，满足人们家庭视频会议、家庭娱乐健身的需求，AI 摄像头应用系统见图1。

图1 AI摄像头应用系统框图1 整机系统方案整体系统方案将索尼IMX335采集图像信息输入到海思RK3399中，RK3399对图像进行编解码后经过USB 接口输入到电视，电视显示图像，并通过IO 口控制电机，实现AI 摄像头的升降。

为了防止升降电机体验效果不佳，预留反馈电路，整机系统方案见图2。

2 硬件系统设计硬件主控采用RK3399方案，传感器使用索尼IMX335，硬件系统框图见图3。

RK3399芯片是一款低功耗、高性能的处理器，集成双核Cortex -A72+四核Cortex -A53 CPU ，集成ARM NEON 技术，可增强较多的多媒体应用体验。

另外集成高性能Mali -T860 MP4 GPU ，嵌入式3D GPU 使RK3399完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1，并且带有MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。

瑞芯微RK3399芯片开发板香橙派4的HDMI音频播放功能
测试（Linux系统）
瑞芯微RK3399芯片开发板香橙派OrangePi 4(16G)用拥有4G内存16G存储，集成双频WiFi、蓝牙5.0、HDMI输出、千兆网口、USB接口等丰富的功能接口，支持双摄像头输入和两路视频输出，是一款高性能的开源单板电脑。

本文要介绍的是常用的HDMI输出端口在Linux系统下音频播放功能测试。

1) 首先使用 HDMI 线将 Orange Pi 4开发板连接到电视机上（其他的 HDMI 显示器需要确保可以播放音频）
2) 上传需要播放的音频文件到linux 系统的/root 文件夹中，在Ubuntu PC 中可以使用 scp 命令上传(命令中的 IP 地址为 Orange Pi 开发板的 IP 地址)，或者使用U盘拷贝
3) HDMI 音频播放无需其他设置，直接使用 aplay 命令播放即可。

搭载RK3399，⽐树莓派更强俗话说，⽊秀于林，风必摧之!成为⾏业标杆也是有风险的。

按照许多媒体的说法，苹果⼿机正在滑坡。

且不论这个结论是否属实，国内众多⼿机⼚商⽆不标榜以超越⽔果为荣。

锤⼦如此，联想如此，哪怕只要是其中⼀个参数或是⼀个指标，统统⽤放⼤镜放⼤了给观众看，你⽅唱罢我登场，热闹⽆⽐。

其实在嵌⼊式⾏业，做为SBC领头⽺的树莓派，也正承受着类似的冲击。

其实除了蹭热度之外，许多产品确实也有过⼈之处。

今天的主⾓是来⾃FriendlyArm的产品NanoPC-T4(下⽂简称T4)。

T4是⼀款基于RK3399的⼀体化主板，同时也是⼀款完全开源的⾼性能计算平台。

它的尺⼨只有100x64mm，标配4GB LPDDR3内存和16GB闪存, 板载2.4G & 5G双频WiFi模组, 带有标准完整的M.2 PCIe接⼝, 可直接安装使⽤NVME SSD⾼速固态硬盘。

NanoPC-T4⽀持运⾏Android 7.1和Lubuntu Desktop两种系统，它们均带有GPU和VPU加速处理。

T4的其它主要特性还包括MIPI-CSI双摄像头接⼝, MIPI-DSI和eDP双显⽰接⼝, HDMI 2.0视频输出⼝，并具备Type-C/DP，USB 3.0, USB2.0，MicroSD, 千兆以太⽹⼝，3.5mm⾳频输出⼝，红外接收等常见标准接⼝，以及AD输⼊，调试串⼝，40Pin树莓派兼容扩展⼝。

⾄于GPU使⽤的则是新⼀代⾼端图像处理器Mali-T860, 具有超强的3D处理和超⾼清H.265/H2.64视频解析能⼒，并可⽀持双路摄像头同时输⼊，双ISP像素处理能⼒⾼达800MPix/s。

NanoPC-T4⾮常适合⼴告机，游戏主机，视频会议，智能监控，集群计算，虚拟现实，机器视觉和计算机视觉等⽅⾯的应⽤，并且是⼈⼯智能和深度学习平台的绝佳选择!T4不仅性能强劲，同时也集成了丰富的扩展接⼝，可以说，该有的都有了。

Android6.0RK3399PCIe接⼝4G模块EC20调试记录·Younix’sSt。

Platform: RK3399OS: Android 6.0Kernel: 4.4Version: v2017.044G Module: EC20-CE[TOC]⼀、基本概念1. USB 部分的功能接⼝Quectel 3G/4G模块（UMTS/HSPA/LTE）的 USB 部分包括了⼏个不同的功能接⼝。

USB SerialttyUSB0 代表 DMttyUSB1 代表 GPS NMEA （GPS导航设备统⼀的RTCM标准协议）信息输出ttyUSB2 代表 AT commandsttyUSB3 代表 PPP 连接GobiNet在移植了 GobiNet 驱动后，会产⽣⼀个⽹络设备和⼀个 QMI channel。

⽹络设备叫做 ethX（在内核版本2.6.39前叫做 usbX）QMI channel 叫做 /dev/qcqmiX 的节点。

⽹络设备⽤来进⾏数据传输，QMI 通道⽤来进⾏ QMI 信息交互。

Qualcomm Gobi is a family of embedded mobile broadband modem products by Qualcomm. Gobi technology was designed to allow for any product with the embedded solution to connect to the internet anywhere a wireless carrier provides data coverage. One of the more notable products that contain a Gobi modem is the iPhone 4 for Verizon, which contains a MDM6600™, however it does not take advantage of the support for HSPA+QMI WWAN当移植了 QMI WWAN 驱动后，驱动将会创建⽹络设备和 QMI channel，⽹络设备被称作 wwanX，QMI 通道被命名为 /dev/cdc-wdmX。