第３５卷１％ｋ３５第２４期
Ｎｏ．２４
计算机工程
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ
２００９年１≥月
Ｄｅｃｅｍｂｅｒ２００９
?工程应用技术与实现?文章■号ｔ１０００＿３４２８（２００９）２４珈２３争卅３文献标识码?Ａ中圈分类号ｌＮ９４５基于ＩＰ核的ＰＣＩＥｘｐｒｅｓｓ接口
徐天１．何道君２徐金甫１
（１．解放军信息工程大学电子技术学院，郑州４５０００４；２．北方信息技术研究所，北京１０００７２）
Ｉ耍：提出一种基于ＩＰ核的ＰＣＩＥｘｐｒｅｓｓ接口设计方案，采用分层的体系结构，具有高性能、高可靠性、软件兼容等特点。在Ｘｉｌｉｎｘ公司的ｘｃ５ｖｌｘ３０ｔＦＰＧＡ器件中，运用ＰＣＩＥｘｐｒｅｓｓ硬核端点模块，设计并实现了ＰＣＩＥｘｐｒｅｓｓ总线接口，同时在接口内部设计了ＤＭＡ控制器。仿真实验结果表明，该接１３能够有效提高总线的数据传输速率，充分发挥总线的性能。
关■诃：ＰＣＩＥｘｐｒｅｓｓ总线；现场可编程门阵列；ＤＭＡ控制器；ＩＰ核
ＰＣＩＥｘｐｒｅｓｓＩｎｔｅｒｆａｃｅＢａｓｅｄｏｎＩＰ－－ｃｏｒｅ
ＸＵＴｉａｎｌ，ＨＥＤａｏ－ｊｕｎ２，ＸＵＪｉｎ－ｆｕｌ
（１．ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ，ＰＬＡＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ４５０００４；
２．ＮｏｒｔｈＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＩｎｓｔｉｔｕｔｅ，Ｂｅｉｊｉｎｇ１０００７２）
［ＡｂｓｔｒａｅｔｌＡｄｅｓｉｇｎｓｃｈｅｍｅｆｏｒＰＣＩＥｘｐｒｅｓｓｉｎｔｅｒｆａｃｅｂａｓｅｄｏｎＩＰ－ｃｏｒｅｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｕｓｅｓｓｔｏｒｉｅｄｓｔｒｕｃｔｕｒｅａｎｄｈａｓｓｕｃｈｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｓｈｉｚｈｐｅｒｆｏｒｍａｎｃｅ．ｈｉｇｈｒｅｌｉａｂｉｌｉｔｙａｎｄｓｏＲｗａｒｅｃｏｍｐａｔｉｂｉｌｉｔｙ．ＴｈｅＰＣＩＥｘｐｒｅｓｓｂｕｓｉｎｔｅｒｆａｃｅｉｓｄｅｓｉｇｎｅｄａｎｄｉｍｐｌｅｍｅｎｔｅｄｂｙｕｓｉｎｇＰＣＩＥｘｐｒｅｓｓｅｎｄｐｏｉｎｔｂｌｏｃｋｈａｒｄＩＰ?ｃｏｒｅｉｎＸｉｌｉｎｘｘｃＳｖｌｘ３０ｔＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒＢｙ（ＦＰＧＡ、．ＡＤＭＡｃｏｎｔｒｏｌｌｅｒｉｓａｌｓｏｄｅｓｉｇｎｅｄｉｎｓｉｄｅｔｈｅｉｎｔｅｒｆａｃｅｌｏｇｉｃｃｉｒｃｕｉｔ．ＳｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈｉｓｉｎｔｅｒｆａｃｅｓｐｅｅｄｓｕｐｔｈｅｆｒｅｑｕｅｎｃｙｏｆｄａｔａｔｒａｎｓｆｅｒａｎｄｔｈｅｈｉｇｌｌｐｅｒｆｏｒｍａｎｃｅｏｆＰＣＩＥｘｐｒｅｓｓｂｕｓｉｓｄｅｍｏｎｓｔｒａｔｅｄａｄｅｑｕａｔｅｌｙ．
［Ｋｅｙｗｏｒｄｓ］ＰＣＩＥｘｐｒｅｓｓｂｕｓ；ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ（ＦＰＧＡ）；ＤＭＡｃｏｎｔｒｏｌｌｅｒ；ＩＰ?ＣＯｒｅ
现代测控系统和通信领域对数据传输速率的要求越来越高。相比ＰＣ中其他技术的发展，总线技术的发展显得相对缓慢，总线性能已经成为制约系统性能发挥的瓶颈。传统的ＩＳＡ，ＥＩＳＡ总线等已无法适应高速数据传输的要求，ＰＣＩ总线技术虽然经过了不断的修正和发展，但是由于它固有的缺陷，使其应用领域受到限制【ｌ】。ＰＣＩＥｘｐｒｅｓｓ总线以其优异的性能和低廉的造价引起了业界的广泛关注。具有广阔的应用前景。本文介绍ＰＣＩＥｘｐｒｅｓｓ总线接１３的设计方法，并实现一个基于ＩＰ核的ＰＣＩＥｘｐｒｅｓｓ总线接口。．
１ＰＣＩＥｘｐｒｅｓｓ总线倚介
ＰＣＩＥｘｐｒｅｓｓ总线ＩｚＪ是Ｉａｔｅｌ公司于１９９７年提出的第３代Ｉ，ｏ技术，是种全新的串行总线技术。与ＰＣＩ总线相比，ＰＣＩＥｘｐｒｅｓｓ总线具有以下特点：
（１）在数据传输模式上，ＰＣＩＥｘｐｒｅｓｓ总线采用双工串行传输模式，一条ＰＣＩＥｘｐｒｅｓｓ通道由２对ＬＶＤＳ差分线对组成：一对负责发送，另一对负责接收，单向数据传输速率为２．５Ｇｂ／ｓ。
（２）具有很好的灵活性，一个ＰＣＩＥｘｐｒｅｓｓ物理连接可以根据实际需要配置成Ｘｌ，ｘ２，×４，ｘ８，Ｘ１６，ｘ３２个并行的数据通道，满足不同设备之间通信带宽的要求。
（３）在软件层与ＰＣＩ总线完全兼容，原有ＰＣＩ总线的驱动程序可以完全移植到ＰＣＩＥｘｐｒｅｓｓ总线架构的系统中。
（４）串行连接采用自同步时钟技术，时钟内嵌于串行数据的８ｂｉｔ／１０ｂｉｔ编码中，可实现数据传输率的自适应调整。
ＰＣＩＥｘｐｒｅｓｓ协议定义了３层结构：物理层，数据链路层和事务层。每个层次按照协议中规定的内容，完成相应的数据处理功能。２ＰＣＩＥｘｐｒｅｓｓ接口设计方法
ＰＣＩＥｘｐｒｅｓｓ总线的接１３的设计方法大体有２种：使用专用接１３芯片或者使用可以实现ＰＣＩＥｘｐｒｅｓｓ物理接１３的可编程器件。
专用接１３芯片实现了ＰＣＩＥｘｐｒｅｓｓ总线的物理层、数据链路层和事务层的控制逻辑。例如，ＰＥＸ８３１１是ＰＬＸ公司推出的第１款本地总线到ＰＣＩＥｘｐｒｅｓｓｘＩ的桥接芯片１３珥ｌ，符合ＰＣＩＥｘｐｒｅｓｓ１．０规范，支持自动极性反转、ＣＲＣ校验、链路设备电源管理，具有直接主模式、直接从模式、ＤＭＡ和数据预取等功能。
使用ＰＥＸ８３１１实现ＰＣＩＥｘｐｒｅｓｓ接１３，用户仅需实现相对筒单的本地总线接口即可，降低了开发难度。但是这种方法受限于专用接口芯片的性能，用户无法根据自身的需求提升接口的性能。
可编程器件设计方案的基本思想是由ＦＰＧＡ实现ＰＣＩＥｘｐｒｅｓｓ的上层电路，利用Ｐｈｉｌｉｐ公司或ＴＩ公司提供的ＰＨＹ（物理层）器件实现物理层接１３，通常需要购买Ｘｉｌｉｎｘ公司或Ａｌｔｅｒａ公司提供的ＩＰ核与ＰＨＹ器件首己合使用。在有些ＦＰＧＡ产品中，集成有ＰＣＩＥｘｐｒｅｓｓ接Ｉ：１的硬核模块，可以采用相应的产品实现ＰＣＩＥｘｐｒｅｓｓ接１３的功能。例如，Ｘｉｌｉｎｘ公司Ｖｉｒｔｅｘ－５ＬＸＴ／ＳＸＴ／ＦＸＴ／ＴＸＴ系列ＦＰＧＡ器件中，集成有
柞者筲介：徐天（１９８２－－），男，助理工程师、硕士研究生，主研方向：专用集成电路设计应用，ＳＯＣ系统设计；何道君，高级工程师；徐金甫，副教授
收稿日期：２００９－０８－２０Ｅ－ｍａｉｌ：ｘｕｔｉａｎ＿１９８２＠１６３．ｏｏｍ
—＿２３９＿一
万方数据
ＰＣＩＦ，ｘｐｒｅｓｓ硬核端点模块，能够自动完成数据链路层和物理层的数据处理功能。采用这种方法，用户只需要设计处理事务层数据包的逻辑电路即可。还可以根据自己的需求，设计具有特殊功能的电路结构，发挥接口的性能，但是这种方法的开发难度较大，开发周期相对较长。
３ＰＣＩＥｘｐｒｅｓｓ接口实现
本设计采用Ｘｉｌｉｎｘ公司Ｖｉｒｔｅｘ．５系列ｘｃＳｖｌｘ３０ｔ芯片，使用该芯片内部的ＰＣＩＥｘｐｒｅｓｓＥｎｄｐｏｉｎｔ硬核端点模块，设计了处理事务层数据的逻辑电路，实现了计算机内存与用户逻辑之间数据的正确传输。其中，控制状态机的设计和ＤＭＡ控制器的设计是重点、难点，下面详细介绍具体的实现过程。３．１接口电路的设计
在接口电路中，ＰＣＩＥｘｐｒｅｓｓ物理层和数据链路层的电路采用Ｘｉｌｉｎｘ公司的ＰＣＩＥｘｐｒｅｓｓＥｎｄｐｏｉｎｔＢｌｏｃｋｐｌｕｓｖ１．５硬核端点模块实现，能够有效完成接Ｅｌ物理层和数据链路层的数据处理功能，提供给上层一个事务层数据接Ｉ：１。
上层电路主要由５部分电路构成，分别是核配置与辅助控制模块、数据发送控制器、数据接收控制器、数据输入ＦＩＦＯ和数据输出ＦＩＦＯ，如图ｌ所示，最终提供给用户ＦＩＦＯ类型的用户逻辑接口。
圈ｌＰＣ！Ｅｘｐｒｅｓｓ接口电麝结构
核配置与辅助控制模块与硬核端点模块紧密联系，完成硬核端点模块中通道宽度、时钟频率、设备号、版本号、存储空间类型与大小等一系列可控制参数的配置与一些基本功能的控制。
硬核端点模块提供的事务层数据接口为６４ｂｉｔ的数据发送接口和６４ｂｉｔ的数据接收接口以及控制数据发送和接收的一系列控制信号接口。数据接收控制器将收到的事务层包进行解析，根据数据包的类型进行相应的处理。数据发送控制器用于将所要发送的数据按照事务层包的格式进行封装后，发送到硬核端点模块。
数据输入ＦＩＦＯ和数据输出ＦＩＦＯ共同构成了数据通道，均为双端口ＦＩＦＯ，用于连接ＰＣＩＥｘｐｒｅｓｓ接Ｉ：ｌ和用户逻辑。数据输入ＦＩＦＯ用于保存从接口收到的数据；用户逻辑电路输出的数据保存到数据输出ＦＩＦＯ中后发送到接口电路。３．２控翻状态机的设计’
数据发送控制器和数据接收控制器负责事务层数据的封装和解析工作，是本设计中的关键电路模块。这两个模块均采用有限状态机方式进行设计，下面详细介绍这２个模块状态机的设计。
接收控制器从硬核端点模块中收到事务层包（ＴＬＰ），根据ＴＬＰ的格式，第５６ｂｉｔ－第６２ｂｉｔ为表示数据包类型的标志位。按照标志位中的信息，对ＴＬＰ的内容进行解析，进行相应的数据操作。所设计的状态机的状态转换图如图２所示，各个一２４伊一状态的说明如表１所示。
圈２接收控■器状态枫
表１接收控钊器状态说明
状态
ＲＸＲＳＴＳＴＡＴＥ
ＲＸＭＥＭＲＤ３２ＤＷｌＤＷ２
ＲＸＭＥＭＷＲ３２ＤＷｌＤＷ２
ＲＸＩＯＷＲＤＷｌＤＷ２‘
ＲＸＭＥＭＲＤ６４ＤＷｌＤＷ２
ＲＸＭＥＭＷＲ６４ＤＷｌＤＷ２
ＲＸＭＥＭＷＲ６４ＤＷ３
ＲＸＷＡＩＴＳＴＡＴＥ
｝兑明
状态机守闲状态
存储器读操作，３２ｂｉｔ模式，收到第ｌ和
第２个双字
存储器写操作，３２ｂｉｔ模式，收到第ｌ和
第２个双字
ＩＯ写操作，收到第１和第２十双字
存储器读操作。６４ｂｉｔ模式，收到第１和
第２个双字
存储器读操作，６４ｂｉｔ模式，收到第ｌ和
第２个双字
存储器写操作，“ｂｎ模式，收到第３个双字
状态机等待其他操作完成状态
系统复位后，接收控制器状态机处于空闲状态，等待接收数据包，收到ＴＬＰ后跳转到相应的状态进行存储器或者Ｉ／Ｏ的读写操作。在操作过程中，对存储器或者Ｉ／Ｏ的状态进行监控，如果目标设备没有准备好，则进入等待状态直到目标设备就绪。在存储器或者Ｉ／Ｏ的读写操作完成后，状态机又返回空闲状态。在各个状态中接收控制器产生相应的控制信号完成数据的写入以及对发送控制器的操作。
与接收控制器状态机相比，发送控制器状态机相对简单，只有３个状态，状态转换图见图３，各个状态的说明见表２。
圈３发送控■器状态机
裹２发送控翻器状态说明
状态’兑明
ＴＸＲＳＴＳＴＡＴＥ
ＴＸ——ＣＰＬＤ—．ＱｗＩ
ＴＸＣＰＬ．ＱＷＩ
状态机空闲状态
有载荷数据的发送状态
无载茼数据的发送状态
１系统复位后，发送控制器状态机处于复位状态。当从接收控制器收到发送数据的命令后，如果需要发送的是一个载荷数据，则将从存储器或者Ｉ／０中取出的载荷数据填充到ＴＬＰ
万方数据
中的相应位置后发送到端点模块；如果需要发送的只是一个响应或者标志信息，则直接封装成一个ＴＬＰ发送到端点模块。
３．３ＤＭＡ控倒器的设计一由于串行总线结构与传统的并行总线结构不同，因此存
储器的读写操作都是以数据包的形式传输。普通的读写操作一次最多只能进行６４ｂｉｔ数据的读写，使得总线多数时间处于等待状态，严苇影响了ＰＣＩＥｘｐｒｅｓｓ总线的数据传输速率。本文设计出相应的ＤＭＡ控制器，实现了ＤＭＡ方式的数据传输。
ＤＭＡ控制器的主要电路结构为１４个与ＤＭＡ操作相关
的寄存器，通过对这些控制寄存器的读写，设定ＤＭＡ方式数据读写操作的地址范围和数据大小，完成ＤＭＡ数据读写操作。这些寄存器的定义和功能描述如表３所示。
表３ＤＭＡ控翻寄存器说明
在设计了上述１４个ＤＭＡ控制寄存器后，接收控制器和发送控制器的状态机也要进行相应的调整，以适应ＤＭＡ操作的需要。在接收控制器状态机中加入了２个状态，分别用于接收数据传输过程中的第１个ＤＭＡ数据包和剩余的ＤＭＡ数据包。在发送控制器状态机中也加入了２个状态；分别用于发送数据传输过程中的第１个ＤＭＡ数据包和剩余的ＤＭＡ数据包。为了达到尽可能高的数据传输速率∥在接收和发送过程中都使用了６４ｂｉｔ数据传输模式。
在设计了如上所述的ＤＭＡ控制器后，ＰＣＩＥｘｐｒｅｓｓ总线接口就可以用ＤＭＡ方式进行数据的读写操作。进行ＤＭＡ读／写操作的具体过程如下：（１）写中断控制寄存器，打开中断；（２）写读／写地址寄存器，设置读／写数据的起始地址；（３）写读／写包长度寄存器，设置读／写数据包的大小；（４）写读／写包数量寄存器，设置读／写数据包的数量；（５）写控制寄存器，启动ＤＭＡ读／写操作；（６）等待中断服务寄存器发出中断；（７）收到中断，读中断服务寄存器；（８）写中断控制寄存器，关闭中断。４仿真与性能测试
使用Ｖｅｒｉｌｏｇ语言编写代码实现本设计，使用ＭｏｄｅｌｓｉｍＳＥ６．２９对该设计进行功能仿真。从数据写入ＦＩＦＯ的仿真波形图中可以看到，未采用ＤＭＡ方式时，每次只能够将一个数据写入到ＦＩＦＯ中，在２次写操作之间存在较长的等待时间；采用ＤＭＡ方式时，可以根据用户的设置连续写入多个数据，消除了２次操作之间的等待时间，大大提高了数据传输速率。
自行设计了采用Ｘｉｌｉｎｘ公司ｘｃ５ｖｌｘ３０ｔ芯片的ＰＣＩＥｘｐｒｅｓｓｘ４接口数据传输卡；使用Ｘｉｌｉｎｘ公司的ＩＳＥ９．２对设计代码进行综合和布局布线，生成配置文件，下载到ｘｃ５ｖｌｘ３０ｔ芯片中；使用ＤＥＬＬＰｒｅｃｉｓｉｏｎ６９０工作站，在Ｗｉｎｄｏｗｓ环境下编写测试程序对数据传输卡ＰＣＩＥｘｐｒｅｓｓ接口数据传输的速率进行测试。
采用多种数据量对ＰＣＩＥｘｐｒｅｓｓ接口进行ＤＭＡ方式读数据测试，得到的结果如图４所示，硬件层数据传输速率稳定在８４０Ｍｂ／ｓ。
ｆ
ｐ
＝
≤
替
吲
挥
啦
传输数据Ｗｔ／Ｋｂ
圈４实际测试读敦据速率
采用多种数据量对ＰＣＩＥｘｐｒｅｓｓ接１３进行ＤＭＡ方式写数据测试，得到的结果如图５所示，硬件层数据传输速率稳定在７２０Ｍｂ／ｓ。
传精敢据量／Ｋｂ
圈５实际测试写数据速率
从图４、图５可以看出，ＤＭＡ控制器有效减少了数据传输过程中的等待时间，大幅度地提高了数据传输速率，发挥了ＰＣＩＥｘｐｒｅｓｓ总线的优越性能。
５结束语
本文采用基于Ｘｉｌｉｎｘ公司硬ＩＰ核的方法设计实现了ＰＣＩＥｘｐｒｅｓｓ总线接口及数据的传输。对于ＤＭＡ控制器的设计，能提高数据传输的速率，使ＰＣＩＥｘｐｒｅｓｓ总线的性能得到充分发挥。
参考文献
【１】熊彬．走进ＰＣＩＥｘｐｒｅｓｓ的世界［Ｊ】．微型计算机，２００４，ｌＯ（９）：１１２一１１７．
［２】ＰＬＸＴｅｃｈｎｏｌｏｇｙＩｎｃ．．ＰＥＸ８３１１ＰｒｏｄｕｃｔＢｒｉｅｆｆＺ］．（２００５，１２．０６）．ｈｔｔｐ：／／ｗｗｗ．ｐｌｘｔｅｃｈ．ｃｏｍ／ｐｄｆｆｔｅｃｈｎｉｃａｌ／ｅｘｐｒｅｓｓｌａｎｅ／Ｔｅｃｈｎｏｌｏｇ），Ｂｒｉｅｆ——ＰＣＩＥｘｐｒｅｓｓ．ｐｄｆ．
【３】ＰＬＸＴｅｃｈｎｏｌｏｇｙＩｎｃ～ＰＥＸ８３１１ＥｘｐｒｅｓｓＬａｎｅＰＣＩＥｘｐｒｅｓｓ．ｔｏ－ＧｅｎｅｒｉｃＬｏｃａｌＢｕｓＢｒｉｄｇｅＤａｔａＢｏｏｋＶｅｒｓｉｏｎＯ．９０［Ｚ］．（２００６—０４—２０、ｈｔｔｐ：／／ｗｗｗ．ｐｌｘｔｅｃｈ．ｃｏｒｎ／ｐｒｏｄｕｃｔｓ／ｅｘｐｒｅｓｓｌａｎｅ．
【４】刘豫．Ｘｉｌｉｎｘ可编程解决方案应对市场变化和成本挑战［Ｊ】．电子设计应用，２００５，８（５）：３７—３９．
编辑陈文
—乏４１—
万方数据
基于IP核的PCI Express接口
作者：徐天， 何道君， 徐金甫， XU Tian， HE Dao-jun， XU Jin-fu
作者单位：徐天,徐金甫,XU Tian,XU Jin-fu(解放军信息工程大学电子技术学院,郑州,450004)， 何道君,HE Dao-jun(北方信息技术研究所,北京,100072)
刊名：
计算机工程
英文刊名：COMPUTER ENGINEERING
年，卷(期)：2009，35(24)
被引用次数：0次
参考文献(4条)
1.熊彬走进PCI Express的世界[期刊论文]-微型计算机 2004(09)
2.PLX Technology Inc PEX 8311 Product Brief 2005
3.PLX Technology Inc PEX 8311 Express Lane PCI Express-to-Generic Local Bus Bridge Data Book Version 0.90 2006
4.刘豫Xilinx可编程解决方案应对市场变化和成本挑战[期刊论文]-电子设计应用 2005(05)
相似文献(3条)
1.学位论文刘宁基于PCI Express接口的高速数据传输系统的设计与实现2008
随着高速采集系统、图像采集系统等测试系统的发展，在测试中产生的大容量数据如何快速传入计算机进行分析处理成为制约系统性能进一步提高及系统功能实现的一个重要环节。在此背景下，通过研制以LYDS接口高速接收发送数据并通过PCI Express计算机总线将数据传入计算机的接口卡，实现了将外部数据高速传入计算机。
论文在分析任务及技术指标的基础上，设计了系统总体方案。在硬件实现部分，介绍了基于PCI Express总线高速数据传输过程中的相关技术，对数据收发的接口及时序、FPGA实现PCI的主模式工作时序、FPGA实现PCI的从模式工作时序、FPGA实现PCIExpress总线配置、FPGA实现DMA传输、FPGA进行中断管理及电源分配等技术进行了详细的描述：在软件部分，结合系统读取数据过程介绍了驱动程序的结构以及为实现高速数据存盘而采用的多线程技术。在论文的结束部分给出了该接口卡自检、数据读入计算机等功能的试验过程及数据的分析结果。
本次设计完成的接口卡，是以PCI Express的X1接口实现的，如果以X16接口进行设计，采用RAID等技术，系统的性能将会进一步提高。
2.会议论文徐天.徐金甫.何道君PCI Ezpress接口设计技术研究2008
PCI Express总线是第3代I/O技术,是一种全新的串行总线技术.它采用分层的体系结构,具有高性能、高可靠性、软件兼容等特点.本文提出了一种实现PCI Express总线接口的方法,在Xilinx公司xc5vlx30t FPGA器件当中,采用PCI Express硬核端点模块,设计实现了PCI Express总线接口.测试结果表明,该设计能够达到较高的数据传输速率,发挥了PCI Express总线的性能.
3.学位论文孙勤林电子束曝光系统中高速数据传输卡的软件设计2010
在开发电子束曝光系统中控制部分的软硬件时，根据系统设计要求，需要数据处理速度达到300MB/s以上，由于实际数据处理单元都是由高速现场可编程门阵列（Field Programmable Gate Array, 简称FPGA）以硬件方式实现的，数据处理单元的速度足以满足系统要求。系统的速度瓶颈在于数据的传输部分，即从数据服务器传输到数据处理单元。为了解决这个问题，实际系统开发时，为数据服务器开发了一块专门用于高速数据传输的数据传输卡。该数据传输卡采用了PCI Express（Peripheral Component Interconnect Express）接口与主机进行数据通信，并利用FPGA的Aurora控制器通过光纤与数据处理单元进行高速数据传输。
高速数据传输卡采用PCI Express接口与主机进行通信是由于PCI Express总线能提供足够的带宽。由于PCI Express一个通道能提供2.5Gbps的带宽[1]，该高速数据传输卡采用了x4的方式，理论上可以达到1GB/s的有效带宽。在实际开发时并不能完全发挥总线的带宽，但达到40％的效率还是可以保证的，即该设备至少能达到400MB/s的速度，在硬件层该数据传输卡保证了系统设计的目标。
在软件设计时，首先要为数据传输卡开发一个驱动程序。系统中数据服务器采用了x86_64的系统构架，并使用了64bit的Linux操作系统。因此就要在Linux系统下为数据传输卡开发驱动程序。驱动程序除了为应用程序提供访问硬件设备的接口之外，还要采用合适的驱动开发技术保证硬件设备的性能得以最大限度的发挥。
高速数据传输卡是通过DMA(Direct Memory Access)方式与数据服务器主机进行大数据量的高速传输的。驱动程序在处理DMA操作时，最主要的就是为DMA数据传输分配物理地址连续的内存块，同时用于DMA传输的内存块还需要满足高速缓存的一致性。
通常情况下，由于应用程序不能直接访问内核地址空间，应用程序对设备的访问采用双拷贝的方式，驱动程序需要在内核地址空间缓冲区与用户空间缓冲区之间进行数据拷贝，同时还需要在内核地址空间缓冲区与设备间进行数据拷贝。如果采用双拷贝方式，在DMA操作时，驱动程序先要将用户空间的数据拷贝到内核空间的DMA缓冲区，再通过DMA操作将DMA缓冲区的数据传输出去。虽然内存拷贝本身速度很快，但对于高速DMA传输而言，应用程序缓冲区与内核空间缓冲区的数据拷贝过程还是会很大程度上影响系统的性能。因此在驱动程序开发时采用了mmap方式。通过mmap方式可以将DMA缓冲区所对应的物理地址映射到用户进程空间，让用户程序通过用户空间的虚拟地址直接访问DMA缓冲区，即将数据直接存入内核DMA缓冲区中，将用户空间缓冲区与内核DMA缓冲区之间的拷贝过程去掉，从而提高系统性能。通过对系统的实际测试，采用双拷贝方式时的平均速度是224.26MB/s，采用mmap方式时的平均速度是358.88MB/s。采用mmap方式后数据传输速度比双拷贝方式提高了60％，并且达到了系统的性能要求。
本文链接：https://www.doczj.com/doc/b5893492.html,/Periodical_jsjgc200924079.aspx
授权使用：北京航空航天大学(bjhkht)，授权号：96cc135e-bb7f-4eb9-810a-9e3d014577e0
下载时间：2010年11月29日