当前位置：文档之家 › CuPit-2 A Portable Parallel Programming Language for Artificial Neural Networks

CuPit-2 A Portable Parallel Programming Language for Artificial Neural Networks

  • 格式：pdf
  • 大小：40.48 KB
  • 文档页数：6

CuPit-2:APortableParallelProgrammingLanguage

forArtificialNeuralNetworks

HolgerHopp,LutzPrechelt(hoppprechelt@ira.uka.de)

Universit¨atKarlsruhe,Fakult¨atf¨urInformatik,76128Karlsruhe,Germany

ABSTRACT

CuPit-2isaprogramminglanguagespecificallydesignedtoexpressneuralnetworklearn-ingalgorithms.Itprovidesmostoftheflexibilityofgeneral-purposelanguageslikeC/C++,butresultsinmuchclearerandmoreelegantprogramsduetohigherexpressiveness,inparticularforalgorithmsthatchangethenetworktopologydynamically(constructivealgorithms,pruningalgorithms).Furthermore,CuPit-2programscanbecompiledintoefficientcodeforparallelma-chines;nochangesarerequiredinthesourceprogram.ThisarticlepresentsadescriptionofthelanguageconstructsandreportsperformanceresultsforanimplementationofCuPit-2onsym-metricmultiprocessors(SMPs).

INTRODUCTION

Forresearchersinneuralnetworklearningalgorithms,thereareusuallytwopossibilitieswhenit

comestoimplementingandrunninganalgorithm.Theycaneitheradaptorextendapreprogrammed

simulator(suchasSNNS[13],Xerion[10],NeuroGraph[12],NeuralWorks[8]etc.)oruseageneral-

purposeprogramminglanguage(suchasCorC++)tocreateacompleteimplementationbyhand.

Simulatorshavemorepowerfulinteractivefacilitiesthanhand-writtenimplementationsbutoftenlack

flexibilityandextensibility.Inparticular,mostsimulatorsdonotprovidegoodsupportforalgorithms

thatchangethenetworktopologyduringlearning.Hence,neuralnetworkresearchersoftenendup

withhand-implementations.SomewhatinbetweenthesetwoapproachesarelibrariessuchasMUME

[4]orSesame[7]thatprovideneuralnetworkbuildingblocksforC/C++.Justlikesimulators,such

librariesdonotseemtobewidelyusedinneuralnetworkresearch.

Onaparallelcomputerthingsbecomeevenworse.Afewparallelimplementationsofsimulatorsexist,

butmostareveryrestrictedorunreliable.Therearealsohigh-levelparallellanguages(e.g.Concurrent

Aggregates[2])inwhichahand-implementationwouldbeaboutaseasyasinplainC/C++,butthey

cannotyetbetranslatedintosufficientlyefficientparallelcode.Lowerlevelparallelprogramming

platformssuchasCorC++withamessage-passingorthreadslibraryrequiretheprogrammerto

implementdatadistributionandthreadmanagement.Suchprogramsarenon-portableanddifficult

todesign,todebug,tounderstand,tochange,andtooptimize.Parallelimplementationsofneural

networkbuildingblocksprovidesomekindofcompromisebetweenthesepropertiesbutinheritallof

therespectiveproblems.

Tosimplifytheimplementationofneuralnetworkalgorithmsforsequentialandparallelplatforms,

wepresenttheprogramminglanguageCuPit-2.CuPit-2describesnetworksinanobject-centered

wayusingspecialobjecttypes“connection”,“node”and“network”.Ithasspecialoperationsfor

manipulatingnetworktopologyandallowsforparalleloperationsbyparallelprocedurecallsatthe

network,nodegroup,andconnectionlevel.

Comparedtolow-levelparallelprogramminglanguages,CuPit-2hashigherexpressiveness,clarity,

andeaseofprogramming.

Comparedtohigh-levelparallellanguagesitwillalsoresultinmoreefficientcode.Duetoitsbuilt-in

domainmodel,aCuPit-2compilerknowsenoughaboutthebehavioroftheuserprogramstoapply

optimizationsunavailabletocompilersforgeneral-purposeparallellanguages.ComparedtosequentialC/C++,CuPit-2stillhastheadvantagesofhigherexpressivenessandclarity

butmayresultinlessefficientcode.CuPit-2programscanbeportedtoparallelmachineswithout

change,though.

Comparedtopre-programmedsimulators,CuPit-2ismoreflexible,whiletherelativeefficiencyde-

pendsontheapplication.

Toobtainsimilaradvantages,variousproposalshavebeenmadefornetworkdescriptionlanguages

[1,5,6,11].Mostofthesecoveronlystaticnetworktopologiesandarenotfullprogramminglan-

guages,thusstillexhibitmostoftheproblemsofhand-writtenimplementations.Eventhedescription

languagesthatrepresentorareintegratedwithafullprogramminglanguagedonotprovideconstructs

fordynamicchangesofnetworktopology.

IntheremainderofthisarticleweinformallydescribeCuPit-2languageconstructsandpresentper-

formanceresultsobtainedwithaparallelimplementationonsymmetricmultiprocessormachines

(SMPs).

LANGUAGEOVERVIEW

TheprogramminglanguageCuPit-2[3]isbasedontheobservationthatneuralalgorithmspredom-

inantlyexecutelocaloperations(onnodesorconnections),reductions(e.g.sumoverallweighted

incomingconnections)andbroadcasts(e.g.applyaglobalparametertoallnodes).Operationscanbe

describedonlocalobjects(connections,nodes,networkreplicates)andcanbeperformedgroupwise

(connectionsofanode,nodesofanodegroup,replicatesofanetwork,orsubsetsofanyofthese).

Thisleadstothreenestedlevelsofparallelism:connectionparallelism,nodeparallelismandexam-

pleparallelism.Thereisusuallynootherformofparallelisminneuralalgorithms,suchthatwecan

restrictparallelismtotheabovethreelevelswithoutlossofgenerality.

CuPit-2isaprocedural,object-centeredlanguage;thereareobjecttypesandassociatedoperations

合集下载

C.parvum全基因组序列

C.parvum全基因组序列

DOI: 10.1126/science.1094786 , 441 (2004); 304Science et al.Mitchell S. Abrahamsen,Cryptosporidium parvumComplete Genome Sequence of the Apicomplexan,

(this information is current as of October 7, 2009 ):The following resources related to this article are available online at

/cgi/content/full/304/5669/441version of this article at: including high-resolution figures, can be found in the onlineUpdated information and services,

/cgi/content/full/1094786/DC1 can be found at: Supporting Online Material

/cgi/content/full/304/5669/441#otherarticles, 9 of which can be accessed for free: cites 25 articlesThis article

239 article(s) on the ISI Web of Science. cited byThis article has been

/cgi/content/full/304/5669/441#otherarticles 53 articles hosted by HighWire Press; see: cited byThis article has been

人工智能芯片的类型

人工智能芯片的类型

人工智能芯片主要分为三类，包括GPU、FPGA、ASIC，未来还可能被ASIC替代。

1. GPU：属于通用型芯片，主要用于处理图形数据。GPU可以同时进行大量的并行计算，因此在深度学习中常用于加速神经网络的训练和推理。

2. FPGA：介于通用型芯片和专用型芯片之间，灵活性高。它可编程并可重构，适合处理复杂的神经网络算法。

3. ASIC：属于专用型芯片，专门设计用于执行特定的计算任务。在人工智能领域，ASIC主要用于加速深度学习算法，例如Google的Tensor Processing Unit（TPU）。

除此之外，还有神经处理器（NPU），专门用于运行神经网络，使用异构计算架构针对神经网络算法进行优化。

请注意，不同类型的人工智能芯片在适用范围上有所不同，所以在选择时需要根据具体需求进行判断。

基于FPGA的卷积神经网络并行加速器设计

基于FPGA的卷积神经网络并行加速器设计

叶电子技术应用曳2021年第47卷第2期要0引言

随着人工智能的快速发展袁卷积神经网络越来越受

到人们的关注遥由于它的高适应性和出色的识别能力袁它已被广泛应用于分类和识别尧目标检测尧目标跟踪等领域[1]遥与传统算法相比袁CNN的计算复杂度要高得多袁

并且通用CPU不再能够满足计算需求遥目前袁主要解决

方案是使用GPU进行CNN计算遥尽管GPU在并行计算中具有自然优势袁但在成本和功耗方面存在很大的缺点遥

卷积神经网络推理过程的实现占用空间大袁计算能耗大[2]袁

无法满足终端系统的CNN计算要求遥FPGA具有强大的

并行处理功能袁灵活的可配置功能以及超低功耗袁使其成为CNN实现平台的理想选择遥FPGA的可重配置特性适合于变化的神经网络网络结构遥因此袁许多研究人员已经研究了使用FPGA实现CNN加速的方法[3]遥本文参

考了Google提出的轻量级网络MobileNet结构[4]袁并通过

并行处理和流水线结构在FPGA上设计了高速CNN系

统袁并将其与CPU和GPU的实现进行了比较遥1卷积神经网络加速器的设计研究

1.1卷积神经网络的介绍

在深度学习领域中袁卷积神经网络占有着非常重要的地位袁它的图像识别准确率接近甚至高于人类的识别水平遥卷积神经网络是同时具有层次结构性和局部连通

性的人工神经网络[5]遥卷积神经网络的结构都是类似

的袁它们采用前向网络模型结构袁节点使用神经元来实

现分层连接遥并且袁相邻层之间的节点是在局部区域内相连接袁同一层中的一些神经元节点之间是共享连接权基于FPGA的卷积神经网络并行加速器设计

王婷袁陈斌岳袁张福海(南开大学电子信息与光学工程学院袁天津300350)

摘要院近年来袁卷积神经网络在许多领域中发挥着越来越重要的作用袁然而功耗和速度是限制其应用的主要因素遥

为了克服其限制因素,设计一种基于FPGA平台的卷积神经网络并行加速器袁以Ultra96-V2为实验开发平台袁而且卷积神经网络计算IP核的设计实现采用了高级设计综合工具袁使用Vivado开发工具完成了基于FPGA的卷积神经网络加速器系统设计实现遥通过对GPU和CPU识别率的对比实验袁基于FPGA优化设计的卷积神经网络处理一张

异构算力标准

异构算力标准

异构算力标准

异构算力标准

随着人工智能、大数据、物联网等技术的不断发展，计算机算力需求越来越大，而传统的CPU架构已经无法满足这些需求。因此，异构算力成为了当前计算机领域的热门话题。

异构算力是指在同一系统中，使用不同架构的处理器协同工作，以提高系统的计算能力和效率。其中，GPU（图形处理器）和FPGA（现场可编程门阵列）是两种常见的异构处理器。

然而，由于GPU和FPGA的架构不同于传统的CPU，因此在编程和使用上存在一定的难度。为了解决这些问题，业界开始制定异构算力标准，以方便开发者使用和跨平台开发。

目前，主流的异构算力标准有以下几种：

1. OpenCL

OpenCL是一种由Khronos Group制定的开放式异构计算标准。它可以让开发者使用C语言来编写并行程序，并在不同的硬件平台上运行。OpenCL支持多种处理器架构，包括CPU、GPU、FPGA等。

2. CUDA

CUDA是由NVIDIA推出的异构计算平台和编程模型。它可以让开发者使用C语言来编写并行程序，并在NVIDIA GPU上运行。CUDA具有良好的性能和可扩展性，被广泛应用于人工智能、科学计算等领域。

3. HIP

HIP是由AMD推出的异构计算平台和编程模型。它可以让开发者使用C++语言来编写并行程序，并在AMD GPU上运行。HIP与CUDA类似，但支持更多种类的硬件平台。

4. SYCL

SYCL是由Khronos Group制定的异构计算标准。它可以让开发者使用C++语言来编写并行程序，并在不同的硬件平台上运行。SYCL支持多种处理器架构，包括CPU、GPU、FPGA等。

5. OpenACC

OpenACC是一种由OpenACC标准组织制定的开放式异构计算标准。它可以让开发者使用C、C++、Fortran等语言来编写并行程序，并在不同的硬件平台上运行。OpenACC支持多种处理器架构，包括CPU、GPU等。