当前位置：文档之家 › Python几种并发实现方案性能比较.docx

Python几种并发实现方案性能比较.docx

  • 格式：docx
  • 大小：59.79 KB
  • 文档页数：17

偶然看到Erlang vs. Stackless python: a first benchmark，对Erlang和Stackless Python的并发处理性能进行了实验比较，基本结论认为二者有比较相近的性能。

我看完产生的问题是，Stackless Python与Python的其他并发实现机制性能又会有多大区别呢，比如线程和进程。

因此我采用与这篇文章相同的办法来对Stackless Python、普通Python的thread模块、普通Python的threading模块、普通Python的processing模块这四种并发实现方案进行了性能实验，并将实验实验方案与Erlang vs. Stackless python: a first benchmark是相同的，用每种方案分别给出如下问题的实现，记录完成整个处理过程的总时间来作为评判性能的依据：1.由n个节点组成一个环状网络，在上面传送共m个消息。

2.将每个消息（共m个），逐个发送给1号节点。

3.第1到n-1号节点在接收到消息后，都转发给下一号节点。

4.第n号节点每次收到消息后，不再继续转发。

5.当m个消息都从1号逐个到达第n号节点时，认为全部处理结束。

(Edit Section ↓)2.1 硬件平台Macbook Pro 3,1上的Vmware Fusion 1.0虚拟机中，注意这里给虚拟机只启用了cpu的单个核心：•原始Cpu：Core 2 Duo，2.4 GHz，2核心，4 MB L2 缓存，总线速度800 MHz•分配给虚拟机的内存：796M（单个CPU，还能比较并发吗？）(Edit Section ↓)2.2 软件平台Vmware Fusion 1.0下的Debian etch：•原始Python：Debian发行版自带Python 2.4.4•Python 2.4.4 Stackless 3.1b3 060516•processing-0.52-py2.4-linux-i686.egg•原始Python下的greenlet实现：py lib 0.9.2各方案的实现代码见后文。

实验时使用time指令记录每次运行的总时间，选用的都是不做任何输出的no_io实现（Python的print指令还是挺耗资源的，如果不注释掉十有八九得影响测试结果），每次执行时设定n=300，m=10000（Erlang vs. Stackless python: a first benchmark文章中认为n可以设置为300，m则可以取10000到90000之间的数值分别进行测试）。

(Edit Section ↓)3.1 Stackless Python的实验结果real 0m1.651suser 0m1.628ssys 0m0.020s即使将m扩大到30000，实验结果仍然很突出：real 0m4.749suser 0m4.716ssys 0m0.028s(Edit Section ↓)3.2 使用thread模块的实验结果real 1m13.009suser 0m2.476ssys 0m59.028s(Edit Section ↓)3.3 使用threading模块配合Queue模块的实验结果不太稳定，有时候这样：real 1m9.222suser 0m34.418ssys 0m34.622s也有时这样：real 2m14.016suser 0m6.644ssys 2m7.260s(Edit Section ↓)3.4 使用processing模块配合Queue模块的实验结果real 3m43.539suser 0m15.345ssys 3m27.953s(Edit Section ↓)4.1 Stackless Python毫无疑问，Stackless Python几乎有匪夷所思的并发性能，比其他方案快上几十倍，而且借助Stackless Python提供的channel机制，实现也相当简单。

也许这个结果向我们部分揭示了沈仙人基于Stackless Python实现的Eurasia3能够提供相当于c语言效果的恐怖并发性能的原因。

(Edit Section ↓)4.2 Python线程从道理上来讲，thread模块似乎应该和threading提供基本相同的性能，毕竟threading只是对thread的一种封装嘛，后台机制应该是一致的。

或许threading 由于本身类实例维护方面的开销，应该会比直接用thread慢一点。

从实验结果来看，二者性能也确实差不多。

只是不大明白为何threading方案的测试结果不是很稳定，即使对其他方案的测试运行多次，误差也不会像threading这么飘。

从代码实现体验来说，用threading配合Queue比直接用thread实在是轻松太多了，并且出错的机会也要少很多。

(Edit Section ↓)4.3 Python进程processing模块给出的进程方案大致比thread线程要慢一倍，并且这是在我特意调整虚拟机给它预备了足够空闲内存、避免使用交换分区的情况下取得的（特意分给虚拟机700多M内存就是为了这个）。

而其他方案仅仅占用数M内存，完全无需特意调大可用内存总量。

当然，如果给虚拟机多启用几个核心的话，processing也许会占上点便宜，毕竟目前thread模块是不能有效利用多cpu资源的（经实验，Stackless Python在开启双核的情况下表现的性能和单核是一样的，说明也是不能有效利用多cpu）。

因此一种比较合理的做法是根据cpu的数量，启用少量几个进程，而在进程内部再开启线程进行实际业务处理，这也是目前Python社区推荐的有效利用多cpu资源的办法。

好在processing配合其自身提供的Queue模块，编程体验还是比较轻松的。

(Edit Section ↓)4.4 greenlet超轻量级方案基于greenlet的实现则性能仅次于Stackless Python，大致比Stackless Python 慢一倍，比其他方案快接近一个数量级。

其实greenlet不是一种真正的并发机制，而是在同一线程内，在不同函数的执行代码块之间切换，实施“你运行一会、我运行一会”，并且在进行切换时必须指定何时切换以及切换到哪。

greenlet的接口是比较简单易用的，但是使用greenlet时的思考方式与其他并发方案存在一定区别。

线程/进程模型在大逻辑上通常从并发角度开始考虑，把能够并行处理的并且值得并行处理的任务分离出来，在不同的线程/进程下运行，然后考虑分离过程可能造成哪些互斥、冲突问题，将互斥的资源加锁保护来保证并发处理的正确性。

greenlet则是要求从避免阻塞的角度来进行开发，当出现阻塞时，就显式切换到另一段没有被阻塞的代码段执行，直到原先的阻塞状况消失以后，再人工切换回原来的代码段继续处理。

因此，greenlet本质是一种合理安排了的串行，实验中greenlet方案能够得到比较好的性能表现，主要也是因为通过合理的代码执行流程切换，完全避免了死锁和阻塞等情况（执行带屏幕输出的ring_greenlet.py我们会看到脚本总是一个一个地处理消息，把一个消息在环上从头传到尾之后，再开始处理下一个消息）。

因为greenlet本质是串行，因此在没有进行显式切换时，代码的其他部分是无法被执行到的，如果要避免代码长时间占用运算资源造成程序假死，那么还是要将greenlet与线程/进程机制结合使用（每个线程、进程下都可以建立多个greenlet，但是跨线程/进程时greenlet 之间无法切换或通讯）。

Stackless则比较特别，对很多资源从底层进行了并发改造，并且提供了channel 等更适合“并发”的通讯机制实现，使得资源互斥冲突的可能性大大减小，并发性能自然得以提高。

粗糙来讲，greenlet是“阻塞了我就先干点儿别的，但是程序员得明确告诉greenlet能先干点儿啥以及什么时候回来”；Stackless则是“东西我已经改造好了，你只要用我的东西，并发冲突就不用操心，只管放心大胆地并发好了”。

greenlet应该是学习了Stackless的上下文切换机制，但是对底层资源没有进行适合并发的改造。

并且实际上greenlet也没有必要改造底层资源的并发性，因为它本质是串行的单线程，不与其他并发模型混合使用的话是无法造成对资源的并发访问的。

(Edit Section ↓)greenlet 封装后的eventlet 方案eventlet 是基于greenlet 实现的面向网络应用的并发处理框架，提供“线程”池、队列等与其他Python 线程、进程模型非常相似的api，并且提供了对Python 发行版自带库及其他模块的超轻量并发适应性调整方法，比直接使用greenlet 要方便得多。

并且这个解决方案源自著名虚拟现实游戏“第二人生”，可以说是久经考验的新兴并发处理模型。

其基本原理是调整Python 的socket调用，当发生阻塞时则切换到其他greenlet 执行，这样来保证资源的有效利用。

需要注意的是：•eventlet 提供的函数只能对Python 代码中的socket 调用进行处理，而不能对模块的 C 语言部分的socket 调用进行修改。

对后者这类模块，仍然需要把调用模块的代码封装在Python 标准线程调用中，之后利用eventlet 提供的适配器实现eventlet 与标准线程之间的协作。

•再有，虽然eventlet 把api 封装成了非常类似标准线程库的形式，但两者的实际并发执行流程仍然有明显区别。

在没有出现I/O 阻塞时，除非显式声明，否则当前正在执行的eventlet 永远不会把cpu 交给其他的eventlet，而标准线程则是无论是否出现阻塞，总是由所有线程一起争夺运行资源。

所有eventlet 对I/O 阻塞无关的大运算量耗时操作基本没有什么帮助。

在性能测试结果方面，eventlet 消耗的运行时间大致是greenlet 方案的 3 到5 倍，而Python 标准线程模型的thread 方式消耗的运行时间大致是eventlet 测试代码的8 到10 倍。

其中前者可能是因为我们在eventlet 的测试代码中，使用队列机制来完成所有的消息传递，而队列上的访问互斥保护可能额外消耗了一些运算资源。

总体而言，eventlet 模型的并发性能虽然比Stackless Python 和直接使用greenlet 有一定差距，但仍然比标准线程模型有大约一个数量级的优势，这也就不奇怪近期很多强调并发性能的网络服务器实现实验代码下载：•版本3 下载：增加了eventlet 方案的实验代码。

合集下载

Python解决并发问题

Python解决并发问题

Python解决并发问题在当今的软件开发领域中，一个重要的趋势是高并发。

当我们需要同时处理大量的请求时，如何让系统更高效地处理这些请求，就成为了一个关键问题。

Python作为一种常用的编程语言，也面临着如何处理并发的问题。

本文将简要介绍Python中的并发概念和解决方案，以及它们的优缺点。

一、并发概念并发是指在一段时间内，有多个任务同时执行的状态。

这里的“同时”并不一定是真正的同时，而是指任务交替执行，表现出来的效果是同时。

在计算机领域中，由于硬件资源限制和操作系统的调度原因，真正意义上的并发很难实现。

因此，我们常常用多线程或多进程的方式来实现并发。

二、Python并发解决方案在Python中，有多种方式来实现并发，比如多线程、协程和进程等。

下面我们来逐一介绍它们的优缺点。

1.多线程Python标准库中提供了Thread类用于多线程编程。

多线程的优点是可以充分利用CPU资源，同时也可以完成IO密集型的任务。

它的缺点是Python的全局解释锁（GIL）会让同一时间只有一个线程可以执行Python字节码。

这意味着多线程只适合用于IO密集型任务，而不适合用于CPU密集型任务。

另外，由于线程之间共享进程的内存空间，因此多线程编程中需要特别注意线程安全问题。

2.协程协程是Python3.5版本后新增的语法，它是一种轻量级的线程，可以在同一个线程中实现并发。

与多线程相比，协程的优点是最大限度地避免了线程切换的开销，同时也不会出现线程安全问题。

它的缺点是只能在单个进程中运行，并不能利用多核CPU。

3.进程Python标准库中提供了Process类用于多进程编程。

多进程的优点是能够充分利用多核CPU资源，而且每个进程之间独立运行，不存在线程安全的问题。

它的缺点是相比多线程，进程切换的开销更大，因此一般不用于IO密集型的任务。

另外，由于进程之间需要额外的IPC（进程间通信）机制，因此编程过程复杂度高。

三、并发编程实践在实际编程过程中，我们可以根据具体的需求选择合适的并发解决方案。

Python几种并发实现方案性能比较

Python几种并发实现方案性能比较

转自：/PyConcurrency1. 前言如有你有帮助，请购买下载，谢谢！偶然看到，对 Erlang 和 Stackless Python 的并发处理性能进行了实验比较，基 本结论认为二者有比较相近的性能。

我看完产生的问题是，Stackless Python 与 Python 的其他并发实现机制性能又会有多大区别呢，比如线程和进程。

因此我 采用与这篇文章相同的办法来对 Stackless Python、普通 Python 的 thread 模块、 普通 Python 的 threading 模块、普通 Python 的 processing 模块这四种并发实 现方案进行了性能实验，并将实验过程和基本结果记录在这里。

后来看到了基于 greenlet 实现的高性能网络框架，因而更新了实验方案，将 greenlet 也加入了比较，虽然 greenlet 并非是一种真正意义上的并发处理，而 是在单个线程下对程序块进行切换轮流执行。

2. 实验方案实验方案与是相同的，用每种方案分别给出如下问题的实现，记录完成整个处理 过程的总时间来作为评判性能的依据：1. 由 n 个节点组成一个环状网络，在上面传送共 m 个消息。

2. 将每个消息（共 m 个），逐个发送给 1 号节点。

3. 第 1 到 n-1 号节点在接收到消息后，都转发给下一号节点。

4. 第 n 号节点每次收到消息后，不再继续转发。

5. 当 m 个消息都从 1 号逐个到达第 n 号节点时，认为全部处理结束。

2.1 硬件平台Macbook Pro 3,1 上的 Vmware Fusion 1.0 虚拟机中，注意这里给虚拟机只启用 了 cpu 的单个核心：1页如有你有帮助，请购买下载，谢谢！ 原始 Cpu：Core 2 Duo，2.4 GHz，2 核心，4 MB L2 缓存，总线速度 800 MHz 分配给虚拟机的内存：796M （单个 CPU，还能比较并发吗？）2.2 软件平台Vmware Fusion 1.0 下的 Debian etch：  原始 Python：Debian 发行版自带 Python 2.4.4  Python 2.4.4 Stackless 3.1b3 060516  processing-0.52-py2.4-linux-i686.egg  原始 Python 下的 greenlet 实现：3. 实验过程及结果各方案的实现代码见。

Python的代码并发处理

Python的代码并发处理

Python的代码并发处理代码并发处理是指通过同时执行多个代码任务来提高程序的执行效率。

Python作为一种功能强大的编程语言，提供了多种方法来实现代码的并发处理。

本文将介绍Python中的几种常用的并发处理方法，并对它们的特点进行分析。

1. 多进程处理多进程处理是指通过创建多个进程来同时执行不同的代码任务。

Python中的multiprocessing模块提供了实现多进程处理的功能。

通过使用multiprocessing模块，我们可以轻松地创建并启动多个子进程，每个子进程可以执行独立的代码任务。

2. 多线程处理多线程处理是指通过创建多个线程来同时执行不同的代码任务。

Python中的threading模块提供了实现多线程处理的功能。

通过使用threading模块，我们可以轻松地创建并启动多个线程，每个线程可以执行独立的代码任务。

3. 协程处理协程处理是指通过在代码中使用协程，实现在单个线程内执行多个子任务。

Python中的asyncio模块提供了实现协程处理的功能。

通过使用asyncio模块，我们可以定义多个协程函数，并通过事件循环来调度执行这些协程。

4. 并行处理并行处理是指通过同时执行多个代码任务来提高程序的执行效率。

Python中的concurrent.futures模块提供了实现并行处理的功能。

通过使用concurrent.futures模块，我们可以轻松地创建并启动多个并行任务，每个任务可以执行独立的代码。

以上是Python中几种常用的代码并发处理方法。

它们各自有着不同的特点和适用场景。

我们可以根据实际需求来选择合适的并发处理方法。

在进行代码并发处理时，需要注意线程安全和资源竞争等问题，以确保程序的正确性和性能。

总结：Python提供了多种方法来实现代码的并发处理，包括多进程处理、多线程处理、协程处理和并行处理。

每种方法都有着不同的特点和适用场景。

在进行代码并发处理时，我们需要根据实际需求选择合适的方法，并注意解决线程安全和资源竞争等问题。

Python中的并发编程利用多线程和多进程提升性能

Python中的并发编程利用多线程和多进程提升性能

Python中的并发编程利用多线程和多进程提升性能Python中的并发编程：利用多线程和多进程提升性能随着计算机硬件的发展，单核处理器已经不能满足现代计算需求的同时，多核处理器越来越常见。

为了充分利用硬件资源，提升程序的性能，Python提供了多种并发编程的方式，其中包括多线程和多进程。

本文将介绍Python中的并发编程，并探讨如何利用多线程和多进程提升程序的性能。

1. 并发编程概述并发编程是指程序中多个任务（线程或进程）同时运行的技术。

通过并发编程，可以充分利用多核处理器的计算能力，提升程序的运行速度。

2. 多线程2.1 线程基础线程是操作系统能够进行运算调度的最小单位。

在Python中，使用`threading`模块来创建和管理线程。

通过创建多个线程，可以将程序的不同部分并行执行，提高程序的效率。

2.2 多线程应用场景多线程适用于I/O密集型任务，例如网络请求、文件读写等。

在这些任务中，线程可以在等待I/O操作完成的过程中，切换到其他线程执行，从而提高整体的执行效率。

2.3 示例代码```pythonimport threadingdef task():# 执行任务的代码块passif __name__ == "__main__":for _ in range(10):t = threading.Thread(target=task)t.start()```上述代码创建了10个线程，并分别执行相同的任务。

通过多线程的方式，可以同时处理多个任务，提高程序的性能。

3. 多进程3.1 进程基础进程是操作系统中资源分配和调度的基本单位，每个进程都有独立的内存空间和系统资源。

在Python中，使用`multiprocessing`模块来创建和管理进程。

通过创建多个进程，可以将程序的不同部分同时执行，从而提升程序的性能。

3.2 多进程应用场景多进程适用于CPU密集型任务，例如图像处理、科学计算等。