第七章分布式共享内存

前言面向对象中间件体系结构a)主机基础设施中间件：封装socket,线程等不同主机的实现，形成统一的接口。

如java,ACEb)分布式中间件：连接管理，内存管理，整编，解编，端点和请求的多路分离，同步，多线程等，使程序员象开发独立应用程序一样开发分布式应用程序。

分布式中间件的核心是ORB(Object Requests Broker对象请求代理)，如：COM+，JAVA RMI，CORBA 1通信设计空间1.1面向连接协议需要做出如下设计：●数据成帧策略●连接多路复用策略1.链接多路复用：多个线程复用同一个TCP链接2.非多路复用：多个进程使用多个链接。

系统开销大1.2同步和异步消息交换1.3消息传递与共享内存消息传递：消息中间件共享内存：●本地共享内存：shmget(),shmat(). 内存映射文件●分布式共享内存：虚拟内存，是本地共享内存的一种抽象。

2SOCKET API 概述3ACE Socket wrapper façade3.1ACE_Addr运算符== , !=addr_type, addr_size3.2ACE_INET_Add3.3ACE_IPC_SAP为其他ACE对象提供了基本的“I/O”句柄操作能力enable()disable()get_handle()set_handle()3.4ACE_SOCK继承自ACE_IPC_SAP,get _local_addr()set_local_addr()open()close()get_remote_addr()set_option()get_option()3.5ACE_SOCK_Connecter主动连接模式，是一个工厂类。

发起一个连接，并在连接成功后初始化一个ACE_SOCK_Stream对象。

可以通过“阻塞”“非阻塞”“定时”方式发起。

以下是非阻塞模式以下是非阻塞模式3.6ACE_SOCK_Stream数据传输角色的实现。

第六章分布式共享存储器在第一章中，我们看到存在着多处理机和多计算机这样两种多处理机系统。

在多处理机系统中，两个或更多的CPU共享一个存储器。

任何处理机上的任何进程只需将数据移入移出就可读写共享存储器中的数据。

而在多计算机系统中，每个CPU有各自的存储器，并不共享。

以农业为例，一个多处理机可以看作这样一个系统：一群猪（进程）用一个食槽（共享存储器）进食。

而多计算机则是每只猪拥有自己的食槽。

以教育为例，多处理机就是教室前面的一块黑板，所有学生都可以看到，而多计算机则是每个学生看自己的笔记本。

尽管这种区别看起来微不足道，其影响却是深远的。

其结果涉及到软件和硬件两个方面。

首先看看对硬件的影响。

设计一种使多个处理机同时使用同一存储器的机器是非常困难的。

如1．3．1节所述, 由于总线会成为一种瓶颈, 基于总线的多处理机总数就最多只能有几个。

1．3．2节介绍的交换式多处理机可应用于大系统，但相比之下过于昂贵、缓慢、复杂以及难维护。

相反，大的多计算机系统更易于建立。

单主板计算机（包含一个CPU，一个存储器，一个网络接口）可以相互连接在一起，而不受数量的限制。

许多生产商都提供包含数以千计处理机的多计算机系统。

从硬件设计者的角度看，多计算机系统比多处理机系统更优越。

现在看看它对软件的影响。

用于多处理机编程的技术很多。

为实现通信，一个进程把数据写到存储器，其它进程将之读出。

为保持同步，可以使用临界区（critical region），信号量或管程（monitor）提供必要的互斥。

很多文章都讨论了在共享存储器的计算机上实现通信与同步的问题。

在过去的20年中，每一本操作系统的教科书都有几个章节讨论这个问题。

简而言之，大量的理论和实践知识可用于多处理机编程。

对多计算机系统，情况正好相反。

通信一般使用消息传递，这使输入/输出更为抽象。

消息传递带来了许多复杂的问题，包括：流控制，信包丢失，缓冲区设置和拥塞。

尽管已提出了不同的解决方案，但消息传递的编程仍很复杂。

分布式感知方法分布式感知是指在分布式计算系统中，各个节点通过交换信息和相互通信，共同感知系统中的状态和变化。

下面是关于分布式感知方法的10条详细描述：1. 共享内存：分布式系统中的节点可以通过共享内存来感知其他节点的状态。

节点可以读取和写入共享内存中的数据，从而获得其他节点的状态信息。

2. 消息传递：节点通过传递消息来感知其他节点的状态。

节点可以发送消息给其他节点，并接收其他节点发送的消息，从而获得其他节点的状态信息。

3. 事件广播：节点通过广播事件来感知其他节点的状态。

当一个节点的状态发生变化时，它可以通过广播事件的方式通知其他节点，从而让其他节点感知到它的状态变化。

4. 心跳检测：节点通过定期发送心跳消息来感知其他节点的状态。

每个节点都会定期向其他节点发送心跳消息，如果某个节点长时间没有收到心跳消息，就可以判断该节点已经故障。

5. 图算法：节点通过图算法来感知系统中的状态。

节点可以将分布式系统中的节点和通信链路建模为图，利用图算法来分析节点和通信链路的状态，从而感知系统中的整体状态。

6. 位图算法：节点通过位图算法来感知系统中的状态。

每个节点都维护一个位图，位图中的每一位表示与其他节点的连接状态，节点可以通过比较位图来判断其他节点的状态。

7. 一致性协议：节点通过一致性协议来感知系统中的状态。

一致性协议可以保证分布式系统中的节点达成一致，节点可以通过检查一致性协议的进程来获得其他节点的状态信息。

8. 集群监控：节点通过集群监控系统来感知系统中的状态。

集群监控系统可以监测和收集各个节点的状态信息，并提供查询接口供节点访问和获取其他节点的状态。

9. 分布式锁：节点通过分布式锁来感知系统中的状态。

每个节点可以尝试获取分布式锁，如果获取成功，则可以认为其他节点处于正常状态；如果获取失败，则可以认为其他节点出现故障。

10. 验证算法：节点通过验证算法来感知系统中的状态。

验证算法可以检查节点发送的消息的合法性和正确性，从而判断其他节点的状态信息是否可信。

分布式系统与并行计算介绍随着科技的不断进步，计算机系统的规模和性能需求也在不断增加。

传统的单机计算已经无法满足大规模数据处理和高性能计算的需求，因此分布式系统和并行计算成为了解决方案。

本文将介绍分布式系统和并行计算的概念及其应用领域，并探讨其在未来的发展。

一、什么是分布式系统分布式系统是由多个相互独立的计算节点组成的计算网络。

每个计算节点都有自己的处理器和内存，它们通过通信网络相互连接，并通过共享数据实现协同工作。

这些计算节点可以是物理机器，也可以是虚拟机或容器。

分布式系统的优势在于它们能够通过增加计算节点的数量来提高性能和可靠性。

当系统面临大量计算任务时，可以将这些任务分解成更小的子任务，并将子任务分配给不同的计算节点并行执行。

此外，分布式系统还具备容错能力，即当某个节点出现故障时，其他节点仍可以继续执行任务。

二、分布式系统的应用领域分布式系统广泛应用于各个领域。

其中一个重要的应用领域是云计算。

云计算平台利用分布式系统的能力，将计算、存储和网络资源集中管理，提供按需分配和弹性伸缩的服务。

这使得用户可以按需使用计算资源，大大降低了成本并提高了灵活性。

另一个应用领域是大数据处理。

随着互联网的快速发展，海量的数据需要被高效地存储、处理和分析。

分布式系统通过将数据分散存储在多个节点上，以及并行地执行计算任务，能够高效地处理大规模数据，并提供实时的分析结果。

此外，分布式系统还被应用于分布式数据库、分布式文件系统、分布式存储系统等领域，为用户提供高性能、高可用性的服务。

三、什么是并行计算并行计算是指将一个大规模计算任务分解成多个子任务，并将子任务同时执行以加速计算过程的计算模型。

每个子任务可以在不同的处理器上并行执行，以减少计算任务的执行时间。

并行计算主要有两种形式：共享内存并行和分布式并行。

共享内存并行是通过共享内存来实现多个线程或进程之间的数据共享和通信。

而分布式并行则是通过网络连接多台计算节点，每个节点独立执行子任务，并通过消息传递进行通信。

基于Java平台共享内存的实现与应用 （张华杰 郑州广播电视大学 河南 郑州 450007 ） 【摘要】：

在java 开发环境中，没有涉及共享内存这个概念，但是在某一些应用中，“共享内存”确实非常有用。在java语言的分布式应用系统中，存在着大量的分布式共享对象，很多时候需要查询这些对象的状态，如果采用网络通信的方式，会增加应用的额外负担；如果采用共享内存的方式，则可以直接通过共享内存查看对象的状态数据和统计数据，减少了一些不必要的麻烦。

【关键字】：共享内存、java

一、 共享内存对应用开发的意义：

IPC（InterProcess Communication）基本包括共享内存、信号灯操作、消息队列、信号处理等部分，是开发应用中非常重要的必不可少的工具。其中共享内存IPC机制的关键，对于数据共享、系统快 速查询、动态配置、减少资源耗费等均有独到的优点。对应UNIX系统来说，共享内存分为一般共享内存和映像文件共享内存两种，而对应 Windows，实际上只有映像文件共享内存一种。所以java应用中也是只能创建映像文件共享 内存。

二、 共享内存在java中的实现 在jdk中提供的类MappedByteBuffer为我们实现共享内存提供了较好的方法。该缓冲区实际上是一个磁盘文件的内存映像。二者的变化将保持同步，即内存数据发生变化会立刻反映到磁盘文件中，这样会有效的保证共享内存的实现。将共享内存和磁盘文件建立联系的是文件通道类：FileChannel。该类的加入是JDK为 了统一对外部设备的访问方法，并且加强了多线程对同一文件进行存取的安全性。例如读写操作统一成read和write。这里只是用它来建立共享内存用，它建立 了共享内存和磁盘文件之间的一个通道。 打 开一个文件建立一个文件通道可以用RandomAccessFile类中的方法getChannel。该方法将直接返回一个文件通道。该文件通道由于对应的文件设为随机存取文件，一方面可以进行读写两种操作，另一方面使用它不会破坏映像文件的内容。这里如果用 FileOutputStream和FileInputStream则不能理想的实现共享内存的要求，因为这两个类同时 实现自由的读写操作要困难得多。 一下过程实现了如这种功能； RandomAccessFile RAFile = new RandomAccessFile(filename,"r");// 获得一个只读的随机存取文件对象 FileChannel fc = RAFile.getChannel();// 获得相应的文件通道 int size = (int)fc.size();// 取得文件的实际大小，以便映像到共享内存 MappedByteBuffer mapBuf = fc.map(FileChannel.MAP_RO,0,size); // 获得共享内存缓冲区，该共享内存只读 RAFile = new RandomAccessFile(filename,"rw");// 获得一个可读写的随机存取文件对象 fc = RAFile.getChannel();// 获得相应的文件通道 size = (int)fc.size();// 取得文件的实际大小，以便映像到共享内存 mapBuf = fc.map(FileChannel.MAP_RW,0,size); // 获得共享内存缓冲区，该共享内存可读写 mode = mapBuf.getInt();// 获取头部消息：存取权限 如果多个应用映像同一文件名的共享内存，则这多个应用共享了同一内存数据。这些应用对于文件可以具有同等存取权限，一个应用对数据的刷新会更新到多个应用中。为了防止多个应用同时对共享内存进行写操作，可以在该共享内存的头部信息加入写操作标志。该共享内存的头部基本信息至少有： int Length； // 共享内存的长度。 int mode; // 该共享内存目前的存取模式。 共享内存的头部信息是类的私有信息，在多个应用可以对同一共享内存执行写操作时， 开始执行写操作和结束写操作时，需调用如下方法： public boolean StartWrite() {if(mode == 0) { // 标志为0，则表示可写 mode = 1; // 置标志为1，意味着别的应用不可写该共享内存 mapBuf.flip(); mapBuf.putInt(mode); // 写如共享内存的头部信息 return true;} else { return false; // 指明已经有应用在写该共享内存，本应用不可写该共享内存}} public boolean StopWrite() {mode = 0; // 释放写权限 mapBuf.flip(); mapBuf.putInt(mode); // 写入共享内存头部信息 return true;} 这里提供的类文件mmap.java封装了共享内存的基本接口，读者可以用该类扩展成自己 需要的功能全面的类。如果执行写操作的应用异常中止，那么映像文件的共享内存将不再能执行写操作。为了在应用异常中止后，写操作禁止标志自动消除，必须让运行的应用获知退出的应用。在多线 程应用中，可以用同步方法获得这样的效果，但是在多进程中，同步是不起作用的。方法可以采用的多种技巧，这里只是描述一可能的实现：采用文件锁的方式。写共享内存应用在获得对一个共享内存写权限的时候，除了判断头部信息的写权限标志外，还要判断一个临时的锁文件是否可以得到，如果可以得到，则即使头部信息的写权限标志为1也可以启动写权限，其实这已经表明写权限获得的应用已经异常退出，这段代码如下： // 打开一个临时的文件，注意同一共享内存，该文件名要相同，可以在共享文件名后加后缀“.lock”。 RandomAccessFile fis = new RandomAccessFile("shm.lock","rw"); // 获得文件通道 FileChannel lockfc = fis.getChannel(); // 获得文件的独占锁，该方法不产生堵塞，立刻返回 FileLock flock = lockfc.tryLock(); // 如果为空，则表明已经有应用占有该锁 if(flock == null) {...// 不能执行写操作} else {...// 可以执行写操作} 该锁会在应用异常退出后自动释放，这正是该处所需要的方法。