当前位置：文档之家 › 基于Thrift框架RPC的研究与实现

基于Thrift框架RPC的研究与实现

  • 格式：pdf
  • 大小：816.25 KB
  • 文档页数：2

2016年第1期信息与电脑China Computer&Communication软件开发与应用目前远程服务调用方式有很多种，主要有以下两种，一种是基SOAP 消息格式的Web Service ，SOAP 是一个重量级的协议，基于XML 格式进行数据传输，其安全性好。

另外一种是RESTful 服务，RESTful 是基于HTTP 之上建立的一种接口规范，核心是资源，使用JSON 进行数据传输，其安全性较差。

本文介绍的Thrift 远程服务调用框架，采用生成目标代码的方式，简单易用；同时具有数据结构与传输表现的分离，支持多种消息格式，包含完整的客户端/服务端堆栈等特点，可快速实现RPC ，Thrift 使用二进制格式进行数据传输，效率更高，更适合高并发场景。

１　Ｔｈｒｉｆｔ架构Thrift 是一个客户端和服务端的架构，即实现了C/S 模式，通过Thrift 的IDL 编译器代码生成工具，生成相应语言的接口代码。

Thrift 通过自定义的传输协议规范(TProtocol)和传输数据标准(TTransports)，使用自己内部的序列化机制对传输的数据（IDL 生成的接口代码）进行简化和压缩，从而提高传输效率。

图１　Ｔｈｒｉｆｔ整体架构图Thrift 整体的架构，如图1所示，在最上层是用户自行实现的业务逻辑代码。

第二层是由Thrift 编译器自动生成的代码，主要用于结构化数据的解析，发送和接收。

TServer 主要任务是高效的接受客户端请求，并将请求转发给Processor 处理。

Processor 负责对客户端的请求做出响应，包括RPC 请求转发，调用参数解析和用户逻辑调用，返回值写回等处理。

从TProtocol 以下部分是Thirft 的传输协议和底层I/O 通信。

TProtocol 是用于数据类型解析的，将结构化数据转化为字节流给TTransport 进行传输。

TTransport 是与底层数据传输密切相关的传输层，负责以字节流方式接收和发送消息体，不关注是什么数据类型。

底层IO 负责实际的数据传输，包括Socket 、文件和压缩数据流等。

Thrift 还提供阻塞、非阻塞、单线程和多线程的模式运行，配合一些服务器/容器一起运行，如Tomcat 等。

２　数据类型及协议2.1 数据类型Thrift 支持的数据类型有以下几种：基本类型：Thrift 的基本数据类型和Java 的基本数据类型相似，有bool ，byte ，i16（16位有符号整数），i32（32位有符号整数），i64（64位有符号整数），Double ，String 。

集合类型：list （单一类型的有序集合，许元素重复），Set （无序元素机车且集合内的元素具有唯一性），Map<t1,t2>（键类型为t1，值类型为t2的kv 对，键不容许重复）。

结构体和异常类型：Thrift 结构体在概念上类似于C 语言结构体类型--将相关属性封装在一起的简便方式。

异常在语法和功能上类似于结构体，差别是异常使用关键字Exception 而不是Struct 声明。

但它在语义上不同于结构体：当定义一个RPC 服务时，开发者可能需要声明一个远程方法抛出一个异常。

服务类型：Service ：定义对象的接口和一系列方法。

2.2 协议Thrift 协议层抽象了数据结构的定义，描述了如何组织数据以进行传输，包括Encode 和Decode 数据处理。

所以，基于Thrift 框架RPC 的研究与实现田翠珍（同济大学软件学院，上海 200092）摘　要：Apache Thrift 是一种高效的、可扩展的并且支持多种编程语言的跨语言通讯框架。

2007成为Apache 基金的开源项目。

先详细介绍了Apache Thrift 的整体架构、数据类型、协议和内部原理，又基于Java 语言的Thrift 客户端和服务器的实现给予处理。

关键词：Thrift；RPC；数据类型；数据协议中图分类号：TP311.52 文献标识码：A 文章编号：1003-9767（2016）01-083-02作者简介：田翠珍（1978-），女，内蒙古呼和浩特人，本科，小教高级。

研究方向：软件工程。

2016年第1期信息与电脑China Computer&Communication软件开发与应用协议层负责实现数据的序列化和反序列化机制，例如序列化Json, XML, Plain Text, Binary, Compact Binary 等。

总体划分为文本和二进制传输协议，为提高传输效率，大多采用二进制类型的传输协议，常用协议有以下几种：TBinaryProtocol 协议，二进制编码的传输协议，Thrift 默认支持该协议；TCompactProtocol 协议，采用Zigzag 编码可以节省传输空间，使数据的传输效率更高；TJSONProtocol 协议，JSON 数据编码协议；TSimpleJSONProtocol ，只提供JSON 只写的协议，适用于通过脚本语言解析；TDenseProtocol 密集协议，尽可能使用小的空间，不建议生产环境使用。

３　Ｔｈｒｉｆｔ内部原理Thrift 由两部分组成：编译器（在Compiler 目录下，采用C++编写）和服务器（在lib 目录下），其中编译器的作用是将用户定义的Thrift 文件编译生成对应语言的代码，而服务器是事先已经实现好的、可供用户直接使用的RPC Server （当然，用户也很容易编写自己的Server ）。

同大部分编译器一样，Thrift 编译器（采用C++语言编写）也分为词法分析、语法分析等步骤，Thrift 使用了开源的flex 和Bison 进行词法语法分析（具体见thrift.ll 和thrift.yy ），经过语法分析后，Thrift 根据对应语言的模板（在compiler\cpp\src\generate 目录下）生成相应的代码。

对于服务器实现而言，Thrift 仅包含比较经典的服务器模型，比如单线程模型（TSimpleServer ），线程池模型（TThreadPoolServer ）、一个请求一个线程（TThreadedServer ）和非阻塞模型(TNonblockingServer)等。

４　基于Ｊａｖａ的Ｔｈｒｉｆｔ实现4.1 生成代码编写Thrift 文件（定义接口，结构，异常等）,保存为test.thriftnamespace java net.johnc.thrift service Test{void ping(1： i32 length)}把thrift.exe 和test.thrift 文件放在同一个目录，当然也可以把thrift.exe 文件放进环境变量进入DOS 命令执行：thrift.exe --gen java test.thrift 生成文件 gen-java/net/johnc/thrift/Test.java 4.2 服务端代码实现服务端代码要实现Iface 接口：package net.johnc.thrift;import org.apache.thrift.TException;public class ServerImpl implements Server.Iface {public void sayHello(String msg) throws TException {System.out.println("calling sayHello ,msg=" + msg);}}4.3 启动服务端代码通过实例化TServerSocket 对象，绑定8088端口来启动Thrift 的服务程序：T S e r v e r S o c k e t s e r v e r T r a n s p o r t = n e w TServerSocket(8088);Te s t.P r o c e s s o r p r o c e s s = n e w P r o c e s s o r (n e w ServerImpl());Factory factory = new TBinaryProtocol.Factory(true, true);Args args = new Args(serverTransport);args.processor(process);args.protocolFactory(factory);TServer server = new TThreadPoolServer(args);server.serve();4.4 客户端实现客户端通过与服务端8088端口建立连接，访问服务端方法：TTransport ttransport = new TSocket("localhost", 8088);TProtocol tpProtocol = new TBinaryProtocol(ttransport);Client client = new Client(tpProtocol);ttransport.open();client.sayHello("Hello World!");ttransport.close();５　结　语本文介绍了Thrift 框架的架构体系以及支持的数据类型，并对Thrift 的内部实现原理进行了简单的剖析。

最后通过一个简单的客户端/服务端的构建来展示了Thrift 的客户端/服务端应用。

由于Thrift 具有传输效率高，支持多语言的特点，目前在互联网公司中具有广泛的应用，例如：Facebook 开源日志收集系统、淘宝的实时数据传输平台、Evernote 开放接口等。

参考文献[1]韩冰,祝永志.一种基于Thrift 的跨平台单点登录实现方法[J].软件导刊,2014(13).[2]梁明炯.基于Thrift 框架的数据交换方案[J].科技创新与应用,2015(13).。

合集下载

rpc框架有哪些

rpc框架有哪些

rpc框架有哪些RPC框架是一种用于构建分布式系统的开发工具，它能够使不同的计算机程序在网络中互相通信和协同工作。

RPC（Remote Procedure Call，远程过程调用）是一种通信协议，它允许应用程序通过网络请求调用远程计算机上的程序。

RPC框架提供了一种透明的方式来处理远程过程调用，使得开发者可以像调用本地方法一样调用远程方法。

在分布式系统的设计中，RPC框架起到了关键的作用。

它使得不同的模块和服务能够通过网络进行通信，从而实现分布式计算。

RPC框架可以隐藏底层通信细节，提供简单的接口供开发者使用。

通过使用RPC框架，开发者可以避免手动编写复杂的网络通信代码，大大提高了开发效率。

目前市场上有很多成熟的RPC框架可供选择，下面将介绍几种常见的RPC框架。

1. Apache Dubbo：Apache Dubbo是一种高性能的Java RPC框架，广泛应用于大型分布式系统中。

它采用了面向接口开发的方式，支持多种协议，包括TCP，HTTP和RMI。

Dubbo提供了丰富的功能，如负载均衡、故障转移和动态扩展等。

2. gRPC：gRPC是由Google开发的跨语言的高性能RPC框架。

它使用了先进的协议缓冲区（Protocol Buffers）作为数据交换格式，支持多种编程语言，并提供了强大的功能和灵活的配置选项。

gRPC具有高度的可扩展性和并发性，适用于构建大规模的分布式系统。

3. Apache Thrift：Apache Thrift是一种可扩展的RPC框架，支持多种编程语言和传输协议。

Thrift使用自定义的接口定义语言（IDL）来定义服务接口，然后自动生成客户端和服务端的代码。

Thrift具有高度的性能和可扩展性，广泛应用于大型分布式系统。

4. Spring Cloud：Spring Cloud是基于Spring框架的微服务架构解决方案，提供了一整套开发工具和框架，包括服务注册与发现、负载均衡、熔断器等。

rpc的实现原理

rpc的实现原理

rpc的实现原理RPC（Remote Procedure Call）是一种用于实现分布式系统中不同节点之间通信的机制。

它可以使得不同的计算机程序在网络中进行交互，就像调用本地程序一样简单。

RPC的实现原理主要包括消息传递、序列化和反序列化、代理生成和动态绑定等几个关键步骤。

RPC的实现依赖于消息传递机制。

客户端通过发送请求消息给服务端，服务端收到请求后进行处理，并返回响应消息给客户端。

消息传递可以通过使用不同的传输协议来实现，如TCP、UDP等。

其中，TCP协议提供了可靠的、面向连接的通信，而UDP协议则提供了无连接的、不可靠的通信。

RPC中的数据需要进行序列化和反序列化。

在将数据从一个节点传输到另一个节点时，需要将数据转换为字节流进行传输。

序列化是将数据转换为字节流的过程，而反序列化则是将字节流转换为数据的过程。

常用的序列化和反序列化方式有XML、JSON、Protobuf 等。

为了方便客户端和服务端之间的通信，RPC还使用了代理生成和动态绑定的机制。

客户端在调用远程服务时，实际上是通过客户端代理来完成的。

客户端代理负责将方法调用转化为RPC请求，并将请求发送给服务端。

服务端收到请求后，再通过服务端代理将请求转发给实际的服务对象进行处理。

代理生成可以通过手动编写代码或使用工具自动生成。

动态绑定则是在运行时根据服务的提供者和调用者的约定进行绑定，使得调用者可以透明地调用远程服务。

总结起来，RPC的实现原理主要包括消息传递、序列化和反序列化、代理生成和动态绑定等关键步骤。

通过这些步骤，不同节点之间可以方便地进行通信和交互，实现分布式系统的功能。

在实际应用中，RPC可以提高系统的可扩展性和灵活性，使得系统的各个部分能够独立地进行开发和部署。

同时，RPC还可以提供安全性和可靠性的保障，确保数据的传输和处理过程是可靠和可信的。

总体来说，RPC的实现原理是基于消息传递、序列化和反序列化、代理生成和动态绑定等关键步骤的。

rpc框架c语言

rpc框架c语言

rpc框架c语言RPC（Remote Procedure Call）是一种远程过程调用的通信协议，它允许一个计算机程序调用另一个地址空间（通常是一个远程的服务器）的子程序或函数，而不需要程序员显式地处理通信细节。

C 语言作为一种广泛应用于系统编程和嵌入式开发的编程语言，也有一些优秀的RPC框架可供使用。

一、RPC框架的基本原理RPC框架的基本原理是客户端调用远程服务器上的某个函数，就像调用本地函数一样简单。

它的实现过程可以分为以下几个步骤：1. 定义接口：首先，需要定义客户端和服务器之间的接口，包括函数名、参数类型和返回值类型等信息。

这样，客户端才能正确地调用远程服务器上的函数。

2. 序列化和传输：客户端调用远程函数时，需要将函数名和参数按照一定的规则进行序列化，并通过网络传输给服务器。

服务器接收到请求后，需要对序列化的数据进行反序列化，恢复成函数名和参数，并调用相应的函数进行处理。

3. 远程调用：服务器收到请求后，根据函数名调用相应的函数进行处理，并将处理结果返回给客户端。

客户端接收到结果后，再进行反序列化，得到最终的返回值。

二、常见的C语言RPC框架有许多优秀的C语言RPC框架可供选择，下面列举几个常见的框架：1. gRPC：gRPC是Google开源的RPC框架，支持多种编程语言，包括C语言。

它使用Protocol Buffers来定义接口和消息格式，并通过HTTP/2进行通信。

gRPC具有高性能、跨平台等特点，广泛应用于分布式系统开发中。

2. Apache Thrift：Thrift是Apache开源的跨语言RPC框架，同样支持C语言。

它使用IDL（Interface Definition Language）来定义接口和数据类型，并支持多种传输协议和序列化协议。

Thrift 具有良好的扩展性和跨语言特性，被广泛应用于大规模分布式系统中。

3. ZeroMQ：ZeroMQ是一个轻量级的消息传输库，也提供了RPC 的支持。

restful rpc 例子

restful rpc 例子

restful rpc 例子RESTful RPC 示例在计算机科学领域，REST（Representational State Transfer）是一种软件架构风格，用于构建可扩展的分布式系统。

它使用基于网络的标准HTTP协议来实现资源的操作和状态的传输。

而RPC（Remote Procedure Call）是一种通信协议，允许一个程序调用另一个在不同地址空间或网络上的子程序。

RESTful RPC，顾名思义，是将REST和RPC相结合的一种方法。

它借用了REST的易用性和可扩展性，同时将RPC的优点融入了架构中。

以下是一个示例，展示了如何使用RESTful RPC进行远程过程调用。

假设我们有两个服务，一个是用户服务（User Service），用于管理用户信息，另一个是订单服务（Order Service），用于处理订单相关的操作。

我们需要在订单服务中调用用户服务来获取用户信息。

首先，我们定义一个RESTful风格的API接口，用于表示用户服务中的不同资源。

例如，我们可以使用以下URI路径来表示获取特定用户信息的请求：GET /users/{user_id}在订单服务中，我们可以使用HTTP库发送GET请求到用户服务的上述URI 路径，并传递相应的用户ID。

用户服务将返回该用户的详细信息，订单服务可以将其用于进一步处理。

下面是一个使用Python中的Flask框架实现RESTful RPC的示例代码：```pythonfrom flask import Flask, requestimport requestsapp = Flask(__name__)@app.route('/orders', methods=['POST'])def create_order():# 解析请求中的订单信息order_data = request.json# 获取用户IDuser_id = order_data['user_id']# 构建用户服务API的URLuser_service_url = f"http://user-service/users/{user_id}"# 发送GET请求到用户服务response = requests.get(user_service_url)# 解析响应中的用户信息user_info = response.json()# 在订单服务中处理订单，并使用获取到的用户信息return 'Order created successfully'if __name__ == '__main__':app.run()```在上述示例中，当订单服务的`/orders`路径收到POST请求时，它将解析订单信息，从中获取用户ID，并构建用户服务API的URL。