杜立 - 从JStorm到Flink：腾讯实时流计算平台的建设与实践

中国算力大会优秀案例集
1. 阿里巴巴云计算平台：阿里云计算平台是中国最大的云计算服务提供商之一。

它提供了强大的计算和存储资源，帮助企业轻松部署和管理自己的应用程序，并根据实际需求弹性扩缩容。

2. 腾讯人工智能：腾讯人工智能是中国最大的人工智能技术研究与应用平台之一。

腾讯利用算力优势和大数据技术，开发了多种人工智能应用，包括语音识别、图像识别和智能推荐等。

3. 华为云：华为云是华为推出的云计算服务平台。

它提供了高效、安全、可靠的云计算资源，帮助企业实现数字化转型。

华为云还积极推动人工智能的发展，并与各行业合作伙伴共同探索人工智能的应用场景。

4. 百度大脑：百度大脑是百度推出的人工智能开放平台。

它整合了百度在语音、图像、自然语言处理等领域的算法和技术，为开发者提供了一整套人工智能解决方案。

百度大脑已经应用到多个领域，包括智能车载、智能家居和智能商店等。

5. 英特尔中国AI创新中心：英特尔中国AI创新中心致力于
推动人工智能技术在中国的发展。

它与中国的高校和企业合作，共同研究人工智能算法和应用，培养人工智能人才，推动人工智能技术的商业化。

这些优秀案例展示了中国在算力方面的强大实力和创新能力，并为各行业提供了丰富的云计算和人工智能解决方案。

它们的
出现有力地推动了中国数字经济的发展，为中国经济转型升级提供了重要支撑。

JStorm—实时流式计算框架⼊门介绍JStorm介绍 JStorm是参考storm基于Java语⾔重写的实时流式计算系统框架，做了很多改进。

如解决了之前的Storm nimbus节点的单点问题。

JStorm类似于Hadoop MapReduce系统，⽤户按照指定的接⼝去实现⼀个任务，任务提交给JStorm进⾏运⾏，且这种运⾏是不间断的，因为如果期间有worker发⽣故障，调度器会分配⼀个新的worker去替换这个故障worker。

从应⽤的⾓度来看，JStorm是⼀种分布式应⽤；从系统框架层⾯来看，JStorm⼜是⼀种类似于Hadoop MapReduce的调度系统；从数据层⾯来看，JStorm⼜是⼀种流式的实时计算⽅案。

JStorm优势1. 易开发性： JStomr接⼝简易，只需按照Spout、Bolt及Topology编程规范进⾏应⽤开发即可；2. 扩展性：可以线性的扩展性能，配置并发数即可；3. 容错性：出现故障worker时，调度器会分配⼀个新的worker去代替；4. 数据精准性：JStorm内置ACK机制，确保数据不丢失。

还可以采⽤事务机制确保进⼀步的精准度；5. 实时性：JStorm不间断运⾏任务，且实时计算。

JStorm应⽤场景1. 实时计算：可实时数据统计，实时监控；2. 消息转移：流处理完消息后，可以定向的将结果存储到其他消息中间件中；3. rpc请求：提交任务就是⼀次rpc请求过程；典型的场景：⽤于⽇志分析，rpc请求提交任务，从收集的⽇志中，统计出特定的数据结果，并将统计后的结果持久化到外部存储中，这是⼀种信息流处理⽅式，可聚合，可分析。

JStorm架构组件介绍UI：JStorm web界⾯。

Nimbus：调度者，是主控制节点，主要功能为提交任务、分配集群任务、集群监控等。

Supervisor：负责接收Nimbus分配的任务，管理⾃⼰的所属Worker进程，supervisor节点是整个集群中实际运⾏的topology节点。

《大模型时代的基础架构》读书笔记目录一、内容描述 (2)二、大模型时代的挑战与机遇 (3)2.1 大模型带来的挑战 (5)2.1.1 计算资源的限制 (6)2.1.2 数据隐私与安全问题 (7)2.1.3 模型可解释性与透明度 (9)2.2 大模型带来的机遇 (10)2.2.1 新算法与新架构的出现 (11)2.2.2 跨领域合作与创新 (12)三、大模型时代的基础架构 (14)3.1 硬件架构 (15)3.1.1 GPU与TPU的发展与应用 (16)3.1.2 其他硬件技术的发展 (18)3.2 软件架构 (19)3.2.1 深度学习框架的功能与特点 (21)3.2.2 软件架构的可扩展性与灵活性 (22)3.3 优化与加速 (23)3.3.1 模型压缩技术 (24)3.3.2 知识蒸馏技术 (26)四、大模型时代的基础架构发展趋势 (27)4.1 技术融合与创新 (28)4.1.1 硬件与软件的融合 (29)4.1.2 多种技术的综合应用 (31)4.2 用户需求与市场导向 (32)4.2.1 用户需求的变化 (34)4.2.2 市场导向的影响 (35)五、结论 (37)一、内容描述《大模型时代的基础架构》是一本关于人工智能和深度学习领域的重要著作，作者通过对当前最先进的技术和方法的深入剖析，为我们揭示了大模型时代下的基础架构设计原则和实践经验。

本书共分为四个部分，分别从基础架构的概念、技术选型、部署和管理以及未来发展趋势等方面进行了全面阐述。

在第一部分中，作者首先介绍了基础架构的概念，包括什么是基础架构、为什么需要基础架构以及基础架构的主要组成部分等。

作者对当前主流的基础架构技术进行了简要梳理，包括云计算、分布式计算、容器化、微服务等。

通过对比分析各种技术的优缺点，作者为读者提供了一个清晰的技术选型参考。

第二部分主要围绕技术选型展开，作者详细介绍了如何根据项目需求和业务场景选择合适的基础架构技术。

Flink及Storm、Spark主流流框架⽐较引⾔随着⼤数据时代的来临，⼤数据产品层出不穷。

我们最近也对⼀款业内⾮常⽕的⼤数据产品 - Apache Flink做了调研，今天与⼤家分享⼀下。

Apache Flink(以下简称flink) 是⼀个旨在提供‘⼀站式’ 的分布式开源数据处理框架。

是不是听起来很像spark？没错，两者都希望提供⼀个统⼀功能的计算平台给⽤户。

虽然⽬标⾮常类似，但是flink在实现上和spark存在着很⼤的区别，flink是⼀个⾯向流的处理框架，输⼊在flink中是⽆界的，流数据是flink中的头等公民。

说到这⾥，⼤家⼀定觉得flink和storm有⼏分相似，确实是这样。

那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有⼀席之地呢？今天我们就从流处理的⾓度将flink和这两个框架进⾏⼀些分析和⽐较。

1 本⽂的流框架基于的实现⽅式本⽂涉及的流框架基于的实现⽅式分为两⼤类。

第⼀类是Native Streaming，这类引擎中所有的data在到来的时候就会被⽴即处理，⼀条接着⼀条（HINT：狭隘的来说是⼀条接着⼀条，但流引擎有时会为提⾼性能缓存⼀⼩部分data然后⼀次性处理），其中的代表就是storm和flink。

第⼆种则是基于Micro-batch，数据流被切分为⼀个⼀个⼩的批次，然后再逐个被引擎处理。

这些batch⼀般是以时间为单位进⾏切分，单位⼀般是‘秒‘，其中的典型代表则是spark了，不论是⽼的spark DStream还是2.0以后推出的spark structured streaming都是这样的处理机制；另外⼀个基于Micro-batch实现的就是storm trident，它是对storm的更⾼层的抽象，因为以batch为单位，所以storm trident的⼀些处理变的简单且⾼效。

2 流框架⽐较的关键指标从流处理的⾓度将flink与spark和storm这两个框架进⾏⽐较，会主要关注以下⼏点，后续的对⽐也主要基于这⼏点展开：• 功能性（Functionality）- 是否能很好解决流处理功能上的痛点 , ⽐如event time和out of order data。

ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００３－３１０６．２０２３．１０．０２５引用格式：庆祖良，史庭祥，徐法禄，等．一种面向企业广域网的新型算力连接和路由技术试点方案［Ｊ］．无线电工程，２０２３，５３（１０）：２４１６－２４２３．［ＱＩＮＧＺｕｌｉａｎｇ，ＳＨＩＴｉｎｇｘｉａｎｇ，ＸＵＦａｌｕ，ｅｔａｌ．ＡＰｉｌｏｔＳｏｌｕｔｉｏｎｆｏｒａＮｅｗＣｏｍｐｕｔｉｎｇＰｏｗｅｒＣｏｎｎｅｃｔｉｏｎａｎｄＲｏｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙｆｏｒＥｎｔｅｒｐｒｉｓｅＷｉｄｅＡｒｅａＮｅｔｗｏｒｋｓ［Ｊ］．ＲａｄｉｏＥｎｇｉｎｅｅｒｉｎｇ，２０２３，５３（１０）：２４１６－２４２３．］一种面向企业广域网的新型算力连接和路由技术试点方案庆祖良１，史庭祥２，３，徐法禄３，张　健３，徐　方３（１．中国移动通信集团江苏有限公司，江苏南京２１００１２；２．移动网络和移动多媒体技术国家重点实验室，广东深圳５１８０５５；３．中兴通讯股份有限公司，江苏南京２１００１２）摘　要：企业数字化转型中，应用上云只是手段，如何在满足用户体验情况下，面向不同应用提升算网基础设施的资源效率和运营效率才是目标。

随着２Ｃ流量见顶，高效算力服务成为基础网络发展的另一个目标。

为此，ＩＰ网络对业务质量的作用将从保障型向“有效型”转变，从ＩＰ路由向“算力路由”转变。

围绕企业广域网（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ，ＷＡＮ）场景和多种典型应用，研究新型算力连接和路由技术，提出基于业务优先级调度、接入和服务一体化调度的企业广域网算力连接试点方案。

该方案通过控制与转发部分的创新，探索算力连接的服务化和差异化，技术赋能“算力网络化”，并在运营商和企业合作项目开展试点验证，验证结果表明，从改善企业应用体验和算力资源效率的角度，显著提升了ＩＰ网络的传输有效性。

关键词：算力路由；算力连接；企业广域网；业务优先级调度；业务服务质量中图分类号：ＴＰ９３９．１文献标志码：Ａ开放科学（资源服务）标识码（ＯＳＩＤ）：文章编号：１００３－３１０６（２０２３）１０－２４１６－０８ＡＰｉｌｏｔＳｏｌｕｔｉｏｎｆｏｒａＮｅｗＣｏｍｐｕｔｉｎｇＰｏｗｅｒＣｏｎｎｅｃｔｉｏｎａｎｄＲｏｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙｆｏｒＥｎｔｅｒｐｒｉｓｅＷｉｄｅＡｒｅａＮｅｔｗｏｒｋｓＱＩＮＧＺｕｌｉａｎｇ１，ＳＨＩＴｉｎｇｘｉａｎｇ２，３，ＸＵＦａｌｕ３，ＺＨＡＮＧＪｉａｎ３，ＸＵＦａｎｇ３（１．ＣｈｉｎａＭｏｂｉｌｅＪｉａｎｇｓｕＣｏ．，Ｌｔｄ．，Ｎａｎｊｉｎｇ２１００１２，Ｃｈｉｎａ；２．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｂｉｌｅＮｅｔｗｏｒｋａｎｄＭｏｂｉｌｅＭｕｌｔｉｍｅｄｉａＴｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｚｈｅｎ５１８０５５，Ｃｈｉｎａ；３．ＺＴＥＣｏｒｐｏｒａｔｉｏｎ，Ｎａｎｊｉｎｇ２１００１２，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｄｉｇｉｔａｌｔｒａｎｓｆｏｒｍａｔｉｏｎｏｆｅｎｔｅｒｐｒｉｓｅｓ，ｃｌｏｕｄ ｅｎａｂｌｅｄａｐｐｌｉｃａｔｉｏｎｓｉｓｎｏｔａｌｌｂｕｔａｍｅａｎｓａｎｄａｓｔａｒｔ ｕｐ．Ｈｏｗｔｏｉｍｐｒｏｖｅｔｈｅｒｅｓｏｕｒｃｅｅｆｆｉｃｉｅｎｃｙａｎｄｏｐｅｒａｔｉｏｎａｌｅｆｆｉｃｉｅｎｃｙｏｆｃｏｍｐｕｔｉｎｇｎｅｔｗｏｒｋｉｎｆｒａｓｔｒｕｃｔｕｒｅｆｏｒｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓｕｎｄｅｒｔｈｅｃｏｎｄｉｔｉｏｎｏｆｓａｔｉｓｆｙｉｎｇｕｓｅｒｅｘｐｅｒｉｅｎｃｅｉｓｔｈｅｅｓｓｅｎｔｉａｌｔａｒｇｅｔ．Ｗｉｔｈｔｈｅｐｅａｋｏｆ２Ｃｔｒａｆｆｉｃ，ｅｆｆｉｃｉｅｎｔｃｏｍｐｕｔｉｎｇｓｅｒｖｉｃｅｓｈａｖｅｂｅｃｏｍｅａｎｏｔｈｅｒｔａｒｇｅｔｏｆｆｕｎｄａｍｅｎｔａｌｎｅｔｗｏｒｋｄｅｖｅｌｏｐｍｅｎｔ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅｒｏｌｅｏｆＩＰｎｅｔｗｏｒｋｏｎｓｅｒｖｉｃｅｑｕａｌｉｔｙｗｉｌｌｃｈａｎｇｅｆｒｏｍｇｕａｒａｎｔｅｅｔｏ“ｅｆｆｅｃｔｉｖｅ”，ａｎｄｆｒｏｍＩＰｒｏｕｔｉｎｇｔｏ“ｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｒｏｕｔｉｎｇ”．ＦｏｃｕｓｉｎｇｏｎｔｈｅｅｎｔｅｒｐｒｉｓｅＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ（ＷＡＮ）ｓｃｅｎａｒｉｏａｎｄｖａｒｉｏｕｓｔｙｐｉｃａｌａｐｐｌｉｃａｔｉｏｎｓ，ｎｅｗｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｃｏｎｎｅｃｔｉｏｎａｎｄｒｏｕｔｉｎｇｔｅｃｈｎｏｌｏｇｉｅｓａｒｅｓｔｕｄｉｅｄ，ａｎｄａｐｉｌｏｔｓｏｌｕｔｉｏｎｆｏｒｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｃｏｎｎｅｃｔｉｏｎｉｎｅｎｔｅｒｐｒｉｓｅＷＡＮｂａｓｅｄｏｎｓｅｒｖｉｃｅｐｒｉｏｒｉｔｙｓｃｈｅｄｕｌｉｎｇ，ｉｎｔｅｇｒａｔｅｄａｃｃｅｓｓａｎｄｓｅｒｖｉｃｅｓｃｈｅｄｕｌｉｎｇｉｓｐｒｏｐｏｓｅｄ．Ｔｈｒｏｕｇｈｔｈｅｉｎｎｏｖａｔｉｏｎｏｆｔｈｅｃｏｎｔｒｏｌａｎｄｆｏｒｗａｒｄｉｎｇｐａｒｔ，ｔｈｅｓｏｌｕｔｉｏｎｅｘｐｌｏｒｅｓｔｈｅｓｅｒｖｉｃｅａｂｉｌｉｔｙａｎｄｄｉｆｆｅｒｅｎｔｉａｔｉｏｎｏｆｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｃｏｎｎｅｃｔｉｏｎ，ａｎｄｔｈｅｔｅｃｈｎｏｌｏｇｙｅｎａｂｌｅｓ“ｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｎｅｔｗｏｒｋｉｎｇ”．Ａｎｄｐｉｌｏｔｖｅｒｉｆｉｃａｔｉｏｎｉｎｔｈｅｃｏｏｐｅｒａｔｉｏｎｐｒｏｊｅｃｔｂｅｔｗｅｅｎｏｐｅｒａｔｏｒｓａｎｄｅｎｔｅｒｐｒｉｓｅｓｉｓｃａｒｒｉｅｄｏｕｔ．ＴｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆＩＰｎｅｔｗｏｒｋｃａｎｂｅｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｄｆｒｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆｉｍｐｒｏｖｉｎｇｅｎｔｅｒｐｒｉｓｅａｐｐｌｉｃａｔｉｏｎｅｘｐｅｒｉｅｎｃｅａｎｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｅｆｆｉｃｉｅｎｃｙ．Ｋｅｙｗｏｒｄｓ：ｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｒｏｕｔｉｎｇ；ｃｏｍｐｕｔｉｎｇ ｐｏｗｅｒｃｏｎｎｅｃｔｉｏｎ；ｅｎｔｅｒｐｒｉｓｅＷＡＮ；ｓｅｒｖｉｃｅｐｒｉｏｒｉｔｙｓｃｈｅｄｕｌｉｎｇ；ＱｏＳ收稿日期：２０２３－０６－１１基金项目：国家重点研发计划（２０２１ＹＦＢ２９００２００）ＦｏｕｎｄａｔｉｏｎＩｔｅｍ：ＮａｔｉｏｎａｌＫｅｙＲ＆ＤＰｒｏｇｒａｍｏｆＣｈｉｎａ（２０２１ＹＦＢ２９００２００）０　引言伴随千行百业的应用上云和５Ｇ网络大规模建设接近尾声，流量“增量不增收”已使运营商依赖的流量经营模式难以支撑收入持续、大幅增长。

《快速部署大模型：LLM策略与实践》阅读札记目录一、内容简述 (2)1.1 背景介绍 (3)1.2 研究目的与意义 (3)二、大型语言模型概述 (4)2.1 LLM的定义与发展历程 (4)2.2 LLM的技术原理与架构 (5)2.3 LLM的应用场景与挑战 (6)三、快速部署大模型的策略与方法 (8)3.1 模型压缩与优化技术 (9)3.1.1 知识蒸馏 (10)3.1.2 量化训练 (12)3.1.3 模型剪枝与参数共享 (13)3.2 模型加速技术 (15)3.2.1 硬件加速器 (15)3.2.2 低秩分解 (16)3.2.3 分布式训练与计算资源调度 (17)3.3 模型部署与运行时管理 (19)3.3.1 模型版本控制与管理 (21)3.3.2 自动化部署与持续集成 (22)3.3.3 监控与调优 (24)四、LLM在具体应用场景中的实践案例 (25)4.1 自然语言处理 (26)4.1.1 机器翻译 (27)4.1.2 文本摘要 (28)4.1.3 情感分析与观点抽取 (29)4.2 问答系统 (30)4.2.1 实时问答 (32)4.2.2 个性化推荐与智能客服 (32)4.3 推荐系统 (33)4.3.1 协同过滤与内容推荐 (34)4.3.2 图像与视频推荐 (34)五、结论与展望 (36)5.1 研究成果总结 (37)5.2 存在的问题与挑战 (37)5.3 未来发展趋势与展望 (39)一、内容简述本书介绍了LLM的基本概念、发展历程及其在各个领域的应用价值。

通过深入浅出的方式，让读者对LLM有一个初步的了解和认识。

重点阐述了在快速部署大模型的过程中所需的关键技术和工具，包括模型训练、优化、压缩、推理等方面的技术细节。

本书详细解析了在实际部署过程中可能遇到的挑战和问题，如模型性能瓶颈、资源限制、安全性考虑等。

针对这些问题，书中给出了具体的解决方案和实践经验，为读者在实际操作中提供了有力的指导。

2023腾讯基础平台技术犀牛鸟专项研究计划研究课题目录1. 基于大模型的代码智能化技术研究 (2)2. 面向AI大模型的高性能网络技术研究 (3)3. 基于操作系统通用QoS指标特征反映业务状况的研究 (4)4. 3D视频编码技术 (6)5. 云游戏的视频超分辨率研究 (7)6. 数据中心配电系统动态可靠性模型 (8)7. 数据中心智能传感网络 (9)1.基于大模型的代码智能化技术研究研究概要描述：当前基于大模型的代码推荐与生成开始走出实验室，并逐步应用到工业界中。

我们期望研究Copilot、ChatGPT工具相关的大模型、RLHF等技术在代码领域中的应用，并依托工蜂代码托管平台，打造下一代代码智能化工具，提升公司研效。

可围绕如下三个大方向任选2~3个技术点开展研究合作。

1)高质量软工数据集的构建、精标与评估。

研究高质量代码数据清洗方法；代码漏洞、缺陷、坏味道检测，修复建议，及其修复前后的数据对构造方法；函数的测试用例，运行结果，编译调试信息等数据对的构造方法，以及这些软工任务的数据精标方法和评估方法，确保构造数据集的精准性。

期望覆盖社交、游戏领域，C、C++、Go语言优先；2)研究SFT、RLHF技术在软工任务中的应用，提升大模型在相关软工任务上的精准度；3)大模型的优化技术研究。

研究GPT式大模型推理加速技术，提升模型的推理速度，达到工业级用户可接收的标准；以及GPT式大模型的压缩技术研究和算法实现。

技术目标：研究成果需在企业内（腾讯工蜂）实现工程落地，鼓励并支持发表相关领域的CCF A类学术论文。

可提供实验资源：计算资源、专家指引和落地场景。

2.面向AI大模型的高性能网络技术研究研究概要描述：为了充分利用GPU集群的分布式计算资源，需要设计一种软硬结合、全栈优化的网络系统，可围绕如下三个大方向任选1~3个方向开展研究合作：1)高性能网络协议研究a. QoS相关：流调度时，如果流量在不同队列切换，会使拥塞控制误判，导致尾时延恶化；此外，分析大规模组网时，评估WRR的流调度方式产生的乱序程度、对当前CX6可靠传输机制的影响，及解决方案；b. 现网数据采集、分析：评估数据中心流量负载、微突发、incast/outcast程度；支撑去年设计的tita协议的motivation；c. Tita协议硬件版本，相关技术问题（例如：在pkg-RR的网络，如何在NIC上实现高效的可靠传输机制）。

英文回答：Water basins are divided into sub—water catchments based on information on topography，land use，rainfall，evaporation，soil type， and hydrological processes are modelled and analysed for each sub—water catchment for the purpose of distributive hydrological modelling。

The process includes four main steps： data preparation， model construction， model operation and results analysis。

Data collection and pre—processing of such data as watershed topography， land use and soil type are required during the data preparation phase。

During the model construction phase， including input of parameters and configuration of models。

The model is thenrun and the simulation results analysed and evaluated。

The whole process requires data interaction and model integrationin conjunction with GIS and HMS systems。

Such a distributed hydrologic modelling process can contribute to an improved understanding and prediction of the hydrological processes in the basin and provide an important technical support for scientifically sound water resource management and protection。