系统架构设计word版本

系统架构设计技术架构技术架构总览收集于网络，如有侵权请联系管理员删除技术方案前台技术架构根据用户设备及浏览器尺寸路由PC PAD Mobile 其它智能设备页面自适应、最小宽度页面自适应页面自适应element-ui + vuejs + Echarts vuejs + muijsvuejs + muijs 金豆云CMS 配置编译发布自自系统构建：Webpack , Gulp 基础组件库定定义义JS CSS Resource Html5组样收集于网络，如有侵权请联系管理员删除收集于网络，如有侵权请联系管理员删除技术方案微服务架构结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务服务监控基础服务框架spring boot业务代码业务代码业务代码分布式RPC服务框架dubbo服务注册中心业务代码业务代码业务代码zookeeper服务发布容器docker 业务代码业务代码业务代码持续集成工具服务治理jenkins收集于网络，如有侵权请联系管理员删除收集于网络，如有侵权请联系管理员删除技术方案动静分离 - CDN静态资源访问加速静态资源文件（html，css，js，img等）静态数据返回业务静态图片用户ＣＤＮECS（服务器）OSS（云存储用户动态动态数据用户静态请求数据结果返回数据请求回源请求抓取数据静态脚本附件Web程序数据库内网访问，图片视频\音频数据更新维护收集于网络，如有侵权请联系管理员删除精品文档智能压缩对静态资源进行压缩，减少传输大小，加速分发效果可视化监控可通过视化监控管理，查看监控日志和统计分析制定合适的缓存策略，并可通过从源站刷新缓存等手段主动维护高访问资源的缓存收集于网络，如有侵权请联系管理员删除精品文档收集于网络，如有侵权请联系管理员删除技术方案负载均衡 + 弹性扩展流量调度多台云服务器自动进行流量分发，获得更高水平的容错性能扩展性支持云服务器动态扩展，实现无缝伸缩，伸缩过程不用更换任何设备，对相关调用和访问者零影响安全四层DDoS 攻击防护，支持应用防火墙和CC 防护，提供防护统计页面，实时抵御网络攻击精品文档收集于网络，如有侵权请联系管理员删除云服务器E C S负载均衡云服务器ECS后期根据 业务扩展 增强负载均衡云服务器ECS云服务器ECS负载均衡云服务器ECS云服务器ECS精品文档收集于网络，如有侵权请联系管理员删除技术方案消息系统消息队列采用阿里云MQ消息发送/发布方消息接收/订阅方TC PUDP HTTP SOAP …消息接收器消息发送器流入路由器流出路由器拦截器消息 内部服务 拦截器转换器组件调用组件容器精品文档收集于网络，如有侵权请联系管理员删除技术方案推荐引擎基于阿里云的RecEng （推荐引擎）和MaxCompute （大数据计算服务）搭建金豆云推荐引擎，实现千人千面基本推荐流程客户接入数据特征提取 计算用户/物品评分用户/物品 用户/物品 的原始特征评分矩阵用户/物品 关系计算相关性计算+邻近计算推荐建模流程客户效果数推荐请求 API据OTS 物品实 模型样本 时修正表推荐处理线OTS 离线计程算结果表基于业务目标 OTS 用户实的监督学习时修正表精品文档离线计算在线计算收集于网络，如有侵权请联系管理员删除精品文档技术方案用户认证SSO + OAuth2 内部系统内部系统采单点登陆方式进行管理…收集于网络，如有侵权请联系管理员删除精品文档收集于网络，如有侵权请联系管理员删除外部系统外部系统连接主要分为2种方式：1. 通过ROP 平台实现数据交互2. 金豆云提供OAuth2认证机制给第三方，实现页面与数据的交互Reque st User UrlR e q u e s t A c c e ss U r l请求用户OpenIDRequest Info Url通过token 、openId 及API精品文档技术方案分析平台HBase Hadoop HDFSJSON Echarts | CuBIREST API 报表Spring，SpringMVC，JMS，Sqoop事件监听定时任务数据导入SparkAPI接口数据分析数据融合MQ消息队列精品文档Hadoop HDFS支持分布式存储•分析平台基于业务数据进行数据映射与融合•整体架构基于大数据分析框架设计，并通过模块化设计进行内部解耦，将数据收集，导入及分析功能围绕分析模型系统处理•业务数据收集工作通过异步消息及定时导入方式实现•底层技术实现•前端主要提供REST API供产品平台进行数据获取。

同时采用Echarts或CuBI进行报表展现•中台服务逻辑层使用Spring，SpringMVC作为应用构建及对外接口发布，配合MQ队列机制处理异步消息。

Spark作为核心数据处理引擎，进行MapReduce处理•持久层主要采用HBase进行大数据存储，同时使用收集于网络，如有侵权请联系管理员删除精品文档收集于网络，如有侵权请联系管理员删除技术方案数据库设计原则1 统一数据视图保证数据的及时性、一致 性、准确性、完整性2 数据应用分离应用系统只依赖逻辑数据库应用系统不直接访问其它宿 主的数据库，只能通过服务 访问3 数据读写分离访问量大的数据库做读写分离数据量大的数据库做分库分表不同业务域数据库做分区隔离重要数据配置备库；Hadoop HDFS合理使用缓存• 产品平台数据库设计方案采用二级缓存机制 4• 一级缓存使用Redis 副本集，对频繁访问数据进行缓存。

同时围绕Redis 单线程机制，针对大量并发场景设计精品文档了同一用户的并发锁策略。

• 二级缓存使用MongoDB副本集，对结构化数据及频繁更新数据进行文档化数据存储•业务数据库使用MySQL集群方案•分析平台基于大数据架构设计方案，数据库使用区域HBase部署策略，同时采用Hadoop HDFS进行分布式文件存储收集于网络，如有侵权请联系管理员删除技术架构–运营监控流量控制应用：集群，无状态，提高访问量数据：读写分离，提高性能应用：按业务域划分成不同子系统数据：数据分区1. 分流应用：不同业务类型分片数据：分库分表，提高数据容量应用：分层，功能与非功能分开数据：冷热数据分离无法缓解大流量1. 动态页面降级到静态2. 整体降级到其他页面3. 页面部分内容舍弃一些非关键业务，2. 降级如购物车库存状态3. 限流降级一些下游系统，无法缓解如一次拆分暂停服务端限流大流量远程服务降机到本地缓存精品文档技术架构–运营监控SLA数据持久性数据可销毁性不低于99.9999999% 数据无法恢复数据可迁移性数据私密性迁入迁出网络层访问控制技术实现对不同用户资源的隔离服务可用性数据知情权不低于99.95% 对于数据、备份数据所在数据中心地理位置、数据备份数量具有知情权故障恢复能力服务资源调配能力7×24小时的运行维护用户可在10分钟内启用或释放100台云服务器，或在5分钟内完成停机升级CPU和内存，并支网络接入性多线接入，0M精品文档精品文档技术架构–治理灰度发布部分请求到旧系统上，另一部分请求到了新的灰度系统上．走到旧系统的请求，还是照原样处理．走到了新版灰度系统的请求，需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数据．如果走到新系统的请求查不到该用户的数据，还需要首先同步一份来新系统上请求首先走到了新版本需要灰度的服务Ａ上，在经过该服务处理后，给请求打上了tag Ａ，由于带上了tag，后续访问的都是配套灰度的Ｃ服务精品文档精品文档收集于网络，如有侵权请联系管技术架构 – 安全安全策略1Https 接入数据传输入过来加密，防止传输过程中数据被篡改、安全级别更高黑白名单设置黑名单，使用 haproxy 、nginx 过滤恶意请求OAuth2认证3 使用Spring-security-oauth2实现与第三方系统认证授权6安全巡警购买阿里安骑士、Web 应用防火墙，防止恶意CC 攻击，避免网站挂马篡改IP 限制精品文档设置数据库访问IP列表，保障核心数据不4Hystrix熔断受到侵犯通过Hystrix防护和控制系统依赖，防止故障连锁，以完成对应用的熔断、降级等策略。