您的当前位置:首页正文

系统部署方案与优化

来源:爱站旅游
导读系统部署方案与优化
系统部署方案与优化

方案背景:

目前部署在阿里云上的系统存在内存不够用,不定期的应用假死 问题。为了解决这些问题并能够很好的对系统的扩展性和可用性进行 配置。系统需要进行部署改造。为此提出改造方案。

支付客户端1

支付客户端N

1、发送请求

4、返回结果

7、消息发送

支付网关

旧 -- 2、处理后发送…

3、处理后返回 5、异步回调

Tomca应用 6、发送尸 ActiveMQ 消息 服务器 回调消息 服务器

数据库

目前的通讯过程主要有2中构成,分别如下表: 序号 通讯路径 备注 生成订单、主动查询、 退款、取消订单 1 。 ②③④ ⑤T②〜② 图:通讯过程

2 付款通知 详细的通讯过程如下图:

其中通讯虚线标识是一次连接,但该连接为用完即关闭,特点为连接 时间比

较短。图中实线标识该为一个连接,但该连接具有连接时间长 的特点,一般是系统起来后进行连接,系统主要注销后关闭。其中步 骤6采用的连接池技

术。从图中可以看出目前主要的瓶颈分别内存、 硬盘速度和大小、带宽(目前较好)。 分别讨论如下:

目前的内存的主要消耗对象为:

内存消耗对象分析 序号 系统 主要对象 建议内存 1 2 3 4 4 Tomcat应用服 目前没有使用缓存技术,主要是线程占 用4G 数和连接数占用相关的内存 务器 ActiveX消息服 主要是连接数和消息的存储(自带数据 库4G 存储引擎) 务器 Mysql 4G 查询缓存 操作系统 预留 进程管理、调度 应急和升级 10% 20% 结论:建议采用16G内存。因虚拟机内存可以调整,在开始阶段可 以采用

8G的内存(节省开支),支撑的数量高了调整为16G 关于CPU建议4核心CPU及以上。主要用来给 Mysql、java使用 数据量来后,可以将 mysql单

独部署到独立的虚机上。

如果部署mysql,建议硬盘100G。不部署mysql50G即可。 本部署方案为迁移的方案,为计算优化需要的各个参数。

优化方案

系统的特点:数据增长量非常快,并且有在一定时间段比较集中 的特点。但是查询的量是比较少的,所有的操作基本上是以 订单编号进行查询和修改。

下图为系统运行一段时间的后数据的冷热程度, 横轴为总量。系统中 经常操作的数据往往最新添加的数据从比例上可以看出占到的数据 量是比较小的。

32位的

1 1 1 1 1 类似预授权的 退款操作

热点数据

不建议采用分库分表的方案,建议采用noSql中的redis技术和mysql 共同处理。其中Redis采用redis-storage技术,可以实现数据的快速 访问。

redis-storage采用 google 的 Leveldb 存储引擎,以下为 Leveldb 的相关

情况:Leveldb是一个google实现的非常高效的kv数据库, 目前的版本

1.2能够支持十亿级别的数据量了。 在这个数量级别下

还有着非常高的性能,主要归功于它的良好的设计。特别是 LSM算

法。LevelDB是单进程的服务,性能非常之高,在一台 4个Q6600 的CPU机器上,每秒钟写数据超过 40w,而随机读的性能每秒钟超 过 10w。 实际使用情况:目前了解到国内某快递公司的核心骨干系统采用 redis-

storage进行查询和存储,日均处理单量大于 500万(均为不同

的单号,平均600万),自上线后,运行较为稳定(1年左右,总单

量超过20亿条)。

建议采用Redis-storage技术,同时结合mysql做支付数据的离线分析 和备份。

更改的结果为如下图,即增加一个 用内存来进行加速。

支付客户端N

Redis-stroage的nosql数据库。利

支付客户端1

1、发送请求

4、返回结果

6、消息发送

分离数据 库1 分离数据 库2 分离数据 库N 分支系统

本方案的优点:

性能上非常高,Redis-storage非常适合该系统的特征,系统在单 量超高10亿单后,依然能够具有较好的性能。

工程上的好处:本方案没有采用复杂的分表和分库,结构简单, 减少了程序的复杂性。可以先完成程序和 行分离数据的功能编写。

redis-storage部分,后续进

因篇幅问题不能全部显示,请点此查看更多更全内容

Top