使用HammerDB对MySQL进行压测

0    51    1

👉 本文共约4650个字,系统预计阅读时间或需18分钟。

背 景

服务器配置:960G sandisk单盘SSD,32 core,128G内存;

数据库关键参数:innodb_buffer_pool_size=72G,双一,innodb_log_file_size=4G,innodb_log_buffer_size=128M,innodb_buffer_pool_instances=32;

1、HammerDB安装与配置

1.1. 什么是hammerdb

HammerDB是针对Oracle,Microsoft SQL Server,IBM DB2,TimesTen,MySQL,MariaDB,PostgreSQL,Postgres Plus Advanced Server等数据以及Greenplum,Redis,Amazon Aurora和Redshift以及Hadoop上的传统 SQL的开源数据库负载测试和基准测试工具。

可以模拟TPC-C测试模型(是在线事务处理OLTP的基准程序),主要用于模拟一个批发商的货物管理环境,测试结果由TPC-C吞吐率衡量,标准测试模型中的单位是tpmC(在hammerdb中,测试结果的单位是tpm,不是tpmC。tpm表示每分钟的事务交易数量。tpmC是TPC-C的事务交易单位)。

也可以模拟TPC-H测试模型(是在线分析处理OLAP的基准程序),主要用来模拟供应商和采购商之间的交易行为,测试结果由TPCH Power来衡量,该值与数据量和交易平均时间有关,表示一个小时内能够完成的复杂交易的数量。

1.2. 安装

下载hammerdb安装包

下载文件是一个安装程序,直接执行这个程序进行安装

查看安装目录

1.3. 配置

环境变量

安装hammerdb GUI依赖包

验证环境变量

补充:如果安装了sysbench 1.0,则可能报如下错误

修改配置文件

所有HammerDB的工作数据都可以在hammerdb界面启动之后,使用菜单选项进行临时设置。 但是,如果你经常需要做某个测试,希望这些配置持久化而不需要每次都去临时设置,那么你可以在HammerDB的工作目录下名为config.xml的配置文件中进行设置,该配置文件将在hammerdb启动时读取。

在这个文件中,您可以通过编辑xml文件来预设模式构建和驱动程序配置,而无需每次都去临时手动更改。 如果你的xml文件格式正确(无格式错误),当你在测试过程中选择对应的菜单选项时,你在xml文件中设置的变量将被应用到HammerDB上,例如(这里我们只看mysql的tpc-c部分):

补充

  • mysql_num_threads设置一定不能比my_count_ware仓库数量大,否则后面造数会卡在创建存储过程的地方
  • 生产环境压测,仓库建议不少于100个,仓库数量太少时,并发线程数(虚拟用户数量)增加时,会有大量线程因为操作同一行记录而导致大量锁等待(基本在commit阶段)
  • 生产环境中my_total_iterations中总的迭代查询量不建议不低于500W,这里为了快速演示,保留默认的100W
  • 由于hammerdb是GUI界面的,需要使用securecrt或xshell等终端工具配置X11协议转发,且最好使用终端工具直连安装hammerdb的服务器,否则配置起来非常繁琐

登录待测试的MySQL实例,创建测试账号

1.4. 启动

启动hammerdb

启动之后界面如下

img

补充:

如果在xshell和securecrt终端启动报错,请按照如下链接介绍的方法处理(mac版本的securecrt可能因为部分版本有BUG,无法弹窗,那就用虚拟机吧,虽然xshell可以弹窗,但是确没有mac版本)

http://www.itshuji.com/technical-article/1764.html

注意,配置完成后需要关闭现有终端的连接,并重新连接才会生效

2、如何使用hammerdb测试MySQL

2.1. 在GUI窗口进行配置与造数

双击左侧MySQL,如下图

img

在弹出的窗口中,选择MySQL和TPC-C,如下图

img

切换基准测试数据库类型之后,依次展开TPC-C->Schema Build,并双击Options

img

在弹出的窗口中,配置好相关的参数(由于之前我们配置过config.xml文件,所以这里已经有填写好的默认值了,这里无需再填写),如下图:

img

然后点击如下图所示的"build"或者按钮,开始创建基准测试数据库:

img

然后,可以看到如下输出信息,注意:下面1,2,3,4,5,6…这个输出行的status列不能出现一把红叉的情况,如果有则表示发生了报错,当worker完成后,监视线程会创建索引、存储过程并收集统计信息。虚拟用户1将显示信息“TPCC SCHEMA COMPLETE”字样,其他所有虚拟用户将显示已成功完成其操作的字样,如果没有看到,则说发生了错误。可以在最下方的文本输出框查看报错信息 :

img

现在,我们使用MySQL命令行客户端登录数据库,可以查看到当前的一些连接进程和数据库表:

造数完成之后,可以看到“TPCC SCHEMA COMPLETE”字样,如下图:

img

schema创建完成之后,我们可以登录数据库中简单查询以下数据(注意:如果以下三个语句任意一个查询到无结果,说明造数失败,会导致后续load测试无法进行):

2.2. 使用hammerdb进行oltp基准测试

前面2.1小节已经按照tpc-c模型(oltp模型)创建好了测试库tpcc,现在,我们基于tpcc库进行oltp测试

造数完成之后,我们点击"Destroy Virtual Users"按钮停止造数的进程:

img

然后左侧列表双击"Driver Script" :

img

弹出如下图对话框,这里有两个TPC-C驱动程序脚本,您可以选择标准驱动程序脚本(Standard Driver Script)或定时测试驱动程序脚本(Timed Test Driver Script),此选项选择不同的值会动态修改掉左侧"Driver Script"下的"Load"加载的脚本内容,该脚本是由左侧菜单"Virtual User"配置的虚拟用户运行的脚本,用于执行基准测试。这两种选项加载的不同驱动程序脚本的区别如下:

  • Standard Driver Script:不定时,用于无法估计测试时长或者想手动选择恰当的时机终止的场景,选择该脚本,在Virtual User Output标签页中或输出日志文件中会打印具体的执行SQL
  • Timed Test Driver Script:指定测试时长的驱动程序脚本,选择该项可以设置Minutes of Rampup Time和Minutes for Test Duration两个配置项,前者是指定预热时长,后者是指定总的基准测试时长,选择该脚本,在Virtual User Output标签页或输出日志文件中,只有虚拟用户列表,不打印具体的SQL

补充:

为了方便演示基准测试曲线,我们这里选择第一种,如下图

img

本人提供Oracle、MySQL、PG等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

双击左侧菜单"Virtual User"下的"Load",载入标准测试驱动程序脚本

img

然后,创建虚拟用户。

注意:虚拟用户有一个主用户,用于收集其他虚拟用户的统计值和返回状态,主用户包含在你指定的用户数量之内,因此,如果你希望有128个用户(128个并发连接数),那么,你需要创建129个用户,如下图,双击"Virtual User"下的"Options",弹出如下窗口

img

要注意:

下图中的"Show Output"选项建议勾选,否则基准压测过程中的相关日志输出无法打印(Virtual User Output标签页)

  • Show Output:勾选之后会打印虚拟用户列表和相关的日志输出到Virtual User Output标签页
  • Log Output to Temp:勾选之后会创建/tmp/hammerdb.log文件,用于存放压测过程中的日志输出信息
  • Use Unique Log Name:勾选之后会为每次压测创建一个唯一的日志输出文件,用于存放压测过程中的日志输出信息,例如:/tmp/hammerdb_5A267C6555F903E273734353.log
  • No Log Buffer:勾选之后不缓冲日志 :

img

然后双击"Virtual User"下的"Create"按钮,创建虚拟用户(准备要并发连接线程,注意此时数据库中并未真正创建连接) :

img

然后双击左侧"Virtual User"下的"Run",开始执行基准测试 :

img

此时,登录到数据库中,你可以发现有129个hammerdb用户的线程在运行:

此时,我们需要查看tpm的值,可以点击如下图所示的按钮:

img

然后,可以从如下图所示的窗口中,等待几十秒即可看到数值,再过一会就可以看到曲线图,使用曲线图可以更直观地发现性能抖动问题 :

img

img

如果要终止测试和终止tpm统计输出,可以依次点击如下图所示的两个按钮(第一个表示终止基准测试,第二个表示终止tpm统计输出):

img

3、总 结

我们平时测试MySQL时,大多数时候都是使用的sysbench、tpcc-mysql等基准测试工具,现在,你可以尝试着使用hammerdb来对MySQL做一做基准测试,虽然HammerDB测试工具大多数时候我们听到的都是用于Oracle测试。但却不失为一种选择。另外,前面提到过,HammerDB还支持olap场景的基准测试,大家有兴趣的可以试一试。

参考

https://cloud.tencent.com/developer/article/1072939

http://www.hammerdb.com/hammerdb_mysql_oltp.pdf

http://www.hammerdb.com/hammerdb_quickstart_mysql.pdf

标签:

头像

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

11 + 13 =

 

嘿,我是小麦,需要帮助随时找我哦
  • 18509239930
  • 个人微信

  • 麦老师QQ聊天
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部
返回顶部