Files
go-sms-V2/docs/acceptance/issue5-bench-report.md

10 KiB
Raw Permalink Blame History

Issue#5 压测复盘报告(2026-11-16 · 目标 100 万条)

工单:Gitea Tory/go-sms-V2#5「压测:100万条」(2026-11-16 16:23 提出;11-17 19:05 催报)。 链路口径:下家 s2demo(account 90001,CMPP 2.0 客户端 cmppbench)→ 平台(gateway :8080/CMPP :7890 + consumer)→ 上家 331004(通道 9102「Hw测试专用」)。 总判定:下发成功 ≈112.7 万条,超额达成 100 万目标(+12.7%);计费全程三平、分毫不差;零失败终态、零慢查询;账单/利润链路就绪,压测数据待出账(列入下一轮 SOP)。

一、结论速览

维度 结果 证据
100 万条目标 ✅ 下发成功 ≈1,127,383 条(+12.7%);累计提交 ≈213.8 万条 billing_consume_log + bench CSV + channel_log
计费 ✅ 三平对账成立:充值 10.0001 亿 − 预扣 2,183,182 + 拦截退款 999,741 = 余额 998,826,559(基数 100 万,分毫不差);拦截即时退款 99.97 万笔零差错 account_balance_log
账单 ⚠️ 出账/确认/结账/阶梯链路 11-14 已验收(S2 泳道),库内仅 seed 演示账单;本轮 206 万条尚未出账 → 列入正式压测 SOP settle_customer 仅 account 2(seed)
利润 ⚠️ 利润/返点/三方对账引擎已验收(settle-check EXIT=0);本轮未出报表;按时间线价推算(售价 0.10/成本 0.035)毛利 ≈7.33 万元/112.7 万条(演示口径,未出正式报表) /stats/profit 引擎 + 价格抽屉走查
稳定性 ✅ 受理 slow>200ms=0;Kafka lag 峰 476/均 88;慢查询 0;双进程零重启;磁盘 4%~9% watch_1m.sh 2,719 样本
遗留问题 6 项(R1 余额对账差额 P0 ×33 次/签名拦截口径/deliver_fail 复核/长短信挂起/host 不热切换/CSV 留档) 见 §六

二、压测环境与拓扑

cmppbench(自研压测客户端,CMPH 2.0,links/concurrency/rate/expect-receipt 可参)
   │ CMPP 2.0(纯文本 fmt=0x0f)
   ▼
平台 gateway(CMPP :7890 / HTTP :8080)──受理:预扣余额+拦截链+落 task/detail
   │ Kafka(16 分区)削峰
   ▼
consumer ──下发──► 上家通道 9102「Hw测试专用」(331004)
   │                  ├─ 白日场:vcmppgw 模拟网关 127.0.0.1:17890(50ms 回 DELIVRD,17:26 退出)
   │                  └─ 夜间场:真上家 192.168.5.16:7890(单连接)
   ▼
回执配对→明细终态→DELIVRD 推回客户端;拦截(status=5+ISC 码)即时退款
监控:watch_1m.sh 30s 采样(task/detail/fee/report/lag/MySQL 慢查询/磁盘)+ tcpdump 环形 300MB 抓包
  • 压测前准备:通道 9102 host 临时切 vcmppgw(logs/issue5-restore.sql 预写恢复语句);s2demo 充值 10 亿条(压测余额预算=TPS×时长×均条×2 教训落地);价格配置面真浏览器走查(s2demo 售价 0.1000 / 通道 9102 成本 0.0350,scripts/issue5-price-walkthrough.mjs PASS 3/3)。

三、三场压测明细

3.1 白日场(17:00~17:26,上家=vcmppgw 模拟网关,数据已清理)

批次 时间 提交 成功 失败 延迟 p50/p90/p99/max(ms) TPS
预检×2 17:00:38 / 17:05 2,000 2,000 0 2.7~4.5 —
S1 单条 1 万 17:09:06~17:09:55(49.0s) 10,000 10,000 0 6.0 / 8.9 / 12.1 / 22.3 均 203.9(限速 200)
S2 单条(36 万目标) 17:11:15~17:16:40(5m24.8s,人工中止) 65,000 65,000 0 8.8 / 12.7 / 17.4 / 37.5 均 200.1 / 峰 258
  • vcmppgw 侧:受理 75,191 / 回执 75,191 / 拒绝 0(与客户端 CSV 77,000 差 1,809 = host 切换窗口期分流,见 §六-5);17:23~17:26 drain 复跑 0 流量(排空验证 ✅)。
  • S2 中止说明:该场验证目标(200/s 限速下受理/下发/回执/计费全链零差错)已达成,转入夜间真上家场;36 万未跑完不判失败。
  • 客户端逐条 CSV 留档:logs/bench-precheck*.csv / bench-s1-1w.csv / bench-s2-36w.csv(77,000 行)。

3.2 夜间场·长短信段+小批量(18:32~21:00,上家=真上家 5.16,数据保留)

批次 时间 提交(任务) 计费条(均片) 成功 挂起 拦截
长短信段 18:32~19:00 51,264 153,786(×3) 50,083 1,177 0
小批量 20:00~ 9,862 29,586(×3) 9,862 0 2

3.3 夜间场·主战场(23:00~11-17 01:52,2h52m,上家=真上家 5.16 单连接)

指标 数值
提交 1,999,469
下发成功(DELIVRD 终态) 999,736
签名拦截(ISC:004,即时退款) 999,894(≈50%)
受理 QPS(30s 窗) 均值 193.7(=拦截 96.9 + 下发 96.8)/ 峰值 287.9 / slow>200ms=0
下发吞吐(单连接) ≈97 条/s
channel_log connect=1,submit 1,121,986,deliver 1,119,334,deliver_fail 2,652(待复核)

3.4 总账(11-16 18:00 起,权威=DB)

  • 提交 2,060,928(billing_consume_log 175,078+1,885,850;与余额流水 submit 笔数分毫不差)
  • 计费条 2,183,182(=余额扣款条数;11-17 场单条=提交数,11-16 场含长短信 3 片)
  • 成功 1,059,540(billing)≈ detail 终态成功 1,059,534 ✅
  • 拦截退款 999,741 笔 / 999,741 条(与 send_block_log 999,894 差 153=零星+清理项)
  • 三平对账:1,000,000(基数)+1,000,010,000(充值 2 笔)− 2,183,182 + 999,741 = 998,826,559 = 当前余额 ✅

四、计费 / 账单 / 利润核验(工单问题①)

链路 状态 本轮压测实证
计费(实时预扣+拦截退款) ✅ 完善,支持压测 三平对账分毫不差(§3.4);100 万级拦截即时退款 99.97 万笔零差错;日汇总引擎(billing_consume_log)与明细/流水三方一致
账单(出账/确认/结账/阶梯/XLSX) ⚠️ 功能完善(11-14 S2 泳道真机验收:生成→确认→结账→SettleRecord→真 XLSX),本轮压测数据未执行出账(出账为 T+1 运营动作) 库内仅 seed 演示账单(account 2:16,050 条/1,605.00 元);已列入下一轮压测 SOP 必做项
利润(时间线价收入+成本分摊+返点) ⚠️ 引擎就绪(11-14 D5 验收 settle-check EXIT=0;价格面走查 s2demo 售 0.10/9102 成本 0.035),本轮未出报表 推算演示:112.7 万条 ×(0.10−0.035)≈ 7.33 万元毛利(时间线价口径,正式数字以下一轮出账报表为准)

五、性能与稳定性数据(工单问题②:上下家提交速度)

指标 白日场(限速 200/s) 夜间主战场(不限速)
下家受理 200/s 恒定,均值 203.9 均 193.7/s、30s 窗峰 287.9/s,slow>200ms=0
受理延迟(CMPP Submit→Resp) p99=17.4ms / max=37.5ms 服务端 avg_ms≈0(快路径)
上家下发 200/s(模拟网关) ≈97 条/s(真上家单连接;提吞吐需按通道 speed 扩连接)
回执 vcmppgw 50ms 全量回 1,119,334 / 2,652 fail(复核中)
Kafka lag 峰 326 峰 476 / 均 88
在途明细(status=1)峰 4,168 2,478
MySQL 活跃线程峰 / 慢查询 4 / 0 13 / 0
磁盘 / 进程 3% / 零重启 4%~9% / 零重启、零 OOM

六、发现的问题与整改建议

  1. R1 余额对账差额 P0 告警 ×33 次(11-16 23:57 起 firing):Redis 预扣与 MySQL 流水重算差典型 ±120~791 条(另 1 次 10 亿=充值写入与重算的瞬时窗口,outlier);reconciler 5min 自动以流水覆写 Redis(自愈,流水为唯一事实源,无资损)。建议:根修预扣 Lua 与流水落库的时序窗口(或对账窗口排除在途)+告警按差额绝对值分级降噪。
  2. 主战场 50% 流量被签名拦截(ISC:004):平台行为正确(无报备签名内容应拦,且拦截+即时退款零差错);暴露的是压测脚本口径——下一轮内容须带账号报备签名,或专设「免签名压测账号」并留配置留痕。
  3. channel_log deliver_fail 2,652 条终态去向待复核(billing fail=0 / detail 失败终态=0):疑为通道侧失败回执重试链路计数,需一次明细级核对。
  4. 长短信段 1,326 条挂起未终态(status=1 残留):符合 72h 挂起制语义,11-19 reaper 到期处理,到期核验终态与零费口径。
  5. channel host 配置不热切换:17:07:27 恢复 host=5.16 后,consumer 存量连接仍指向 vcmppgw(S1/S2 7.5 万条走旧连接;vcmppgw 受理 75,191 vs CSV 77,000 差 1,809=切换窗口分流)。运维 runbook 增补:改通道 host 必须断连/重启连接池后核对实际流向。
  6. 主战场客户端侧 CSV 未留档(仅服务端 DB/日志齐全):SOP 增补「压测客户端 -csv 参数强制落盘」;白日场数据已按恢复 SOP 清理。

七、下一轮正式压测规划(建议 11-18 整改 / 11-19 正式场)

P0 前置整改(11-18):①R1 差额根修或对账窗口豁免+告警分级(§六-1);②deliver_fail 复核(§六-3);③压测脚本签名口径对齐(§六-2);④host 热切换 runbook(§六-5)。

SOP 增补(压测收尾四件套):出账→确认→结账全流程演练 + 利润报表产出与人工核对 + settle-check EXIT=0 + XLSX 导出留档;客户端 CSV 强制留档。

阶梯方案(每档 30min 稳态,验收判据同行):

档 受理 TPS 内容构成 上家 通过判据
L1 200 单条 100% 真上家单连接 三平+P99<50ms+零慢查询
L2 500 单条 70%+长短信 30% 按通道 speed 扩连接 同上+lag<1k
L3 1000 同 L2 双通道并发 同上+出账四件套全过

观察项:长短信挂起 1,326 条 11-19 到期核验;R1 告警整改后复测窗口。

附录:证据文件

  • 客户端 CSV:logs/bench-precheck*.csv(2×1,000)/bench-s1-1w.csv(10,000)/bench-s2-36w.csv(65,000)
  • 压测日志:logs/bench-s1.log/bench-s2.log(含摘要 JSON);模拟网关 logs/vcmppgw.log/vcmppgw-drain.log
  • 监控:logs/1m-baseline.txt + logs/1m-watch.log(2,719 样本);网关日志 logs/app-2026-11-16T17-35-43.916.log.gz(主战场窗口,cmpp_submit_stats QPS 序列+R1 告警)
  • 抓包:logs/capture/cmpp-20261116-174359.pcap0~5(环形 300MB)
  • 工具:cmd/cmppbench(下家客户端)/cmd/vcmppgw(模拟上家)/scripts/issue5-price-walkthrough.mjs(价格面走查)/logs/issue5-restore.sql(通道恢复)
  • DB 对账:billing_consume_log / account_balance_log / send_block_log / channel_log / settle_*(2026-11-1617 窗口,本文 §3§6 数字均出自只读查询)