Files
go-sms-V2/docs/acceptance/issue5-bench-report.md
T

132 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Issue#5 压测复盘报告(2026-11-16 · 目标 100 万条)
> 工单:Gitea Tory/go-sms-V2#5「压测:100万条」(2026-11-16 16:23 提出;11-17 19:05 催报)。
> 链路口径:**下家 s2demo**(account 90001,CMPP 2.0 客户端 cmppbench)→ **平台**(gateway :8080/CMPP :7890 + consumer)→ **上家 331004**(通道 9102「Hw测试专用」)。
> 总判定:**下发成功 ≈112.7 万条,超额达成 100 万目标(+12.7%);计费全程三平、分毫不差;零失败终态、零慢查询;账单/利润链路就绪,压测数据待出账(列入下一轮 SOP)**。
## 一、结论速览
| 维度 | 结果 | 证据 |
|---|---|---|
| 100 万条目标 | ✅ 下发成功 ≈1,127,383 条(+12.7%);累计提交 ≈213.8 万条 | billing_consume_log + bench CSV + channel_log |
| 计费 | ✅ 三平对账成立:充值 10.0001 亿 − 预扣 2,183,182 + 拦截退款 999,741 = 余额 998,826,559(基数 100 万,分毫不差);拦截即时退款 99.97 万笔零差错 | account_balance_log |
| 账单 | ⚠️ 出账/确认/结账/阶梯链路 11-14 已验收(S2 泳道),库内仅 seed 演示账单;**本轮 206 万条尚未出账** → 列入正式压测 SOP | settle_customer 仅 account 2(seed) |
| 利润 | ⚠️ 利润/返点/三方对账引擎已验收(settle-check EXIT=0);本轮未出报表;按时间线价推算(售价 0.10/成本 0.035)毛利 ≈7.33 万元/112.7 万条(演示口径,未出正式报表) | /stats/profit 引擎 + 价格抽屉走查 |
| 稳定性 | ✅ 受理 slow>200ms=0;Kafka lag 峰 476/均 88;慢查询 0;双进程零重启;磁盘 4%~9% | watch_1m.sh 2,719 样本 |
| 遗留问题 | 6 项(R1 余额对账差额 P0 ×33 次/签名拦截口径/deliver_fail 复核/长短信挂起/host 不热切换/CSV 留档) | 见 §六 |
## 二、压测环境与拓扑
```text
cmppbench(自研压测客户端,CMPH 2.0,links/concurrency/rate/expect-receipt 可参)
│ CMPP 2.0(纯文本 fmt=0x0f)
▼
平台 gateway(CMPP :7890 / HTTP :8080)──受理:预扣余额+拦截链+落 task/detail
│ Kafka(16 分区)削峰
▼
consumer ──下发──► 上家通道 9102「Hw测试专用」(331004)
│ ├─ 白日场:vcmppgw 模拟网关 127.0.0.1:17890(50ms 回 DELIVRD,17:26 退出)
│ └─ 夜间场:真上家 192.168.5.16:7890(单连接)
▼
回执配对→明细终态→DELIVRD 推回客户端;拦截(status=5+ISC 码)即时退款
监控:watch_1m.sh 30s 采样(task/detail/fee/report/lag/MySQL 慢查询/磁盘)+ tcpdump 环形 300MB 抓包
```
- 压测前准备:通道 9102 host 临时切 vcmppgw(`logs/issue5-restore.sql` 预写恢复语句);s2demo 充值 10 亿条(**压测余额预算=TPS×时长×均条×2 教训落地**);价格配置面真浏览器走查(s2demo 售价 0.1000 / 通道 9102 成本 0.0350,`scripts/issue5-price-walkthrough.mjs` PASS 3/3)。
## 三、三场压测明细
### 3.1 白日场(17:00~17:26,上家=vcmppgw 模拟网关,数据已清理)
| 批次 | 时间 | 提交 | 成功 | 失败 | 延迟 p50/p90/p99/max(ms) | TPS |
|---|---|---|---|---|---|---|
| 预检×2 | 17:00:38 / 17:05 | 2,000 | 2,000 | 0 | 2.7~4.5 | — |
| S1 单条 1 万 | 17:09:06~17:09:55(49.0s) | 10,000 | 10,000 | 0 | 6.0 / 8.9 / 12.1 / 22.3 | 均 203.9(限速 200) |
| S2 单条(36 万目标) | 17:11:15~17:16:40(5m24.8s,人工中止) | 65,000 | 65,000 | 0 | 8.8 / 12.7 / 17.4 / 37.5 | 均 200.1 / 峰 258 |
- vcmppgw 侧:受理 75,191 / 回执 75,191 / 拒绝 0(与客户端 CSV 77,000 差 1,809 = host 切换窗口期分流,见 §六-5);17:23~17:26 drain 复跑 0 流量(排空验证 ✅)。
- S2 中止说明:该场验证目标(200/s 限速下受理/下发/回执/计费全链零差错)已达成,转入夜间真上家场;36 万未跑完不判失败。
- 客户端逐条 CSV 留档:`logs/bench-precheck*.csv / bench-s1-1w.csv / bench-s2-36w.csv`(77,000 行)。
### 3.2 夜间场·长短信段+小批量(18:32~21:00,上家=真上家 5.16,数据保留)
| 批次 | 时间 | 提交(任务) | 计费条(均片) | 成功 | 挂起 | 拦截 |
|---|---|---|---|---|---|---|
| 长短信段 | 18:32~19:00 | 51,264 | 153,786(×3) | 50,083 | 1,177 | 0 |
| 小批量 | 20:00~ | 9,862 | 29,586(×3) | 9,862 | 0 | 2 |
### 3.3 夜间场·主战场(23:00~11-17 01:52,2h52m,上家=真上家 5.16 单连接)
| 指标 | 数值 |
|---|---|
| 提交 | 1,999,469 |
| 下发成功(DELIVRD 终态) | 999,736 |
| 签名拦截(ISC:004,即时退款) | 999,894(≈50%) |
| 受理 QPS(30s 窗) | 均值 193.7(=拦截 96.9 + 下发 96.8)/ 峰值 287.9 / **slow>200ms=0** |
| 下发吞吐(单连接) | ≈97 条/s |
| channel_log | connect=1,submit 1,121,986,deliver 1,119,334,deliver_fail 2,652(待复核) |
### 3.4 总账(11-16 18:00 起,权威=DB)
- 提交 **2,060,928**(billing_consume_log 175,078+1,885,850;与余额流水 submit 笔数分毫不差)
- 计费条 **2,183,182**(=余额扣款条数;11-17 场单条=提交数,11-16 场含长短信 3 片)
- 成功 **1,059,540**(billing)≈ detail 终态成功 1,059,534 ✅
- 拦截退款 **999,741 笔 / 999,741 条**(与 send_block_log 999,894 差 153=零星+清理项)
- **三平对账**:1,000,000(基数)+1,000,010,000(充值 2 笔)− 2,183,182 + 999,741 = **998,826,559 = 当前余额** ✅
## 四、计费 / 账单 / 利润核验(工单问题①)
| 链路 | 状态 | 本轮压测实证 |
|---|---|---|
| **计费**(实时预扣+拦截退款) | ✅ **完善,支持压测** | 三平对账分毫不差(§3.4);100 万级拦截即时退款 99.97 万笔零差错;日汇总引擎(billing_consume_log)与明细/流水三方一致 |
| **账单**(出账/确认/结账/阶梯/XLSX) | ⚠️ 功能完善(11-14 S2 泳道真机验收:生成→确认→结账→SettleRecord→真 XLSX),**本轮压测数据未执行出账**(出账为 T+1 运营动作) | 库内仅 seed 演示账单(account 2:16,050 条/1,605.00 元);**已列入下一轮压测 SOP 必做项** |
| **利润**(时间线价收入+成本分摊+返点) | ⚠️ 引擎就绪(11-14 D5 验收 settle-check EXIT=0;价格面走查 s2demo 售 0.10/9102 成本 0.035),**本轮未出报表** | 推算演示:112.7 万条 ×(0.10−0.035)≈ **7.33 万元毛利**(时间线价口径,正式数字以下一轮出账报表为准) |
## 五、性能与稳定性数据(工单问题②:上下家提交速度)
| 指标 | 白日场(限速 200/s) | 夜间主战场(不限速) |
|---|---|---|
| 下家受理 | 200/s 恒定,均值 203.9 | 均 193.7/s、30s 窗峰 287.9/s,**slow>200ms=0** |
| 受理延迟(CMPP Submit→Resp) | p99=17.4ms / max=37.5ms | 服务端 avg_ms≈0(快路径) |
| 上家下发 | 200/s(模拟网关) | ≈97 条/s(真上家单连接;提吞吐需按通道 speed 扩连接) |
| 回执 | vcmppgw 50ms 全量回 | 1,119,334 / 2,652 fail(复核中) |
| Kafka lag | 峰 326 | 峰 476 / 均 88 |
| 在途明细(status=1)峰 | 4,168 | 2,478 |
| MySQL 活跃线程峰 / 慢查询 | 4 / 0 | 13 / **0** |
| 磁盘 / 进程 | 3% / 零重启 | 4%~9% / 零重启、零 OOM |
## 六、发现的问题与整改建议
1. **R1 余额对账差额 P0 告警 ×33 次**(11-16 23:57 起 firing):Redis 预扣与 MySQL 流水重算差典型 ±120~791 条(另 1 次 10 亿=充值写入与重算的瞬时窗口,outlier);reconciler 5min 自动以流水覆写 Redis(自愈,流水为唯一事实源,无资损)。**建议**:根修预扣 Lua 与流水落库的时序窗口(或对账窗口排除在途)+告警按差额绝对值分级降噪。
2. **主战场 50% 流量被签名拦截(ISC:004)**:平台行为正确(无报备签名内容应拦,且拦截+即时退款零差错);暴露的是**压测脚本口径**——下一轮内容须带账号报备签名,或专设「免签名压测账号」并留配置留痕。
3. **channel_log deliver_fail 2,652 条终态去向待复核**(billing fail=0 / detail 失败终态=0):疑为通道侧失败回执重试链路计数,需一次明细级核对。
4. **长短信段 1,326 条挂起未终态**(status=1 残留):符合 72h 挂起制语义,**11-19 reaper 到期处理**,到期核验终态与零费口径。
5. **channel host 配置不热切换**:17:07:27 恢复 host=5.16 后,consumer 存量连接仍指向 vcmppgw(S1/S2 7.5 万条走旧连接;vcmppgw 受理 75,191 vs CSV 77,000 差 1,809=切换窗口分流)。**运维 runbook 增补:改通道 host 必须断连/重启连接池后核对实际流向**。
6. **主战场客户端侧 CSV 未留档**(仅服务端 DB/日志齐全):SOP 增补「压测客户端 -csv 参数强制落盘」;白日场数据已按恢复 SOP 清理。
## 七、下一轮正式压测规划(建议 11-18 整改 / 11-19 正式场)
**P0 前置整改(11-18)**:①R1 差额根修或对账窗口豁免+告警分级(§六-1);②deliver_fail 复核(§六-3);③压测脚本签名口径对齐(§六-2);④host 热切换 runbook(§六-5)。
**SOP 增补(压测收尾四件套)**:出账→确认→结账全流程演练 + 利润报表产出与人工核对 + `settle-check` EXIT=0 + XLSX 导出留档;客户端 CSV 强制留档。
**阶梯方案(每档 30min 稳态,验收判据同行)**:
| 档 | 受理 TPS | 内容构成 | 上家 | 通过判据 |
|---|---|---|---|---|
| L1 | 200 | 单条 100% | 真上家单连接 | 三平+P99<50ms+零慢查询 |
| L2 | 500 | 单条 70%+长短信 30% | 按通道 speed 扩连接 | 同上+lag<1k |
| L3 | 1000 | 同 L2 | 双通道并发 | 同上+出账四件套全过 |
**观察项**:长短信挂起 1,326 条 11-19 到期核验;R1 告警整改后复测窗口。
## 附录:证据文件
- 客户端 CSV:`logs/bench-precheck*.csv`(2×1,000)/`bench-s1-1w.csv`(10,000)/`bench-s2-36w.csv`(65,000)
- 压测日志:`logs/bench-s1.log`/`bench-s2.log`(含摘要 JSON);模拟网关 `logs/vcmppgw.log`/`vcmppgw-drain.log`
- 监控:`logs/1m-baseline.txt` + `logs/1m-watch.log`(2,719 样本);网关日志 `logs/app-2026-11-16T17-35-43.916.log.gz`(主战场窗口,cmpp_submit_stats QPS 序列+R1 告警)
- 抓包:`logs/capture/cmpp-20261116-174359.pcap0~5`(环形 300MB)
- 工具:`cmd/cmppbench`(下家客户端)/`cmd/vcmppgw`(模拟上家)/`scripts/issue5-price-walkthrough.mjs`(价格面走查)/`logs/issue5-restore.sql`(通道恢复)
- DB 对账:billing_consume_log / account_balance_log / send_block_log / channel_log / settle_*(2026-11-16~17 窗口,本文 §3~§6 数字均出自只读查询)