# Issue#5 压测复盘报告(2026-11-16 · 目标 100 万条) > 工单:Gitea Tory/go-sms-V2#5「压测:100万条」(2026-11-16 16:23 提出;11-17 19:05 催报)。 > 链路口径:**下家 s2demo**(account 90001,CMPP 2.0 客户端 cmppbench)→ **平台**(gateway :8080/CMPP :7890 + consumer)→ **上家 331004**(通道 9102「Hw测试专用」)。 > 总判定:**下发成功 ≈112.7 万条,超额达成 100 万目标(+12.7%);计费全程三平、分毫不差;零失败终态、零慢查询;账单/利润链路就绪,压测数据待出账(列入下一轮 SOP)**。 ## 一、结论速览 | 维度 | 结果 | 证据 | |---|---|---| | 100 万条目标 | ✅ 下发成功 ≈1,127,383 条(+12.7%);累计提交 ≈213.8 万条 | billing_consume_log + bench CSV + channel_log | | 计费 | ✅ 三平对账成立:充值 10.0001 亿 − 预扣 2,183,182 + 拦截退款 999,741 = 余额 998,826,559(基数 100 万,分毫不差);拦截即时退款 99.97 万笔零差错 | account_balance_log | | 账单 | ⚠️ 出账/确认/结账/阶梯链路 11-14 已验收(S2 泳道),库内仅 seed 演示账单;**本轮 206 万条尚未出账** → 列入正式压测 SOP | settle_customer 仅 account 2(seed) | | 利润 | ⚠️ 利润/返点/三方对账引擎已验收(settle-check EXIT=0);本轮未出报表;按时间线价推算(售价 0.10/成本 0.035)毛利 ≈7.33 万元/112.7 万条(演示口径,未出正式报表) | /stats/profit 引擎 + 价格抽屉走查 | | 稳定性 | ✅ 受理 slow>200ms=0;Kafka lag 峰 476/均 88;慢查询 0;双进程零重启;磁盘 4%~9% | watch_1m.sh 2,719 样本 | | 遗留问题 | 6 项(R1 余额对账差额 P0 ×33 次/签名拦截口径/deliver_fail 复核/长短信挂起/host 不热切换/CSV 留档) | 见 §六 | ## 二、压测环境与拓扑 ```text cmppbench(自研压测客户端,CMPH 2.0,links/concurrency/rate/expect-receipt 可参) │ CMPP 2.0(纯文本 fmt=0x0f) ▼ 平台 gateway(CMPP :7890 / HTTP :8080)──受理:预扣余额+拦截链+落 task/detail │ Kafka(16 分区)削峰 ▼ consumer ──下发──► 上家通道 9102「Hw测试专用」(331004) │ ├─ 白日场:vcmppgw 模拟网关 127.0.0.1:17890(50ms 回 DELIVRD,17:26 退出) │ └─ 夜间场:真上家 192.168.5.16:7890(单连接) ▼ 回执配对→明细终态→DELIVRD 推回客户端;拦截(status=5+ISC 码)即时退款 监控:watch_1m.sh 30s 采样(task/detail/fee/report/lag/MySQL 慢查询/磁盘)+ tcpdump 环形 300MB 抓包 ``` - 压测前准备:通道 9102 host 临时切 vcmppgw(`logs/issue5-restore.sql` 预写恢复语句);s2demo 充值 10 亿条(**压测余额预算=TPS×时长×均条×2 教训落地**);价格配置面真浏览器走查(s2demo 售价 0.1000 / 通道 9102 成本 0.0350,`scripts/issue5-price-walkthrough.mjs` PASS 3/3)。 ## 三、三场压测明细 ### 3.1 白日场(17:00~17:26,上家=vcmppgw 模拟网关,数据已清理) | 批次 | 时间 | 提交 | 成功 | 失败 | 延迟 p50/p90/p99/max(ms) | TPS | |---|---|---|---|---|---|---| | 预检×2 | 17:00:38 / 17:05 | 2,000 | 2,000 | 0 | 2.7~4.5 | — | | S1 单条 1 万 | 17:09:06~17:09:55(49.0s) | 10,000 | 10,000 | 0 | 6.0 / 8.9 / 12.1 / 22.3 | 均 203.9(限速 200) | | S2 单条(36 万目标) | 17:11:15~17:16:40(5m24.8s,人工中止) | 65,000 | 65,000 | 0 | 8.8 / 12.7 / 17.4 / 37.5 | 均 200.1 / 峰 258 | - vcmppgw 侧:受理 75,191 / 回执 75,191 / 拒绝 0(与客户端 CSV 77,000 差 1,809 = host 切换窗口期分流,见 §六-5);17:23~17:26 drain 复跑 0 流量(排空验证 ✅)。 - S2 中止说明:该场验证目标(200/s 限速下受理/下发/回执/计费全链零差错)已达成,转入夜间真上家场;36 万未跑完不判失败。 - 客户端逐条 CSV 留档:`logs/bench-precheck*.csv / bench-s1-1w.csv / bench-s2-36w.csv`(77,000 行)。 ### 3.2 夜间场·长短信段+小批量(18:32~21:00,上家=真上家 5.16,数据保留) | 批次 | 时间 | 提交(任务) | 计费条(均片) | 成功 | 挂起 | 拦截 | |---|---|---|---|---|---|---| | 长短信段 | 18:32~19:00 | 51,264 | 153,786(×3) | 50,083 | 1,177 | 0 | | 小批量 | 20:00~ | 9,862 | 29,586(×3) | 9,862 | 0 | 2 | ### 3.3 夜间场·主战场(23:00~11-17 01:52,2h52m,上家=真上家 5.16 单连接) | 指标 | 数值 | |---|---| | 提交 | 1,999,469 | | 下发成功(DELIVRD 终态) | 999,736 | | 签名拦截(ISC:004,即时退款) | 999,894(≈50%) | | 受理 QPS(30s 窗) | 均值 193.7(=拦截 96.9 + 下发 96.8)/ 峰值 287.9 / **slow>200ms=0** | | 下发吞吐(单连接) | ≈97 条/s | | channel_log | connect=1,submit 1,121,986,deliver 1,119,334,deliver_fail 2,652(待复核) | ### 3.4 总账(11-16 18:00 起,权威=DB) - 提交 **2,060,928**(billing_consume_log 175,078+1,885,850;与余额流水 submit 笔数分毫不差) - 计费条 **2,183,182**(=余额扣款条数;11-17 场单条=提交数,11-16 场含长短信 3 片) - 成功 **1,059,540**(billing)≈ detail 终态成功 1,059,534 ✅ - 拦截退款 **999,741 笔 / 999,741 条**(与 send_block_log 999,894 差 153=零星+清理项) - **三平对账**:1,000,000(基数)+1,000,010,000(充值 2 笔)− 2,183,182 + 999,741 = **998,826,559 = 当前余额** ✅ ## 四、计费 / 账单 / 利润核验(工单问题①) | 链路 | 状态 | 本轮压测实证 | |---|---|---| | **计费**(实时预扣+拦截退款) | ✅ **完善,支持压测** | 三平对账分毫不差(§3.4);100 万级拦截即时退款 99.97 万笔零差错;日汇总引擎(billing_consume_log)与明细/流水三方一致 | | **账单**(出账/确认/结账/阶梯/XLSX) | ⚠️ 功能完善(11-14 S2 泳道真机验收:生成→确认→结账→SettleRecord→真 XLSX),**本轮压测数据未执行出账**(出账为 T+1 运营动作) | 库内仅 seed 演示账单(account 2:16,050 条/1,605.00 元);**已列入下一轮压测 SOP 必做项** | | **利润**(时间线价收入+成本分摊+返点) | ⚠️ 引擎就绪(11-14 D5 验收 settle-check EXIT=0;价格面走查 s2demo 售 0.10/9102 成本 0.035),**本轮未出报表** | 推算演示:112.7 万条 ×(0.10−0.035)≈ **7.33 万元毛利**(时间线价口径,正式数字以下一轮出账报表为准) | ## 五、性能与稳定性数据(工单问题②:上下家提交速度) | 指标 | 白日场(限速 200/s) | 夜间主战场(不限速) | |---|---|---| | 下家受理 | 200/s 恒定,均值 203.9 | 均 193.7/s、30s 窗峰 287.9/s,**slow>200ms=0** | | 受理延迟(CMPP Submit→Resp) | p99=17.4ms / max=37.5ms | 服务端 avg_ms≈0(快路径) | | 上家下发 | 200/s(模拟网关) | ≈97 条/s(真上家单连接;提吞吐需按通道 speed 扩连接) | | 回执 | vcmppgw 50ms 全量回 | 1,119,334 / 2,652 fail(复核中) | | Kafka lag | 峰 326 | 峰 476 / 均 88 | | 在途明细(status=1)峰 | 4,168 | 2,478 | | MySQL 活跃线程峰 / 慢查询 | 4 / 0 | 13 / **0** | | 磁盘 / 进程 | 3% / 零重启 | 4%~9% / 零重启、零 OOM | ## 六、发现的问题与整改建议 1. **R1 余额对账差额 P0 告警 ×33 次**(11-16 23:57 起 firing):Redis 预扣与 MySQL 流水重算差典型 ±120~791 条(另 1 次 10 亿=充值写入与重算的瞬时窗口,outlier);reconciler 5min 自动以流水覆写 Redis(自愈,流水为唯一事实源,无资损)。**建议**:根修预扣 Lua 与流水落库的时序窗口(或对账窗口排除在途)+告警按差额绝对值分级降噪。 2. **主战场 50% 流量被签名拦截(ISC:004)**:平台行为正确(无报备签名内容应拦,且拦截+即时退款零差错);暴露的是**压测脚本口径**——下一轮内容须带账号报备签名,或专设「免签名压测账号」并留配置留痕。 3. **channel_log deliver_fail 2,652 条终态去向待复核**(billing fail=0 / detail 失败终态=0):疑为通道侧失败回执重试链路计数,需一次明细级核对。 4. **长短信段 1,326 条挂起未终态**(status=1 残留):符合 72h 挂起制语义,**11-19 reaper 到期处理**,到期核验终态与零费口径。 5. **channel host 配置不热切换**:17:07:27 恢复 host=5.16 后,consumer 存量连接仍指向 vcmppgw(S1/S2 7.5 万条走旧连接;vcmppgw 受理 75,191 vs CSV 77,000 差 1,809=切换窗口分流)。**运维 runbook 增补:改通道 host 必须断连/重启连接池后核对实际流向**。 6. **主战场客户端侧 CSV 未留档**(仅服务端 DB/日志齐全):SOP 增补「压测客户端 -csv 参数强制落盘」;白日场数据已按恢复 SOP 清理。 ## 七、下一轮正式压测规划(建议 11-18 整改 / 11-19 正式场) **P0 前置整改(11-18)**:①R1 差额根修或对账窗口豁免+告警分级(§六-1);②deliver_fail 复核(§六-3);③压测脚本签名口径对齐(§六-2);④host 热切换 runbook(§六-5)。 **SOP 增补(压测收尾四件套)**:出账→确认→结账全流程演练 + 利润报表产出与人工核对 + `settle-check` EXIT=0 + XLSX 导出留档;客户端 CSV 强制留档。 **阶梯方案(每档 30min 稳态,验收判据同行)**: | 档 | 受理 TPS | 内容构成 | 上家 | 通过判据 | |---|---|---|---|---| | L1 | 200 | 单条 100% | 真上家单连接 | 三平+P99<50ms+零慢查询 | | L2 | 500 | 单条 70%+长短信 30% | 按通道 speed 扩连接 | 同上+lag<1k | | L3 | 1000 | 同 L2 | 双通道并发 | 同上+出账四件套全过 | **观察项**:长短信挂起 1,326 条 11-19 到期核验;R1 告警整改后复测窗口。 ## 附录:证据文件 - 客户端 CSV:`logs/bench-precheck*.csv`(2×1,000)/`bench-s1-1w.csv`(10,000)/`bench-s2-36w.csv`(65,000) - 压测日志:`logs/bench-s1.log`/`bench-s2.log`(含摘要 JSON);模拟网关 `logs/vcmppgw.log`/`vcmppgw-drain.log` - 监控:`logs/1m-baseline.txt` + `logs/1m-watch.log`(2,719 样本);网关日志 `logs/app-2026-11-16T17-35-43.916.log.gz`(主战场窗口,cmpp_submit_stats QPS 序列+R1 告警) - 抓包:`logs/capture/cmpp-20261116-174359.pcap0~5`(环形 300MB) - 工具:`cmd/cmppbench`(下家客户端)/`cmd/vcmppgw`(模拟上家)/`scripts/issue5-price-walkthrough.mjs`(价格面走查)/`logs/issue5-restore.sql`(通道恢复) - DB 对账:billing_consume_log / account_balance_log / send_block_log / channel_log / settle_*(2026-11-16~17 窗口,本文 §3~§6 数字均出自只读查询)