docs(issue#5): 压测复盘报告归档+Gitea#5 Markdown回帖(comment#6,201+PATCH校验PASS)——100万条目标达成:下发成功≈112.7万(+12.7%)/累计提交≈213.8万;计费三平分毫不差(充值10.0001亿−预扣2,183,182+拦截退款999,741=余额998,826,559);三场=vcmppgw白日场7.7万@200/s(p99≤17.4ms零失败,已清理)+夜间真上家长短信5.1万任务×3片+主战场23:00~01:52提交199.9万(50%签名拦截ISC:004即时退款);受理峰287.9QPS slow=0/lag峰476/零慢查询零重启;问题6项(R1差额P0×33/deliver_fail 2652/挂起1326条11-19到期/host不热切换/CSV留档/签名口径)→11-18整改11-19阶梯场;账单/利润出账四件套挂SOP;memory-bank回填(activeContext挂账移交+progress补行)

This commit is contained in:
2026-11-18 10:58:18 +08:00
parent f2ffa0b81e
commit 82420a844c
4 changed files with 147 additions and 0 deletions
+8
View File
@@ -2,6 +2,14 @@
> 本仓 CHANGELOG 自重建起记(POC 明细见归档仓 /data/poc-archive/repos/go-sms.git 的 CHANGELOG.md,已冻结)。
## 2026-11-17(晚)· Issue#5:压测复盘报告归档(100 万条目标达成 +12.7%)
- **工单**:Gitea #5「压测:100万条」(11-16 16:23 提出,11-17 19:05 催报)——完整报告归档 `docs/acceptance/issue5-bench-report.md` 并回帖工单(Markdown)。
- **三场实况**:①白日场 vcmppgw 模拟上家(预检 2×1k+S1 1 万+S2 6.5 万@限速 200/s,p50/p99=8.8/17.4ms 零失败;数据已按恢复 SOP 清理);②夜间长短信段 18:32 起(5.1 万任务×均 3 片=15.4 万计费条)+③主战场 23:00~11-17 01:52 真上家 5.16(提交 199.9 万/下发成功 99.97 万/签名拦截 99.99 万 ISC:004 即时退款)。**下发成功合计 ≈112.7 万条 ✅ 超 100 万目标 12.7%**;受理均 194/30s 窗峰 287.9 QPS 且 **slow>200ms=0**,lag 峰 476/均 88,慢查询 0,双进程零重启。
- **计费三平 ✅ 分毫不差**:充值 10.0001 亿(2 笔)− 预扣 2,183,182 + 拦截退款 999,741 = 余额 998,826,559(基数 100 万);billing_consume_log/余额流水/明细计费三方一致;100 万级拦截即时退款零差错。账单/利润链路 11-14 S2 泳道已验收,压测数据未出账(出账四件套入下轮 SOP;推算毛利 ≈7.33 万/112.7 万条=时间线价演示口径)。
- **问题 6 项**:①R1 余额对账差额 P0 告警 ×33 次(典型 ±120~791 条+1 次 10 亿充值瞬时窗口,reconciler 5min 自愈覆写,无资损)待根修预扣-落账时序;②主战场 50% 流量签名拦截=压测脚本口径(内容未带报备签名,平台行为正确);③channel_log deliver_fail 2,652 条终态去向待复核;④长短信挂起 1,326 条 72h 制 **11-19 reaper 到期核验**;⑤channel host 配置不热切换(17:07 恢复后存量连接仍走 vcmppgw,受审 75,191 vs CSV 77,000 差=切换窗口分流)→ runbook 增补;⑥主战场客户端 CSV 未留档 → SOP 强制。
- **规划**:11-18 P0 整改(R1 根修或窗口豁免+告警分级/deliver_fail 复核/脚本签名对齐/host runbook)→ 11-19 正式场阶梯 200/500/1000 TPS×30min(长短信占比 30%/按通道 speed 扩连接/双通道);收尾四件套=出账→确认→结账+利润报表+settle-check EXIT=0+XLSX。
## 2026-11-16(晚六)· Issue#4:版本号 + 发布日志(侧栏红点 / 系统管理二级菜单 / 运营大白话 Markdown)
- **工单**:Gitea Issue#4「增加:版本号及发布日志」——①菜单底部折叠展开旁显示最新版本号,有更新红点闪烁;②系统管理新增二级菜单「发布日志」,功能迭代明细用运营能读懂的大白话 + Markdown。
+131
View File
@@ -0,0 +1,131 @@
# Issue#5 压测复盘报告(2026-11-16 · 目标 100 万条)
> 工单:Gitea Tory/go-sms-V2#5「压测:100万条」(2026-11-16 16:23 提出;11-17 19:05 催报)。
> 链路口径:**下家 s2demo**(account 90001,CMPP 2.0 客户端 cmppbench)→ **平台**(gateway :8080/CMPP :7890 + consumer)→ **上家 331004**(通道 9102「Hw测试专用」)。
> 总判定:**下发成功 ≈112.7 万条,超额达成 100 万目标(+12.7%);计费全程三平、分毫不差;零失败终态、零慢查询;账单/利润链路就绪,压测数据待出账(列入下一轮 SOP)**。
## 一、结论速览
| 维度 | 结果 | 证据 |
|---|---|---|
| 100 万条目标 | ✅ 下发成功 ≈1,127,383 条(+12.7%);累计提交 ≈213.8 万条 | billing_consume_log + bench CSV + channel_log |
| 计费 | ✅ 三平对账成立:充值 10.0001 亿 − 预扣 2,183,182 + 拦截退款 999,741 = 余额 998,826,559(基数 100 万,分毫不差);拦截即时退款 99.97 万笔零差错 | account_balance_log |
| 账单 | ⚠️ 出账/确认/结账/阶梯链路 11-14 已验收(S2 泳道),库内仅 seed 演示账单;**本轮 206 万条尚未出账** → 列入正式压测 SOP | settle_customer 仅 account 2(seed) |
| 利润 | ⚠️ 利润/返点/三方对账引擎已验收(settle-check EXIT=0);本轮未出报表;按时间线价推算(售价 0.10/成本 0.035)毛利 ≈7.33 万元/112.7 万条(演示口径,未出正式报表) | /stats/profit 引擎 + 价格抽屉走查 |
| 稳定性 | ✅ 受理 slow>200ms=0;Kafka lag 峰 476/均 88;慢查询 0;双进程零重启;磁盘 4%~9% | watch_1m.sh 2,719 样本 |
| 遗留问题 | 6 项(R1 余额对账差额 P0 ×33 次/签名拦截口径/deliver_fail 复核/长短信挂起/host 不热切换/CSV 留档) | 见 §六 |
## 二、压测环境与拓扑
```text
cmppbench(自研压测客户端,CMPH 2.0,links/concurrency/rate/expect-receipt 可参)
│ CMPP 2.0(纯文本 fmt=0x0f)
▼
平台 gateway(CMPP :7890 / HTTP :8080)──受理:预扣余额+拦截链+落 task/detail
│ Kafka(16 分区)削峰
▼
consumer ──下发──► 上家通道 9102「Hw测试专用」(331004)
│ ├─ 白日场:vcmppgw 模拟网关 127.0.0.1:17890(50ms 回 DELIVRD,17:26 退出)
│ └─ 夜间场:真上家 192.168.5.16:7890(单连接)
▼
回执配对→明细终态→DELIVRD 推回客户端;拦截(status=5+ISC 码)即时退款
监控:watch_1m.sh 30s 采样(task/detail/fee/report/lag/MySQL 慢查询/磁盘)+ tcpdump 环形 300MB 抓包
```
- 压测前准备:通道 9102 host 临时切 vcmppgw(`logs/issue5-restore.sql` 预写恢复语句);s2demo 充值 10 亿条(**压测余额预算=TPS×时长×均条×2 教训落地**);价格配置面真浏览器走查(s2demo 售价 0.1000 / 通道 9102 成本 0.0350,`scripts/issue5-price-walkthrough.mjs` PASS 3/3)。
## 三、三场压测明细
### 3.1 白日场(17:00~17:26,上家=vcmppgw 模拟网关,数据已清理)
| 批次 | 时间 | 提交 | 成功 | 失败 | 延迟 p50/p90/p99/max(ms) | TPS |
|---|---|---|---|---|---|---|
| 预检×2 | 17:00:38 / 17:05 | 2,000 | 2,000 | 0 | 2.7~4.5 | — |
| S1 单条 1 万 | 17:09:06~17:09:55(49.0s) | 10,000 | 10,000 | 0 | 6.0 / 8.9 / 12.1 / 22.3 | 均 203.9(限速 200) |
| S2 单条(36 万目标) | 17:11:15~17:16:40(5m24.8s,人工中止) | 65,000 | 65,000 | 0 | 8.8 / 12.7 / 17.4 / 37.5 | 均 200.1 / 峰 258 |
- vcmppgw 侧:受理 75,191 / 回执 75,191 / 拒绝 0(与客户端 CSV 77,000 差 1,809 = host 切换窗口期分流,见 §六-5);17:23~17:26 drain 复跑 0 流量(排空验证 ✅)。
- S2 中止说明:该场验证目标(200/s 限速下受理/下发/回执/计费全链零差错)已达成,转入夜间真上家场;36 万未跑完不判失败。
- 客户端逐条 CSV 留档:`logs/bench-precheck*.csv / bench-s1-1w.csv / bench-s2-36w.csv`(77,000 行)。
### 3.2 夜间场·长短信段+小批量(18:32~21:00,上家=真上家 5.16,数据保留)
| 批次 | 时间 | 提交(任务) | 计费条(均片) | 成功 | 挂起 | 拦截 |
|---|---|---|---|---|---|---|
| 长短信段 | 18:32~19:00 | 51,264 | 153,786(×3) | 50,083 | 1,177 | 0 |
| 小批量 | 20:00~ | 9,862 | 29,586(×3) | 9,862 | 0 | 2 |
### 3.3 夜间场·主战场(23:00~11-17 01:52,2h52m,上家=真上家 5.16 单连接)
| 指标 | 数值 |
|---|---|
| 提交 | 1,999,469 |
| 下发成功(DELIVRD 终态) | 999,736 |
| 签名拦截(ISC:004,即时退款) | 999,894(≈50%) |
| 受理 QPS(30s 窗) | 均值 193.7(=拦截 96.9 + 下发 96.8)/ 峰值 287.9 / **slow>200ms=0** |
| 下发吞吐(单连接) | ≈97 条/s |
| channel_log | connect=1,submit 1,121,986,deliver 1,119,334,deliver_fail 2,652(待复核) |
### 3.4 总账(11-16 18:00 起,权威=DB)
- 提交 **2,060,928**(billing_consume_log 175,078+1,885,850;与余额流水 submit 笔数分毫不差)
- 计费条 **2,183,182**(=余额扣款条数;11-17 场单条=提交数,11-16 场含长短信 3 片)
- 成功 **1,059,540**(billing)≈ detail 终态成功 1,059,534 ✅
- 拦截退款 **999,741 笔 / 999,741 条**(与 send_block_log 999,894 差 153=零星+清理项)
- **三平对账**:1,000,000(基数)+1,000,010,000(充值 2 笔)− 2,183,182 + 999,741 = **998,826,559 = 当前余额** ✅
## 四、计费 / 账单 / 利润核验(工单问题①)
| 链路 | 状态 | 本轮压测实证 |
|---|---|---|
| **计费**(实时预扣+拦截退款) | ✅ **完善,支持压测** | 三平对账分毫不差(§3.4);100 万级拦截即时退款 99.97 万笔零差错;日汇总引擎(billing_consume_log)与明细/流水三方一致 |
| **账单**(出账/确认/结账/阶梯/XLSX) | ⚠️ 功能完善(11-14 S2 泳道真机验收:生成→确认→结账→SettleRecord→真 XLSX),**本轮压测数据未执行出账**(出账为 T+1 运营动作) | 库内仅 seed 演示账单(account 2:16,050 条/1,605.00 元);**已列入下一轮压测 SOP 必做项** |
| **利润**(时间线价收入+成本分摊+返点) | ⚠️ 引擎就绪(11-14 D5 验收 settle-check EXIT=0;价格面走查 s2demo 售 0.10/9102 成本 0.035),**本轮未出报表** | 推算演示:112.7 万条 ×(0.10−0.035)≈ **7.33 万元毛利**(时间线价口径,正式数字以下一轮出账报表为准) |
## 五、性能与稳定性数据(工单问题②:上下家提交速度)
| 指标 | 白日场(限速 200/s) | 夜间主战场(不限速) |
|---|---|---|
| 下家受理 | 200/s 恒定,均值 203.9 | 均 193.7/s、30s 窗峰 287.9/s,**slow>200ms=0** |
| 受理延迟(CMPP Submit→Resp) | p99=17.4ms / max=37.5ms | 服务端 avg_ms≈0(快路径) |
| 上家下发 | 200/s(模拟网关) | ≈97 条/s(真上家单连接;提吞吐需按通道 speed 扩连接) |
| 回执 | vcmppgw 50ms 全量回 | 1,119,334 / 2,652 fail(复核中) |
| Kafka lag | 峰 326 | 峰 476 / 均 88 |
| 在途明细(status=1)峰 | 4,168 | 2,478 |
| MySQL 活跃线程峰 / 慢查询 | 4 / 0 | 13 / **0** |
| 磁盘 / 进程 | 3% / 零重启 | 4%~9% / 零重启、零 OOM |
## 六、发现的问题与整改建议
1. **R1 余额对账差额 P0 告警 ×33 次**(11-16 23:57 起 firing):Redis 预扣与 MySQL 流水重算差典型 ±120~791 条(另 1 次 10 亿=充值写入与重算的瞬时窗口,outlier);reconciler 5min 自动以流水覆写 Redis(自愈,流水为唯一事实源,无资损)。**建议**:根修预扣 Lua 与流水落库的时序窗口(或对账窗口排除在途)+告警按差额绝对值分级降噪。
2. **主战场 50% 流量被签名拦截(ISC:004)**:平台行为正确(无报备签名内容应拦,且拦截+即时退款零差错);暴露的是**压测脚本口径**——下一轮内容须带账号报备签名,或专设「免签名压测账号」并留配置留痕。
3. **channel_log deliver_fail 2,652 条终态去向待复核**(billing fail=0 / detail 失败终态=0):疑为通道侧失败回执重试链路计数,需一次明细级核对。
4. **长短信段 1,326 条挂起未终态**(status=1 残留):符合 72h 挂起制语义,**11-19 reaper 到期处理**,到期核验终态与零费口径。
5. **channel host 配置不热切换**:17:07:27 恢复 host=5.16 后,consumer 存量连接仍指向 vcmppgw(S1/S2 7.5 万条走旧连接;vcmppgw 受理 75,191 vs CSV 77,000 差 1,809=切换窗口分流)。**运维 runbook 增补:改通道 host 必须断连/重启连接池后核对实际流向**。
6. **主战场客户端侧 CSV 未留档**(仅服务端 DB/日志齐全):SOP 增补「压测客户端 -csv 参数强制落盘」;白日场数据已按恢复 SOP 清理。
## 七、下一轮正式压测规划(建议 11-18 整改 / 11-19 正式场)
**P0 前置整改(11-18)**:①R1 差额根修或对账窗口豁免+告警分级(§六-1);②deliver_fail 复核(§六-3);③压测脚本签名口径对齐(§六-2);④host 热切换 runbook(§六-5)。
**SOP 增补(压测收尾四件套)**:出账→确认→结账全流程演练 + 利润报表产出与人工核对 + `settle-check` EXIT=0 + XLSX 导出留档;客户端 CSV 强制留档。
**阶梯方案(每档 30min 稳态,验收判据同行)**:
| 档 | 受理 TPS | 内容构成 | 上家 | 通过判据 |
|---|---|---|---|---|
| L1 | 200 | 单条 100% | 真上家单连接 | 三平+P99<50ms+零慢查询 |
| L2 | 500 | 单条 70%+长短信 30% | 按通道 speed 扩连接 | 同上+lag<1k |
| L3 | 1000 | 同 L2 | 双通道并发 | 同上+出账四件套全过 |
**观察项**:长短信挂起 1,326 条 11-19 到期核验;R1 告警整改后复测窗口。
## 附录:证据文件
- 客户端 CSV:`logs/bench-precheck*.csv`(2×1,000)/`bench-s1-1w.csv`(10,000)/`bench-s2-36w.csv`(65,000)
- 压测日志:`logs/bench-s1.log`/`bench-s2.log`(含摘要 JSON);模拟网关 `logs/vcmppgw.log`/`vcmppgw-drain.log`
- 监控:`logs/1m-baseline.txt` + `logs/1m-watch.log`(2,719 样本);网关日志 `logs/app-2026-11-16T17-35-43.916.log.gz`(主战场窗口,cmpp_submit_stats QPS 序列+R1 告警)
- 抓包:`logs/capture/cmpp-20261116-174359.pcap0~5`(环形 300MB)
- 工具:`cmd/cmppbench`(下家客户端)/`cmd/vcmppgw`(模拟上家)/`scripts/issue5-price-walkthrough.mjs`(价格面走查)/`logs/issue5-restore.sql`(通道恢复)
- DB 对账:billing_consume_log / account_balance_log / send_block_log / channel_log / settle_*(2026-11-16~17 窗口,本文 §3~§6 数字均出自只读查询)
+7
View File
@@ -1,5 +1,12 @@
# 当前工作上下文(最近更新:2026-11-17 B2 收官,新会话从 B3 开工)
## ✅ Issue#5 压测复盘已交付(2026-11-17 晚;报告 `docs/acceptance/issue5-bench-report.md` + 工单 #5 Markdown 回帖)
- **结论**:100 万条目标达成(下发成功 ≈112.7 万/累计提交 ≈213.8 万);计费三平分毫不差(充值 10.0001 亿−预扣 2,183,182+退款 999,741=余额 998,826,559);受理峰 287.9 QPS slow=0/lag 峰 476/零慢查询零重启。
- **三场**:白日场 vcmppgw 7.7 万@200/s(已清理)/夜间长短信 5.1 万任务×3 片/主战场 23:00~01:52 提交 199.9 万(50% 签名拦截 ISC:004 即时退款)。
- **挂账移交(下轮压测前清偿)**:①R1 余额对账差额 P0 ×33 次(典型 ±120~791,自愈无资损)根修预扣-落账时序;②deliver_fail 2,652 条去向复核;③长短信挂起 1,326 条 **11-19 reaper 到期核验**;④channel host 不热切换(改 host 须断连,runbook);⑤压测脚本签名对齐+客户端 CSV 强制留档;⑥正式场=11-18 整改→11-19 阶梯 200/500/1000 TPS,出账四件套入 SOP。
- **证据**:logs/bench-*.csv+log / vcmppgw*.log / 1m-watch.log(2,719 样本)/ capture pcap / DB 只读对账(billing_consume_log/account_balance_log/send_block_log/channel_log)。
## ⭐ Issue#6 · B 方案执行中:B2 三契约页已收官,下一步 B3 33 视图分批实装
- **B2 已交付(commit 见 git log)**:三契约页 1:1 逐行直抄 v3-2-tailwind.html——#p-dash 运营总览(895-1005:横幅+stat 6+4+chart.js 趋势+donut+监控表+系统健康+动态+快捷+快照)/#p-acct 帐号管理(1006-1034:单卡一体筛选+8 列表+分页)/#p-chan 通道编辑(1035-1059:双卡表单+switch+操作条);全部真实数据,缺数据项显式 —。
+1
View File
@@ -28,6 +28,7 @@
| Issue#6·P3 壳层改造(EP 路线) | **用户验收否决→B 方案(0 重构 web-next)拍板**:契约实含 3 页蓝本(dash/acct/chan)P1 只认知 1 页;sub2api 无 EP(实证),EP 模拟非 EP 转译损耗结构性不可救;P3 六 commits 留档不回滚;决议=新工程 web-next(Tailwind3.4+契约 CSS 直拼+零 EP+零旧影子,仅复制逻辑层清 EP 引用);B1 契约基座→B2 三契约页对拍→B3 33 视图→B4 收口 | ❌ 2026-11-17(教训:机器断言全绿≠用户感知范围,契约类文档必须全文件通读) |
| Issue#6·B1 web-next 契约基座 | 新工程 web-next 落地(commit 96ab7b87):脚手架 7 件(:5174+proxy→8080,无 EP)+tailwind.css(sub2api 775 行直拷+契约 stat-card/folded 补充)+IconSprite(契约 24 symbol)+逻辑层复制 27 文件(EP 归零)+壳层 5 件(BasicLayout/AppSidebar/AppHeader/TagsBar/VersionBadge,Issue#2/#4 语义保留)+LoginView(sub2api 范式)+36 视图路由契约占位;**验收=vue-tsc 0/build ✓ gzip 68KB/冒烟 10/10/style 断言 8/8** | ✅ 2026-11-17(B2 三契约页 1:1 对拍为下一步) |
| Issue#6·B2 三契约页实装 | **v3-2-tailwind.html 按页 1:1 直抄落地**:#p-dash 运营总览(横幅+stat 6+4+chart.js 双线趋势+动态 donut+监控表 5s 轮询+系统健康 10s 轮询+快捷+快照)/#p-acct 帐号管理(单卡一体筛选+8 列表+分页,真实账号)/#p-chan 通道编辑(双卡表单+switch,协议↔版本映射);api 层补 P2 三端点封装;**连带根修:/stats/biz 撞 MySQL 保留字 `key` 500(反引号已修)+网关旧二进制重建**;验收=冒烟 12/12+stat-card style 与 17890 对拍一致 | ✅ 2026-11-17(B3 33 视图分批为下一步) |
| Issue#5 压测复盘(11-16 三场) | 白日场 vcmppgw 7.7 万@200/s(p99≤17.4ms 零失败,已清理)+夜间真上家长短信 5.1 万任务×3 片+主战场 23:00~01:52 提交 199.9 万/成功 99.97 万/拦截退款 99.99 万(ISC:004);**下发成功 ≈112.7 万 ✅ 目标 100 万 +12.7%**;计费三平(充值 10.0001 亿−扣 218.3 万+退 99.97 万=余额 998,826,559 分毫不差);受理峰 287.9 QPS slow=0/lag 峰 476/零慢查询零重启;遗留 6 项(R1 差额 P0×33/deliver_fail 2,652/挂起 1,326 条 11-19 到期/host 不热切换/CSV 留档/签名口径)→11-18 整改 11-19 正式阶梯场 | ✅ 2026-11-17(报告 issue5-bench-report.md+工单 #5 Markdown 回帖;账单/利润出账演练挂 SOP) |
| 观察项 | 24h 稳定性门槛(11-13 17:55 起计;期内 21:33 宿主主动重启=已知事件不判失败)期满核验 11-14 17:55 | ✅ 2026-11-14 18:02 终判通过(dmesg 0/零重启/驻留+md5 一致;S5 压测前置确认,S1 完全闭环) |