S1-B D4.1: B 层搬运 report 14 文件(P1 等价;UNKNOWN 72h/compensator/C3 重推语义全留;C1 引擎 S4 事;47.5% 离线口径 -race 绿)
This commit is contained in:
@@ -0,0 +1,116 @@
|
||||
// billing.go Day 57:计费确认(实施计划 5.3/A-5.2~A-5.4,基于 Day54 R1 预扣口径)。
|
||||
// R1 语义=提交即实扣(Hold=Redis DECRBY/MySQL 行锁,提交链资金已出):
|
||||
//
|
||||
// 成功(2) → 无资金动作(「预扣=实扣」半边,零差额验收);
|
||||
// 失败(3) → Refund(fee)(A-5.3 预扣金额退回,余额恢复);
|
||||
// 未知(4) → Refund(fee)(A-5.4 冻结释放;UNKNOWN 回执/48h 补偿扫描同口径)。
|
||||
//
|
||||
// msg_id 幂等锚=detail「首到终态锁定」(consumer.finishDetail WHERE status=1
|
||||
// RowsAffected=1 分支才调本Confirm)——重复回执/乱序重放走不到此处,
|
||||
// 每条明细资金动作至多一次;本函数自身不承诺幂等(裸调两次=两次退款)。
|
||||
// task 联动:回执终态覆写三计数(COUNT BY status 聚合覆写,幂等防双计——
|
||||
// 下发侧 done 的 success=sent 是提交口径中间态,回执口径为最终事实)+
|
||||
// 无在途兜底完成(拦截 5 不入三计数,FE intercepted_count 单列口径)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"strconv"
|
||||
"time"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
"go-sms/internal/pkg/logger"
|
||||
"go-sms/internal/service/balance"
|
||||
|
||||
"go.uber.org/zap"
|
||||
"gorm.io/gorm"
|
||||
)
|
||||
|
||||
// Billing 计费确认器(bal=nil 跳过资金动作,计数联动仍生效——测试/未装配)。
|
||||
type Billing struct {
|
||||
db *gorm.DB
|
||||
bal balance.Store
|
||||
}
|
||||
|
||||
// NewBilling 构造。
|
||||
func NewBilling(db *gorm.DB, bal balance.Store) *Billing {
|
||||
return &Billing{db: db, bal: bal}
|
||||
}
|
||||
|
||||
// Confirm detail 首次终态锁定后的资金动作+task 计数联动。
|
||||
// 失败不向上抛:终态已锁定,Kafka 重试重放走不到计费分支,抛错只会无谓
|
||||
// 重试→死信;两级 Store(Redis→MySQL 回退)均失败的窗口记 Error 日志,
|
||||
// 资损方向=少退不少扣(平台安全),对账差额告警+人工补偿兜底(R1 评审口径)。
|
||||
func (b *Billing) Confirm(ctx context.Context, detailID int64, status int8) {
|
||||
var d entity.MessageDetail
|
||||
if err := b.db.WithContext(ctx).First(&d, detailID).Error; err != nil {
|
||||
logger.L().Error("billing_detail_load_failed",
|
||||
zap.Int64("detail_id", detailID), zap.Error(err))
|
||||
return
|
||||
}
|
||||
if (status == 3 || status == 4) && b.bal != nil {
|
||||
fee := int64(d.Fee) // R1 整型条数口径(Fee=segments),零舍入
|
||||
reason := "回执失败退款"
|
||||
if status == 4 {
|
||||
reason = "UNKNOWN冻结释放"
|
||||
}
|
||||
refID := strconv.FormatInt(detailID, 10) // 审计可追溯(幂等锚在终态锁定)
|
||||
if err := b.bal.Refund(ctx, d.AccountID, fee, refID, reason); err != nil {
|
||||
logger.L().Error("billing_refund_failed",
|
||||
zap.Int64("detail_id", detailID), zap.Int64("account_id", d.AccountID),
|
||||
zap.Int64("fee", fee), zap.Int8("status", status),
|
||||
zap.String("ref_id", refID),
|
||||
zap.String("direction", "少退不少扣,对账兜底"), zap.Error(err))
|
||||
}
|
||||
}
|
||||
b.syncTask(ctx, d.TaskID)
|
||||
}
|
||||
|
||||
// syncTask 回执终态计数覆写+无在途兜底完成(聚合覆写天然防重放双计)。
|
||||
func (b *Billing) syncTask(ctx context.Context, taskID int64) {
|
||||
type stAgg struct {
|
||||
Status int8
|
||||
N int64
|
||||
}
|
||||
var rows []stAgg
|
||||
if err := b.db.WithContext(ctx).Model(&entity.MessageDetail{}).
|
||||
Select("status, COUNT(*) AS n").
|
||||
Where("task_id = ?", taskID).
|
||||
Group("status").Scan(&rows).Error; err != nil {
|
||||
logger.L().Error("billing_task_agg_failed", zap.Int64("task_id", taskID), zap.Error(err))
|
||||
return
|
||||
}
|
||||
var s, f, u, inflight int64
|
||||
for _, r := range rows {
|
||||
switch r.Status {
|
||||
case 2:
|
||||
s += r.N
|
||||
case 3:
|
||||
f += r.N
|
||||
case 4:
|
||||
u += r.N
|
||||
case 0, 1: // 待发/已提交=在途(审核拒绝任务停留 0,由审核域终态,不受此处完成)
|
||||
inflight += r.N
|
||||
}
|
||||
}
|
||||
if err := b.db.WithContext(ctx).Model(&entity.MessageTask{}).
|
||||
Where("id = ?", taskID).
|
||||
Updates(map[string]any{
|
||||
"success_count": s, "fail_count": f, "unknown_count": u,
|
||||
}).Error; err != nil {
|
||||
logger.L().Error("billing_task_counters_failed", zap.Int64("task_id", taskID), zap.Error(err))
|
||||
return
|
||||
}
|
||||
if inflight == 0 {
|
||||
// 无在途兜底完成:下发侧 done(status 1→2)为准,此处仅补写缺口;
|
||||
// WHERE 含 status IN (0,1) 幂等(已 done 的任务不再翻写)。
|
||||
res := b.db.WithContext(ctx).Model(&entity.MessageTask{}).
|
||||
Where("id = ? AND status IN (0, 1) AND finished_at IS NULL", taskID).
|
||||
Updates(map[string]any{"status": 2, "finished_at": time.Now()})
|
||||
if res.Error == nil && res.RowsAffected == 1 {
|
||||
logger.L().Info("billing_task_finished_by_report", zap.Int64("task_id", taskID))
|
||||
} else if res.Error != nil {
|
||||
logger.L().Error("billing_task_finish_failed", zap.Int64("task_id", taskID), zap.Error(res.Error))
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,163 @@
|
||||
// billing_test.go Day 57:计费确认单测——三态资金动作(成功零动作/失败退款/
|
||||
// UNKNOWN 冻结释放)+task 计数覆写联动(聚合幂等,防下发口径双计)+
|
||||
// 无在途兜底完成。fakeStore 记录 Refund 调用序列供断言。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"sync"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/glebarez/sqlite"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/logger"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
)
|
||||
|
||||
// refundCall fakeStore 记录的退款调用。
|
||||
type refundCall struct {
|
||||
accountID, amount int64
|
||||
refID, reason string
|
||||
}
|
||||
|
||||
// fakeStore balance.Store 桩(记退款序列;Hold 恒成功)。
|
||||
type fakeStore struct {
|
||||
mu sync.Mutex
|
||||
refunds []refundCall
|
||||
}
|
||||
|
||||
func (f *fakeStore) Hold(_ context.Context, _ int64, _ int64, _ string) error { return nil }
|
||||
func (f *fakeStore) Refund(_ context.Context, accountID, amount int64, refID, reason string) error {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
f.refunds = append(f.refunds, refundCall{accountID, amount, refID, reason})
|
||||
return nil
|
||||
}
|
||||
func (f *fakeStore) Mode() string { return "fake" }
|
||||
|
||||
func (f *fakeStore) calls() []refundCall {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
return append([]refundCall(nil), f.refunds...)
|
||||
}
|
||||
|
||||
func newBillingDB(t *testing.T) *gorm.DB {
|
||||
t.Helper()
|
||||
db, err := gorm.Open(sqlite.Open(":memory:"), &gorm.Config{Logger: logger.Discard})
|
||||
if err != nil {
|
||||
t.Fatalf("打开内存库失败: %v", err)
|
||||
}
|
||||
if err := db.AutoMigrate(&entity.MessageDetail{}, &entity.MessageReport{},
|
||||
&entity.MessageReportSeg{}, &entity.MessageTask{}); err != nil {
|
||||
t.Fatalf("AutoMigrate 失败: %v", err)
|
||||
}
|
||||
return db
|
||||
}
|
||||
|
||||
func getTask(t *testing.T, db *gorm.DB, id int64) entity.MessageTask {
|
||||
t.Helper()
|
||||
var tk entity.MessageTask
|
||||
if err := db.First(&tk, id).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return tk
|
||||
}
|
||||
|
||||
// TestBilling_SuccessNoMoneyMove 成功终态:零资金动作(A-5.2 预扣=实扣半边)。
|
||||
func TestBilling_SuccessNoMoneyMove(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
d := mkDetail(t, db, 7, "13800002222", 1)
|
||||
bill := NewBilling(db, fs)
|
||||
bill.Confirm(testCtx, d.ID, 2)
|
||||
if got := len(fs.calls()); got != 0 {
|
||||
t.Fatalf("成功终态不应退款,实得 %d 次", got)
|
||||
}
|
||||
}
|
||||
|
||||
// TestBilling_FailureRefundOnce 失败终态:按 detail.Fee(整型条数)退款一次。
|
||||
func TestBilling_FailureRefundOnce(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
d := entity.MessageDetail{TaskID: 7, AccountID: 5, Mobile: "13800003333", Status: 1, Fee: 3}
|
||||
d.ID = time.Now().UnixNano()
|
||||
if err := db.Create(&d).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
NewBilling(db, fs).Confirm(testCtx, d.ID, 3)
|
||||
calls := fs.calls()
|
||||
if len(calls) != 1 {
|
||||
t.Fatalf("失败终态应恰一次退款,实得 %d 次", len(calls))
|
||||
}
|
||||
if calls[0].amount != 3 || calls[0].accountID != 5 {
|
||||
t.Fatalf("退款口径错: %+v", calls[0])
|
||||
}
|
||||
if calls[0].reason != "回执失败退款" {
|
||||
t.Fatalf("reason 应为回执失败退款: %s", calls[0].reason)
|
||||
}
|
||||
}
|
||||
|
||||
// TestBilling_UnknownRelease UNKNOWN 终态:冻结释放(A-5.4 同款退款)。
|
||||
func TestBilling_UnknownRelease(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
d := mkDetail(t, db, 7, "13800004444", 1)
|
||||
NewBilling(db, fs).Confirm(testCtx, d.ID, 4)
|
||||
calls := fs.calls()
|
||||
if len(calls) != 1 || calls[0].reason != "UNKNOWN冻结释放" {
|
||||
t.Fatalf("UNKNOWN 应冻结释放一次: %+v", calls)
|
||||
}
|
||||
}
|
||||
|
||||
// TestBilling_TaskCountersRewrite 计数联动:三态聚合覆写(拦截 5 不入三计数)
|
||||
// +有在途不完成 +终态锁定后再 Confirm→无在途兜底完成+覆写幂等。
|
||||
func TestBilling_TaskCountersRewrite(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
if err := db.Create(&entity.MessageTask{
|
||||
ID: 7, TaskNo: "T57A", AccountID: 1, MobileCount: 4,
|
||||
Status: 1, // 下发侧置进行中,尚未 done
|
||||
}).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
mk := func(mobile string, status int8) entity.MessageDetail { return mkDetail(t, db, 7, mobile, status) }
|
||||
mk("13800000001", 2) // 成功
|
||||
mk("13800000002", 3) // 失败
|
||||
mk("13800000003", 4) // 未知
|
||||
mk("13800000004", 5) // 拦截(不入三计数,FE intercepted_count 单列)
|
||||
last := mk("13800000005", 1)
|
||||
|
||||
bill := NewBilling(db, fs)
|
||||
// 第一轮:last 仍在途(detail.status=1)→计数仅终态三行,不完成。
|
||||
bill.Confirm(testCtx, last.ID, 2)
|
||||
tk := getTask(t, db, 7)
|
||||
if tk.SuccessCount != 1 || tk.FailCount != 1 || tk.UnknownCount != 1 {
|
||||
t.Fatalf("计数覆写错: s=%d f=%d u=%d", tk.SuccessCount, tk.FailCount, tk.UnknownCount)
|
||||
}
|
||||
if tk.FinishedAt != nil || tk.Status != 1 {
|
||||
t.Fatalf("尚有在途不应完成: status=%d finished=%v", tk.Status, tk.FinishedAt)
|
||||
}
|
||||
// 第二轮:回执终态锁定(consumer.finishDetail 同款 UPDATE)后再 Confirm。
|
||||
if err := db.Model(&entity.MessageDetail{}).
|
||||
Where("id = ? AND status = 1", last.ID).
|
||||
Update("status", 2).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
bill.Confirm(testCtx, last.ID, 2)
|
||||
tk = getTask(t, db, 7)
|
||||
if tk.SuccessCount != 2 || tk.FailCount != 1 || tk.UnknownCount != 1 {
|
||||
t.Fatalf("末条计数错: s=%d f=%d u=%d", tk.SuccessCount, tk.FailCount, tk.UnknownCount)
|
||||
}
|
||||
if tk.Status != 2 || tk.FinishedAt == nil {
|
||||
t.Fatalf("无在途应兜底完成: status=%d finished=%v", tk.Status, tk.FinishedAt)
|
||||
}
|
||||
// 第三轮:重放 Confirm——聚合覆写幂等(计数不变,零双计),finish 不再翻写。
|
||||
before := getTask(t, db, 7)
|
||||
bill.Confirm(testCtx, last.ID, 2)
|
||||
after := getTask(t, db, 7)
|
||||
if after.SuccessCount != before.SuccessCount || after.FinishedAt == nil {
|
||||
t.Fatalf("重放应幂等: before=%+v after=%+v", before, after)
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,122 @@
|
||||
// compensator.go Day 57:无回执补偿扫描(A-5.4;实施计划 72h→项目日历 48h 口径;
|
||||
// Day 71 起与入向长短信挂起窗统一 72h)。
|
||||
// 扫 status=1(已提交)且 COALESCE(send_at,created_at)<now-72h 的明细,逐条
|
||||
// 原子置 UNKNOWN(4)+error_code=UNKNOWN——与回执消费者同款「首到终态锁定」
|
||||
// 幂等锚(WHERE status=1):重复扫描/与迟到回执并发时至多一次生效;
|
||||
// 锁定成功→退款(A-5.4 冻结释放)+message_report 落库(30 天重推窗口数据源,
|
||||
// uk_detail DoNothing)+task 计数联动(经 Billing.Confirm 单路径)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"time"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
"go-sms/internal/pkg/logger"
|
||||
|
||||
"go.uber.org/zap"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/clause"
|
||||
)
|
||||
|
||||
// DefaultUnknownWindow 默认无回执结案窗口(72h;Day 71 全链挂起口径统一)。
|
||||
const DefaultUnknownWindow = 72 * time.Hour
|
||||
|
||||
// CompensatorOptions 补偿扫描配置(零值走默认)。
|
||||
type CompensatorOptions struct {
|
||||
Window time.Duration // 结案窗口(默认 48h)
|
||||
Batch int // 单轮扫描上限(默认 500)
|
||||
}
|
||||
|
||||
// Compensator 48h 补偿扫描器(consumer 进程周期 goroutine 装配)。
|
||||
type Compensator struct {
|
||||
db *gorm.DB
|
||||
bill *Billing
|
||||
window time.Duration
|
||||
batch int
|
||||
}
|
||||
|
||||
// NewCompensator 构造(bill=nil 时只结案不动钱——测试口径)。
|
||||
func NewCompensator(db *gorm.DB, bill *Billing, opts CompensatorOptions) *Compensator {
|
||||
if opts.Window <= 0 {
|
||||
opts.Window = DefaultUnknownWindow
|
||||
}
|
||||
if opts.Batch <= 0 {
|
||||
opts.Batch = 500
|
||||
}
|
||||
return &Compensator{db: db, bill: bill, window: opts.Window, batch: opts.Batch}
|
||||
}
|
||||
|
||||
// Run 周期扫描(启动即一轮;every<=0 默认 10m;ctx 取消退出)。
|
||||
func (c *Compensator) Run(ctx context.Context, every time.Duration) {
|
||||
if every <= 0 {
|
||||
every = 10 * time.Minute
|
||||
}
|
||||
if n, err := c.ScanOnce(ctx); err != nil {
|
||||
logger.L().Error("compensator_scan_failed", zap.Error(err))
|
||||
} else if n > 0 {
|
||||
logger.L().Info("compensator_scan_closed", zap.Int("unknown_closed", n))
|
||||
}
|
||||
tk := time.NewTicker(every)
|
||||
defer tk.Stop()
|
||||
for {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return
|
||||
case <-tk.C:
|
||||
if n, err := c.ScanOnce(ctx); err != nil {
|
||||
logger.L().Error("compensator_scan_failed", zap.Error(err))
|
||||
} else if n > 0 {
|
||||
logger.L().Info("compensator_scan_closed", zap.Int("unknown_closed", n))
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// ScanOnce 单轮扫描:返回结案条数(0=无到期挂起)。
|
||||
func (c *Compensator) ScanOnce(ctx context.Context) (int, error) {
|
||||
cutoff := time.Now().Add(-c.window)
|
||||
var ids []int64
|
||||
if err := c.db.WithContext(ctx).Model(&entity.MessageDetail{}).
|
||||
Where("status = 1 AND COALESCE(send_at, created_at) < ?", cutoff).
|
||||
Order("id").Limit(c.batch).Pluck("id", &ids).Error; err != nil {
|
||||
return 0, err
|
||||
}
|
||||
now := time.Now()
|
||||
closed := 0
|
||||
for _, id := range ids {
|
||||
// 首到终态锁定:与迟到回执并发时至多一方生效(终态不可翻,资损安全)。
|
||||
res := c.db.WithContext(ctx).Model(&entity.MessageDetail{}).
|
||||
Where("id = ? AND status = 1", id).
|
||||
Updates(map[string]any{
|
||||
"status": 4, "error_code": "UNKNOWN", "report_at": now,
|
||||
})
|
||||
if res.Error != nil {
|
||||
return closed, res.Error
|
||||
}
|
||||
if res.RowsAffected == 0 {
|
||||
continue // 已被回执锁定/他轮已结——幂等跳过
|
||||
}
|
||||
closed++
|
||||
var d entity.MessageDetail
|
||||
if err := c.db.WithContext(ctx).First(&d, id).Error; err != nil {
|
||||
logger.L().Error("compensator_detail_load_failed", zap.Int64("detail_id", id), zap.Error(err))
|
||||
continue
|
||||
}
|
||||
if err := c.db.WithContext(ctx).Clauses(clause.OnConflict{
|
||||
Columns: []clause.Column{{Name: "detail_id"}},
|
||||
DoNothing: true,
|
||||
}).Create(&entity.MessageReport{
|
||||
DetailID: id, ChannelID: d.ChannelID,
|
||||
Status: string(StatusUnknown), RawCode: "UNKNOWN",
|
||||
ErrorCode: "UNKNOWN", ReportAt: now,
|
||||
}).Error; err != nil {
|
||||
logger.L().Error("compensator_report_insert_failed",
|
||||
zap.Int64("detail_id", id), zap.Error(err))
|
||||
}
|
||||
if c.bill != nil {
|
||||
c.bill.Confirm(ctx, id, 4) // 退款+计数联动(内部吞错记日志,方向=少退不少扣)
|
||||
}
|
||||
}
|
||||
return closed, nil
|
||||
}
|
||||
@@ -0,0 +1,150 @@
|
||||
// compensator_test.go Day 57:48h 补偿扫描单测——到期结案(UNKNOWN+退款+report
|
||||
// 落库+计数联动)/未到期不动/已终态不翻(锁定)/重复扫描幂等(至多一次退款)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/glebarez/sqlite"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/logger"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
)
|
||||
|
||||
// newCompDB 补偿扫描测试库(同 newBillingDB,独立建避免用例间数据串扰)。
|
||||
func newCompDB(t *testing.T) *gorm.DB {
|
||||
t.Helper()
|
||||
db, err := gorm.Open(sqlite.Open(":memory:"), &gorm.Config{Logger: logger.Discard})
|
||||
if err != nil {
|
||||
t.Fatalf("打开内存库失败: %v", err)
|
||||
}
|
||||
if err := db.AutoMigrate(&entity.MessageDetail{}, &entity.MessageReport{},
|
||||
&entity.MessageReportSeg{}, &entity.MessageTask{}); err != nil {
|
||||
t.Fatalf("AutoMigrate 失败: %v", err)
|
||||
}
|
||||
return db
|
||||
}
|
||||
|
||||
// mkPending 直插挂起明细(send_at 相对 now 偏移;雪花 ID 显式)。
|
||||
func mkPending(t *testing.T, db *gorm.DB, taskID int64, mobile string, age time.Duration) entity.MessageDetail {
|
||||
t.Helper()
|
||||
d := entity.MessageDetail{
|
||||
TaskID: taskID, AccountID: 1, Mobile: mobile, Status: 1,
|
||||
SendAt: ptrTime(time.Now().Add(-age)),
|
||||
}
|
||||
d.ID = time.Now().UnixNano() + 77
|
||||
if err := db.Create(&d).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return d
|
||||
}
|
||||
|
||||
func ptrTime(t time.Time) *time.Time { return &t }
|
||||
|
||||
// TestCompensator_ExpiredToUnknown 到期挂起:置 4+退款+message_report 落库
|
||||
// +task unknown_count 联动(A-5.4 冻结释放全链)。
|
||||
func TestCompensator_ExpiredToUnknown(t *testing.T) {
|
||||
db := newCompDB(t)
|
||||
fs := &fakeStore{}
|
||||
if err := db.Create(&entity.MessageTask{
|
||||
ID: 9, TaskNo: "T57C", AccountID: 1, MobileCount: 2, Status: 1,
|
||||
}).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
d := mkPending(t, db, 9, "13800005555", 73*time.Hour) // 72h 窗口外(Day71 统一口径)
|
||||
|
||||
n, err := NewCompensator(db, NewBilling(db, fs), CompensatorOptions{}).ScanOnce(testCtx)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if n != 1 {
|
||||
t.Fatalf("应结案 1 条,实得 %d", n)
|
||||
}
|
||||
got := getDetail(t, db, d.ID)
|
||||
if got.Status != 4 || got.ErrorCode != "UNKNOWN" {
|
||||
t.Fatalf("应置 UNKNOWN(4): status=%d code=%s", got.Status, got.ErrorCode)
|
||||
}
|
||||
var cnt int64
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&cnt)
|
||||
if cnt != 1 {
|
||||
t.Fatalf("message_report 应落库 1 行,实得 %d", cnt)
|
||||
}
|
||||
calls := fs.calls()
|
||||
if len(calls) != 1 || calls[0].reason != "UNKNOWN冻结释放" {
|
||||
t.Fatalf("应冻结释放一次: %+v", calls)
|
||||
}
|
||||
tk := getTask(t, db, 9)
|
||||
if tk.UnknownCount != 1 || tk.Status != 2 || tk.FinishedAt == nil {
|
||||
t.Fatalf("task 联动错: %+v", tk)
|
||||
}
|
||||
}
|
||||
|
||||
// TestCompensator_NotExpiredSkipped 窗口内(47h)与已终态(2)明细均不动。
|
||||
func TestCompensator_NotExpiredSkipped(t *testing.T) {
|
||||
db := newCompDB(t)
|
||||
fs := &fakeStore{}
|
||||
mkPending(t, db, 9, "13800006666", 47*time.Hour) // 窗口内
|
||||
final := mkDetail(t, db, 9, "13800007777", 2) // 已成功锁定
|
||||
|
||||
n, err := NewCompensator(db, NewBilling(db, fs), CompensatorOptions{}).ScanOnce(testCtx)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if n != 0 {
|
||||
t.Fatalf("不应结案,实得 %d", n)
|
||||
}
|
||||
if len(fs.calls()) != 0 {
|
||||
t.Fatalf("不应退款: %+v", fs.calls())
|
||||
}
|
||||
if getDetail(t, db, final.ID).Status != 2 {
|
||||
t.Fatal("已锁定终态被翻转(资损风险)")
|
||||
}
|
||||
}
|
||||
|
||||
// TestCompensator_RescanIdempotent 两轮扫描:第二轮零结案零退款(幂等锚=锁定)。
|
||||
func TestCompensator_RescanIdempotent(t *testing.T) {
|
||||
db := newCompDB(t)
|
||||
fs := &fakeStore{}
|
||||
d := mkPending(t, db, 9, "13800008888", 74*time.Hour)
|
||||
comp := NewCompensator(db, NewBilling(db, fs), CompensatorOptions{})
|
||||
if n, err := comp.ScanOnce(testCtx); err != nil || n != 1 {
|
||||
t.Fatalf("首轮应结案 1: n=%d err=%v", n, err)
|
||||
}
|
||||
if n, err := comp.ScanOnce(testCtx); err != nil || n != 0 {
|
||||
t.Fatalf("次轮应零结案: n=%d err=%v", n, err)
|
||||
}
|
||||
if len(fs.calls()) != 1 {
|
||||
t.Fatalf("重复扫描应恰一次退款,实得 %d 次", len(fs.calls()))
|
||||
}
|
||||
var cnt int64
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&cnt)
|
||||
if cnt != 1 {
|
||||
t.Fatalf("report 不应重复落库: %d", cnt)
|
||||
}
|
||||
}
|
||||
|
||||
// TestCompensator_SendAtFallback send_at 缺失回退 created_at 口径。
|
||||
func TestCompensator_SendAtFallback(t *testing.T) {
|
||||
db := newCompDB(t)
|
||||
fs := &fakeStore{}
|
||||
d := entity.MessageDetail{TaskID: 9, AccountID: 1, Mobile: "13800009999", Status: 1}
|
||||
d.ID = time.Now().UnixNano() + 99
|
||||
d.CreatedAt = time.Now().Add(-73 * time.Hour) // 雪花模型仅 created_at,autoCreate 覆盖前显式
|
||||
if err := db.Create(&d).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// GORM autoCreateTime 会覆写 created_at——显式改回。
|
||||
if err := db.Model(&entity.MessageDetail{}).Where("id = ?", d.ID).
|
||||
Update("created_at", time.Now().Add(-73*time.Hour)).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
n, err := NewCompensator(db, NewBilling(db, fs), CompensatorOptions{}).ScanOnce(testCtx)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if n != 1 {
|
||||
t.Fatalf("created_at 回退口径应结案: %d", n)
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,290 @@
|
||||
// consumer.go Day 56:sms-report 消费者——回执归一化(Day55 三态词表)
|
||||
// +段级配对(msg_id+mobile→message_report_seg 置态)+按 detail_id 聚合
|
||||
// 段数判终态(长短信 1~9 片,全 SUCCESS→成功/任一 FAILURE→失败/其余挂起)
|
||||
// +message_report 落库(uk_detail 幂等,30 天重推窗口数据源)。
|
||||
// Day 57 落地(原挂账清单):①48h 补偿扫描→UNKNOWN 结案(compensator.go);
|
||||
// ②task 聚合计数联动(success/fail/unknown_count 覆写, billing.go syncTask);
|
||||
// ③预扣转实扣/失败退款(finishDetail 首次锁定分支→Billing.Confirm)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"time"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
"go-sms/internal/pkg/logger"
|
||||
"go-sms/internal/pkg/metrics"
|
||||
|
||||
"go.uber.org/zap"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/clause"
|
||||
)
|
||||
|
||||
// Consumer sms-report 消费者。
|
||||
type Consumer struct {
|
||||
db *gorm.DB
|
||||
bill *Billing // Day 57:计费确认(nil=跳过,Day56 零破坏)
|
||||
push PushSink // Day 61:CMPP Deliver 下发出口(nil=跳过)
|
||||
requeue func(ev *Event) error // Day 69 三轮:unpaired 短重投出口(nil=直接按杂音丢弃)
|
||||
}
|
||||
|
||||
// NewConsumer 构造。
|
||||
func NewConsumer(db *gorm.DB) *Consumer { return &Consumer{db: db} }
|
||||
|
||||
// WithBilling 注入计费确认器(Day 57:终态锁定后失败/UNKNOWN 退款+task 计数
|
||||
// 联动;链式,与 send.ReclaimScanner.WithBatch 同风格)。
|
||||
func (c *Consumer) WithBilling(b *Billing) *Consumer {
|
||||
c.bill = b
|
||||
return c
|
||||
}
|
||||
|
||||
// WithPushSink 注入 CMPP Deliver 下发出口(Day 61;链式,nil=跳过)。
|
||||
func (c *Consumer) WithPushSink(p PushSink) *Consumer {
|
||||
c.push = p
|
||||
return c
|
||||
}
|
||||
|
||||
// WithRequeue 注入 unpaired 短重投出口(Day 69 三轮;链式,nil=不重投)。
|
||||
// 场景:秒回模拟器回执(push→kafka→消费,~10ms)可跑赢发送侧 seg 落库
|
||||
// (submit 往返+批量写,~20ms+)——合法回执 unpaired 若直接丢弃=detail
|
||||
// 永久挂起。重投回 sms-report 尾部获得队列级延迟,二次消费时 seg 已
|
||||
// 到位;重投失败上抛交消费组重试(消息不丢)。
|
||||
func (c *Consumer) WithRequeue(f func(ev *Event) error) *Consumer {
|
||||
c.requeue = f
|
||||
return c
|
||||
}
|
||||
|
||||
// HandlePayload 消费入口(Kafka handler;载荷即 Event JSON)。
|
||||
func (c *Consumer) HandlePayload(_ context.Context, value []byte) error {
|
||||
var ev Event
|
||||
if err := json.Unmarshal(value, &ev); err != nil {
|
||||
return err // 非法载荷交由消费组重试→死信(与 submit/uplink 消费者同口径)
|
||||
}
|
||||
return c.Process(context.Background(), &ev)
|
||||
}
|
||||
|
||||
// finAction aggregate 判定出的终态动作(挂起时为 nil)。
|
||||
type finAction struct {
|
||||
detailID, channelID int64
|
||||
status int8
|
||||
errCode string
|
||||
st Status
|
||||
mobile string
|
||||
}
|
||||
|
||||
// Process 单条回执:段置态→聚合判终态→detail+message_report 回写。
|
||||
// 无配对段(msg_id+mobile 未命中)返回 nil 不重试——挂起口径
|
||||
// (重启丢登记/上游重推旧号等场景,重试无意义,日志可观测)。
|
||||
// P1 压测优化(09-27):seg 置态/detail 终态/report 插入三写合一单事务
|
||||
// ——此前 3 次独立 autocommit,26697 回执=8 万次提交是 HDD fsync 排队
|
||||
// 主力(w_await 127ms);合一后提交次数 ÷3,首锁/幂等/乱序语义零漂移。
|
||||
// bill.Confirm(含 Redis Refund)留在事务提交后:锁定成功才动钱,
|
||||
// 回滚重放不会双退(原时序语义);pushDeliverLocked 在事务内,极窄回滚
|
||||
// 窗口存在重复推送可能(at-least-once,客户端幂等兜底)。
|
||||
func (c *Consumer) Process(ctx context.Context, ev *Event) error {
|
||||
st := Normalize(ev.Stat)
|
||||
now := time.Now()
|
||||
var act *finAction
|
||||
var locked bool
|
||||
var paired bool // 配对到段(区别无配对挂起:后者不复查不重试,原口径)
|
||||
err := c.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
|
||||
res := tx.Model(&entity.MessageReportSeg{}).
|
||||
Where("msg_id = ? AND mobile = ?", ev.MsgID, ev.Dest).
|
||||
Updates(map[string]any{
|
||||
"status": string(st),
|
||||
"raw_code": ev.Stat,
|
||||
"report_at": now,
|
||||
})
|
||||
if res.Error != nil {
|
||||
return res.Error
|
||||
}
|
||||
if res.RowsAffected == 0 {
|
||||
logger.L().Warn("report_seg_unpaired",
|
||||
zap.Int64("channel_id", ev.ChannelID), zap.String("msg_id", ev.MsgID),
|
||||
zap.String("mobile", ev.Dest), zap.String("stat", ev.Stat))
|
||||
return nil
|
||||
}
|
||||
paired = true
|
||||
var err error
|
||||
act, err = c.aggregate(ctx, tx, ev, st, ev.Stat, now)
|
||||
if err != nil || act == nil {
|
||||
return err
|
||||
}
|
||||
locked, err = finalizeDetail(ctx, tx, c.push,
|
||||
act.detailID, act.channelID, act.status, act.errCode, now, act.st, act.mobile)
|
||||
return err
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if locked && c.bill != nil { // 首到终态锁定且事务已提交:计费确认(内部吞错,方向=少退不少扣)
|
||||
c.bill.Confirm(ctx, act.detailID, act.status)
|
||||
}
|
||||
if !paired {
|
||||
return c.handleUnpaired(ev) // Day 69 三轮:秒回竞态短重投,耗尽才按杂音丢弃
|
||||
}
|
||||
if act == nil {
|
||||
// 多段聚合竞态双盲兜底(Day 69 二轮):REPEATABLE READ 下同 detail
|
||||
// 多段回执并发到达,各自事务快照互不含对方未提交置态→双双 pending
|
||||
// (2278311~13 实锤;detail 行 FOR UPDATE 无效——锁是当前读,count
|
||||
// 仍走旧快照,已回滚)。主事务提交后开全新事务(新快照)重判:并发
|
||||
// 簇最后提交者此刻必见全部已提交段,到齐即终态;finalizeDetail
|
||||
// WHERE status=1 首锁保证与任意并发路径至多终态一次。仍 pending=
|
||||
// 真未到齐,等后续段。零锁无死锁;单段(pk_total=1)主事务直接终
|
||||
// 态不进此路径,零额外开销。
|
||||
metrics.ReportPendingTotal.Inc()
|
||||
return c.recheckPending(ctx, ev, st, now)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// unpairedMaxRetries unpaired 重投上限(回 sms-report 尾部天然延迟;超过
|
||||
// 视为真杂音——重启丢登记/上游重推旧号,再投无意义,丢弃留痕)。
|
||||
const unpairedMaxRetries = 3
|
||||
|
||||
// handleUnpaired 无配对段回执处置(Day 69 三轮):seg 落库竞态窗口内到达的
|
||||
// 合法回执短重投(≤3 次,队列级延迟后 seg 已到位);重投失败上抛交消费组
|
||||
// 重试(消息不丢);无出口或耗尽=真杂音,丢弃留痕(原挂起口径)。
|
||||
func (c *Consumer) handleUnpaired(ev *Event) error {
|
||||
if ev.Retries < unpairedMaxRetries && c.requeue != nil {
|
||||
metrics.ReportRequeueTotal.Inc()
|
||||
retry := *ev
|
||||
retry.Retries++
|
||||
if err := c.requeue(&retry); err != nil {
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
logger.L().Warn("report_seg_unpaired_drop",
|
||||
zap.Int64("channel_id", ev.ChannelID), zap.String("msg_id", ev.MsgID),
|
||||
zap.String("mobile", ev.Dest), zap.String("stat", ev.Stat),
|
||||
zap.Int("retries", ev.Retries))
|
||||
return nil
|
||||
}
|
||||
|
||||
// recheckPending pending 后新事务复查(Day 69 二轮竞态修复,见 Process 注)。
|
||||
func (c *Consumer) recheckPending(ctx context.Context, ev *Event, st Status, now time.Time) error {
|
||||
var act *finAction
|
||||
var locked bool
|
||||
err := c.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
|
||||
var err error
|
||||
act, err = c.aggregate(ctx, tx, ev, st, ev.Stat, now)
|
||||
if err != nil || act == nil {
|
||||
return err
|
||||
}
|
||||
locked, err = finalizeDetail(ctx, tx, c.push,
|
||||
act.detailID, act.channelID, act.status, act.errCode, now, act.st, act.mobile)
|
||||
return err
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if act != nil {
|
||||
metrics.ReportRecheckTotal.WithLabelValues("finalized").Inc()
|
||||
} else {
|
||||
metrics.ReportRecheckTotal.WithLabelValues("still_pending").Inc()
|
||||
}
|
||||
if locked && c.bill != nil {
|
||||
c.bill.Confirm(ctx, act.detailID, act.status)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// aggregate 按 detail 聚合全部段判终态(db=调用方事务对象);返回终态动作,
|
||||
// nil=未到齐挂起:
|
||||
// - 任一段 FAILURE → detail 3 失败(error_code=失败段原始码);
|
||||
// - 全段 SUCCESS 且到齐(有回执段数=PkTotal) → detail 2 成功;
|
||||
// - 其余(部分未达/UNKNOWN) → 保持不动(挂起,48h 扫描后转 UNKNOWN 结案)。
|
||||
func (c *Consumer) aggregate(ctx context.Context, db *gorm.DB, ev *Event, st Status, rawCode string, now time.Time) (*finAction, error) {
|
||||
var seg entity.MessageReportSeg
|
||||
if err := db.WithContext(ctx).
|
||||
Where("msg_id = ? AND mobile = ?", ev.MsgID, ev.Dest).
|
||||
First(&seg).Error; err != nil {
|
||||
return nil, err
|
||||
}
|
||||
type segAgg struct {
|
||||
Status string
|
||||
N int64
|
||||
}
|
||||
var rows []segAgg
|
||||
if err := db.WithContext(ctx).Model(&entity.MessageReportSeg{}).
|
||||
Select("status, COUNT(*) AS n").
|
||||
Where("detail_id = ?", seg.DetailID).
|
||||
Group("status").Scan(&rows).Error; err != nil {
|
||||
return nil, err
|
||||
}
|
||||
var arrived, success, failure int64
|
||||
for _, r := range rows {
|
||||
switch Status(r.Status) {
|
||||
case StatusSuccess:
|
||||
success += r.N
|
||||
arrived += r.N
|
||||
case StatusFailure:
|
||||
failure += r.N
|
||||
arrived += r.N
|
||||
case StatusUnknown:
|
||||
arrived += r.N // UNKNOWN 已到但非终态:不计成功不判失败
|
||||
}
|
||||
}
|
||||
total := int64(seg.PkTotal)
|
||||
switch {
|
||||
case failure > 0:
|
||||
return &finAction{detailID: seg.DetailID, channelID: seg.ChannelID,
|
||||
status: 3, errCode: rawCode, st: StatusFailure, mobile: ev.Dest}, nil
|
||||
case success == total && total > 0:
|
||||
return &finAction{detailID: seg.DetailID, channelID: seg.ChannelID,
|
||||
status: 2, errCode: "", st: StatusSuccess, mobile: ev.Dest}, nil
|
||||
default:
|
||||
// 未到齐(或含 UNKNOWN 挂起):detail 保持已提交态,等后续段/补偿扫描。
|
||||
logger.L().Info("report_detail_pending",
|
||||
zap.Int64("detail_id", seg.DetailID), zap.Int64("arrived", arrived),
|
||||
zap.Int64("pk_total", total), zap.String("stat", rawCode))
|
||||
return nil, nil
|
||||
}
|
||||
}
|
||||
|
||||
// finalizeDetail 终态回写单一实现(Consumer 回执链/手动配对共用):
|
||||
// message_detail(status=1 首锁回写)+ message_report 插入(uk_detail 冲突忽略)
|
||||
// + Day57 计费确认(bill≠nil)+ Day61 CMPP Deliver 推送(push≠nil)。
|
||||
// 「首到终态锁定」:detail 仅在已提交态(status=1)回写——重复回执重放/
|
||||
// 乱序异态(先 DELIVRD 后 UNDELIV)不翻转已锁定终态,资损安全方向。
|
||||
// 返回 locked=false 表示终态已被锁定(调用方按幂等跳过处理)。
|
||||
// finalizeDetail 终态回写单一实现(Consumer 回执链/手动配对共用;db=调用方
|
||||
// 事务对象——P1 三写合一后 Confirm 由调用方在事务提交后按 locked 触发):
|
||||
func finalizeDetail(ctx context.Context, db *gorm.DB, push PushSink,
|
||||
detailID, channelID int64, status int8, errCode string, now time.Time, st Status, mobile string) (bool, error) {
|
||||
if ec := []rune(errCode); len(ec) > 16 {
|
||||
errCode = string(ec[:16]) // 与 markDetail/batchwriter 同截断口径
|
||||
}
|
||||
res := db.WithContext(ctx).Model(&entity.MessageDetail{}).
|
||||
Where("id = ? AND status = 1", detailID). // 1=已提交,终态可进不可翻
|
||||
Updates(map[string]any{
|
||||
"status": status, "error_code": errCode, "report_at": now,
|
||||
})
|
||||
if res.Error != nil {
|
||||
return false, res.Error
|
||||
}
|
||||
if res.RowsAffected == 0 {
|
||||
logger.L().Info("report_detail_final_locked_skip",
|
||||
zap.Int64("detail_id", detailID), zap.String("status", string(st)))
|
||||
return false, nil // 终态已锁定(重复回执/乱序重放):计费亦跳过——msg_id 幂等锚
|
||||
}
|
||||
if err := db.WithContext(ctx).Clauses(clause.OnConflict{
|
||||
Columns: []clause.Column{{Name: "detail_id"}},
|
||||
DoNothing: true,
|
||||
}).Create(&entity.MessageReport{
|
||||
DetailID: detailID, ChannelID: channelID,
|
||||
Status: string(st), RawCode: errCode, ErrorCode: errCode, ReportAt: now,
|
||||
}).Error; err != nil {
|
||||
return true, err
|
||||
}
|
||||
// Day 57:计费确认移至调用方事务提交后(P1 三写合一:Refund(Redis)在
|
||||
// 事务内会有回滚双退窗口;锁定成功才动钱,语义不变):
|
||||
// 成功不动钱(预扣即实扣)/失败退款/UNKNOWN 冻结释放+task 计数联动;
|
||||
// 内部吞错(方向=少退不少扣,对账兜底),不阻塞消费 offset 前进。
|
||||
// Day 61(P0.5):CMPP 客户回执协议侧下发(仅首锁分支——重复回执不重推;
|
||||
// 非 CMPP 来源/下发失败均静默,不影响已锁定的对账事实源)。
|
||||
pushDeliverLocked(ctx, db, push, detailID, status, errCode, mobile, now)
|
||||
return true, nil
|
||||
}
|
||||
@@ -0,0 +1,443 @@
|
||||
// consumer_test.go Day 56:回执消费者单测——三态归一化联动(detail 终态)/
|
||||
// 长短信 9 片段级聚合(部分到达挂起/到齐成功/任一失败)/首到终态锁定
|
||||
// (乱序异态不翻转)/无配对段挂起不重试/合包多号独立置态。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"sync"
|
||||
"sync/atomic"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/glebarez/sqlite"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/logger"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
)
|
||||
|
||||
func newConsumerDB(t *testing.T) *gorm.DB {
|
||||
t.Helper()
|
||||
db, err := gorm.Open(sqlite.Open(":memory:"), &gorm.Config{Logger: logger.Discard})
|
||||
if err != nil {
|
||||
t.Fatalf("打开内存库失败: %v", err)
|
||||
}
|
||||
if err := db.AutoMigrate(&entity.MessageDetail{}, &entity.MessageReport{}, &entity.MessageReportSeg{}); err != nil {
|
||||
t.Fatalf("AutoMigrate 失败: %v", err)
|
||||
}
|
||||
return db
|
||||
}
|
||||
|
||||
var testCtx = context.Background()
|
||||
|
||||
// detailSeq 测试明细 ID 序列(MessageDetail=雪花主键非自增,须显式赋值)。
|
||||
var detailSeq int64
|
||||
|
||||
// mkDetail 直插明细(显式雪花 ID)。
|
||||
func mkDetail(t *testing.T, db *gorm.DB, taskID int64, mobile string, status int8) entity.MessageDetail {
|
||||
t.Helper()
|
||||
d := entity.MessageDetail{TaskID: taskID, AccountID: 1, Mobile: mobile, Status: status}
|
||||
d.ID = time.Now().UnixNano() + atomic.AddInt64(&detailSeq, 1)
|
||||
if err := db.Create(&d).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return d
|
||||
}
|
||||
|
||||
// mkSeg 直插配对段(提交侧 writeSegRows 等价;msg_id 由 detailID+段序唯一化)。
|
||||
func mkSeg(t *testing.T, db *gorm.DB, detailID, channelID int64, mobile string, pkNumber, pkTotal int) string {
|
||||
t.Helper()
|
||||
mid := fmt.Sprintf("m%d-%02d", detailID, pkNumber)
|
||||
row := entity.MessageReportSeg{
|
||||
DetailID: detailID, ChannelID: channelID, MsgID: mid, Mobile: mobile,
|
||||
PkNumber: int8(pkNumber), PkTotal: int8(pkTotal),
|
||||
}
|
||||
if err := db.Create(&row).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return mid
|
||||
}
|
||||
|
||||
// ev 回执事件构造。
|
||||
func ev(channelID int64, msgID, stat, dest string) *Event {
|
||||
return &Event{ChannelID: channelID, MsgID: msgID, Stat: stat, Dest: dest, RecvAt: time.Now().Format(time.RFC3339)}
|
||||
}
|
||||
|
||||
func getDetail(t *testing.T, db *gorm.DB, id int64) entity.MessageDetail {
|
||||
t.Helper()
|
||||
var d entity.MessageDetail
|
||||
if err := db.First(&d, id).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return d
|
||||
}
|
||||
|
||||
// TestConsumer_SingleSuccess 单段成功:detail 1→2,message_report SUCCESS 落库。
|
||||
func TestConsumer_SingleSuccess(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
d := mkDetail(t, db, 1, "13800001111", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13800001111", 1, 1)
|
||||
|
||||
if err := c.Process(testCtx, ev(7, mid, "DELIVRD", "13800001111")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
got := getDetail(t, db, d.ID)
|
||||
if got.Status != 2 {
|
||||
t.Fatalf("status=%d 期望 2(成功)", got.Status)
|
||||
}
|
||||
if got.ReportAt == nil {
|
||||
t.Fatal("report_at 应写入")
|
||||
}
|
||||
var rep entity.MessageReport
|
||||
if err := db.Where("detail_id = ?", d.ID).First(&rep).Error; err != nil {
|
||||
t.Fatalf("message_report 未落库: %v", err)
|
||||
}
|
||||
if rep.Status != string(StatusSuccess) {
|
||||
t.Fatalf("report.status=%s 期望 SUCCESS", rep.Status)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_SingleFailure 失败终态:detail→3,error_code=通道原始码。
|
||||
func TestConsumer_SingleFailure(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
d := mkDetail(t, db, 1, "13900002222", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13900002222", 1, 1)
|
||||
|
||||
if err := c.Process(testCtx, ev(7, mid, "UNDELIV", "13900002222")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
got := getDetail(t, db, d.ID)
|
||||
if got.Status != 3 || got.ErrorCode != "UNDELIV" {
|
||||
t.Fatalf("status=%d code=%s 期望 3/UNDELIV", got.Status, got.ErrorCode)
|
||||
}
|
||||
var rep entity.MessageReport
|
||||
if err := db.Where("detail_id = ?", d.ID).First(&rep).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if rep.Status != string(StatusFailure) {
|
||||
t.Fatalf("report.status=%s 期望 FAILURE", rep.Status)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_NineSegAggregate 长短信 9 片段级聚合(验收主用例):
|
||||
// 8 片 DELIVRD=挂起(detail 保持 1);第 9 片到齐=成功(2);
|
||||
// 另一 9 片任务任一片 UNDELIV=失败(3)。
|
||||
func TestConsumer_NineSegAggregate(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
mobile := "13700003333"
|
||||
d := mkDetail(t, db, 1, mobile, 1)
|
||||
var mids []string
|
||||
for pn := 1; pn <= 9; pn++ {
|
||||
mids = append(mids, mkSeg(t, db, d.ID, 7, mobile, pn, 9))
|
||||
}
|
||||
// 8 片成功:未到齐→挂起。
|
||||
for i := 0; i < 8; i++ {
|
||||
if err := c.Process(testCtx, ev(7, mids[i], "DELIVRD", mobile)); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 1 {
|
||||
t.Fatalf("8/9 片应挂起(status=1),实际 %d", got.Status)
|
||||
}
|
||||
// 第 9 片到齐→成功(大小写空白容错同步验证)。
|
||||
if err := c.Process(testCtx, ev(7, mids[8], " DELIVRD ", mobile)); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("9/9 片应成功(2),实际 %d", got.Status)
|
||||
}
|
||||
|
||||
// 第二任务:任一片失败→整条失败。
|
||||
d2 := mkDetail(t, db, 2, mobile, 1)
|
||||
var mids2 []string
|
||||
for pn := 1; pn <= 9; pn++ {
|
||||
mids2 = append(mids2, mkSeg(t, db, d2.ID, 7, mobile, pn, 9))
|
||||
}
|
||||
if err := c.Process(testCtx, ev(7, mids2[0], "DELIVRD", mobile)); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := c.Process(testCtx, ev(7, mids2[3], "REJECTD", mobile)); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
got := getDetail(t, db, d2.ID)
|
||||
if got.Status != 3 || got.ErrorCode != "REJECTD" {
|
||||
t.Fatalf("任一片失败应整条失败(3/REJECTD),实际 %d/%s", got.Status, got.ErrorCode)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_UnknownPending UNKNOWN(中间态 GB:0001)不判终态:detail 保持 1。
|
||||
func TestConsumer_UnknownPending(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
d := mkDetail(t, db, 1, "13600004444", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13600004444", 1, 1)
|
||||
if err := c.Process(testCtx, ev(7, mid, "GB:0001", "13600004444")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 1 {
|
||||
t.Fatalf("UNKNOWN 应挂起(status=1),实际 %d", got.Status)
|
||||
}
|
||||
var n int64
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&n)
|
||||
if n != 0 {
|
||||
t.Fatal("挂起不应写 message_report")
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_FinalLocked 首到终态锁定:已成功(2)后再收 UNDELIV 不翻转。
|
||||
func TestConsumer_FinalLocked(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
d := mkDetail(t, db, 1, "13500005555", 2)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13500005555", 1, 1)
|
||||
if err := c.Process(testCtx, ev(7, mid, "UNDELIV", "13500005555")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("终态锁定被破坏: %d", got.Status)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_UnpairedNoRetry 无配对段:返回 nil(不重试),挂起口径。
|
||||
func TestConsumer_UnpairedNoRetry(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
if err := c.Process(testCtx, ev(7, "404", "DELIVRD", "13000000000")); err != nil {
|
||||
t.Fatalf("无配对应返回 nil(挂起不重试): %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_BatchMultiMobile 合包同 msg_id 多号:按 (msg_id,mobile) 独立置态。
|
||||
func TestConsumer_BatchMultiMobile(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
mos := []string{"13111110001", "13111110002"}
|
||||
var ds []entity.MessageDetail
|
||||
for _, mo := range mos {
|
||||
ds = append(ds, mkDetail(t, db, 1, mo, 1))
|
||||
}
|
||||
// 同一包 msg_id,两号各一段。
|
||||
for i, mo := range mos {
|
||||
row := entity.MessageReportSeg{DetailID: ds[i].ID, ChannelID: 7, MsgID: "shared-1", Mobile: mo, PkNumber: 1, PkTotal: 1}
|
||||
if err := db.Create(&row).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if err := c.Process(testCtx, ev(7, "shared-1", "DELIVRD", mos[0])); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := c.Process(testCtx, ev(7, "shared-1", "EXPIRED", mos[1])); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, ds[0].ID); got.Status != 2 {
|
||||
t.Fatalf("号1应成功: %d", got.Status)
|
||||
}
|
||||
if got := getDetail(t, db, ds[1].ID); got.Status != 3 {
|
||||
t.Fatalf("号2应失败: %d", got.Status)
|
||||
}
|
||||
}
|
||||
|
||||
// ---- Day 57:计费确认联动(msg_id 重复回执幂等主验收=A-5.2/A-5.3 零差额) ----
|
||||
|
||||
// TestConsumer_FailureRefundIdempotent 失败回执重复投递:detail 终态+退款
|
||||
// 恰一次(首到终态锁定=资金动作幂等锚;预扣-退款零差额)。
|
||||
func TestConsumer_FailureRefundIdempotent(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
c := NewConsumer(db).WithBilling(NewBilling(db, fs))
|
||||
d := mkDetail(t, db, 1, "13222220001", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13222220001", 1, 1)
|
||||
for i := 0; i < 3; i++ { // 通道重推/重放三次
|
||||
if err := c.Process(testCtx, ev(7, mid, "UNDELIV", "13222220001")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 3 {
|
||||
t.Fatalf("应失败终态: %d", got.Status)
|
||||
}
|
||||
if calls := fs.calls(); len(calls) != 1 {
|
||||
t.Fatalf("重复回执应恰一次退款(msg_id 幂等),实得 %d 次: %+v", len(calls), calls)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_SuccessNoMoneyMove 成功回执:零资金动作(预扣=实扣半边)。
|
||||
func TestConsumer_SuccessNoMoneyMove(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
fs := &fakeStore{}
|
||||
c := NewConsumer(db).WithBilling(NewBilling(db, fs))
|
||||
d := mkDetail(t, db, 1, "13222220002", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13222220002", 1, 1)
|
||||
if err := c.Process(testCtx, ev(7, mid, "DELIVRD", "13222220002")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("应成功终态: %d", got.Status)
|
||||
}
|
||||
if calls := fs.calls(); len(calls) != 0 {
|
||||
t.Fatalf("成功不应动钱,实得 %d 次: %+v", len(calls), calls)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_TaskCounterLinked 成功回执→task 聚合计数联动(覆写口径)。
|
||||
func TestConsumer_TaskCounterLinked(t *testing.T) {
|
||||
db := newBillingDB(t)
|
||||
if err := db.Create(&entity.MessageTask{
|
||||
ID: 3, TaskNo: "T57B", AccountID: 1, MobileCount: 2, Status: 1,
|
||||
}).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
c := NewConsumer(db).WithBilling(NewBilling(db, &fakeStore{}))
|
||||
d := mkDetail(t, db, 3, "13222220003", 1)
|
||||
mid := mkSeg(t, db, d.ID, 7, "13222220003", 1, 1)
|
||||
if err := c.Process(testCtx, ev(7, mid, "DELIVRD", "13222220003")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if tk := getTask(t, db, 3); tk.SuccessCount != 1 || tk.UnknownCount != 0 {
|
||||
t.Fatalf("task 计数联动错: %+v", tk)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_ConcurrentSegAggregate 并发聚合回归(Day 69 竞态修复):
|
||||
// 同一 detail 两段回执并发 Process。sqlite 内存库每连接独立库,单连接
|
||||
// 强制串行——验证串行语义下"两段全到→恰终态一次+report 恰 1 条";
|
||||
// 真并发互不可见(MVCC)场景由生产 MySQL 的 detail 行 FOR UPDATE 串行
|
||||
// 化保障(consumer.go aggregate 锁,单测库不可复现该竞态)。
|
||||
func TestConsumer_ConcurrentSegAggregate(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
if sqlDB, err := db.DB(); err == nil {
|
||||
sqlDB.SetMaxOpenConns(1) // :memory: 防串库;两 goroutine 事务排队串行
|
||||
}
|
||||
c := NewConsumer(db)
|
||||
mobile := "13700004444"
|
||||
d := mkDetail(t, db, 3, mobile, 1)
|
||||
m1 := mkSeg(t, db, d.ID, 9, mobile, 1, 2)
|
||||
m2 := mkSeg(t, db, d.ID, 9, mobile, 2, 2)
|
||||
|
||||
var wg sync.WaitGroup
|
||||
errCh := make(chan error, 2)
|
||||
for _, mid := range []string{m1, m2} {
|
||||
wg.Add(1)
|
||||
go func(mid string) {
|
||||
defer wg.Done()
|
||||
errCh <- c.Process(testCtx, ev(9, mid, "DELIVRD", mobile))
|
||||
}(mid)
|
||||
}
|
||||
wg.Wait()
|
||||
close(errCh)
|
||||
for err := range errCh {
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("两段全 DELIVRD 应到齐终态(2),实际 %d(挂起=聚合竞态回归)", got.Status)
|
||||
}
|
||||
var n int64
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&n)
|
||||
if n != 1 {
|
||||
t.Fatalf("message_report 应恰 1 条,实际 %d", n)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_RecheckPendingFinalizes 竞态双盲兜底回归(Day 69 二轮):
|
||||
// 两段已全 SUCCESS 而 detail 仍挂起时,复查路径直接到齐终态——模拟并发
|
||||
// 簇最后提交者的 recheck 必见全部已提交段。(sqlite 单连接无法复现双盲
|
||||
// 交错,双盲时序由生产 MySQL 实机验证;复查路径本身在此锁定+幂等。)
|
||||
func TestConsumer_RecheckPendingFinalizes(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
c := NewConsumer(db)
|
||||
mobile := "13700005555"
|
||||
d := mkDetail(t, db, 4, mobile, 1)
|
||||
m1 := mkSeg(t, db, d.ID, 9, mobile, 1, 2)
|
||||
m2 := mkSeg(t, db, d.ID, 9, mobile, 2, 2)
|
||||
// 两段均已被"并发事务"置态 SUCCESS(模拟对方已提交、本方快照看不到)。
|
||||
if err := db.Model(&entity.MessageReportSeg{}).Where("msg_id IN ?", []string{m1, m2}).
|
||||
Updates(map[string]any{"status": "SUCCESS", "raw_code": "DELIVRD"}).Error; err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := c.recheckPending(testCtx, ev(9, m1, "DELIVRD", mobile), StatusSuccess, time.Now()); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("复查应到齐终态(2),实际 %d", got.Status)
|
||||
}
|
||||
var n int64
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&n)
|
||||
if n != 1 {
|
||||
t.Fatalf("message_report 应恰 1 条,实际 %d", n)
|
||||
}
|
||||
// 幂等:二次复查终态已锁——不翻转、不重报、不报错。
|
||||
if err := c.recheckPending(testCtx, ev(9, m2, "DELIVRD", mobile), StatusSuccess, time.Now()); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("终态不应翻转,实际 %d", got.Status)
|
||||
}
|
||||
db.Model(&entity.MessageReport{}).Where("detail_id = ?", d.ID).Count(&n)
|
||||
if n != 1 {
|
||||
t.Fatalf("message_report 应仍 1 条,实际 %d", n)
|
||||
}
|
||||
}
|
||||
|
||||
// TestConsumer_UnpairedRequeue 秒回竞态重投回归(Day 69 三轮):回执先于
|
||||
// 发送侧 seg 落库到达时 unpaired——短重投(计数透传+1)而非丢弃;重投后
|
||||
// seg 到位的二次消费正常配对终态(竞态自愈);耗尽按杂音丢弃;重投失败上抛。
|
||||
func TestConsumer_UnpairedRequeue(t *testing.T) {
|
||||
db := newConsumerDB(t)
|
||||
mobile := "13700006666"
|
||||
d := mkDetail(t, db, 5, mobile, 1)
|
||||
|
||||
var requeued []*Event
|
||||
c := NewConsumer(db).WithRequeue(func(e *Event) error {
|
||||
cp := *e
|
||||
requeued = append(requeued, &cp)
|
||||
return nil
|
||||
})
|
||||
|
||||
// ① seg 未落库(竞态窗口):unpaired → 重投不丢弃,detail 保持挂起。
|
||||
e1 := ev(9, "race-1", "DELIVRD", mobile)
|
||||
if err := c.Process(testCtx, e1); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if len(requeued) != 1 || requeued[0].Retries != 1 {
|
||||
t.Fatalf("应重投 1 次(Retries=1),实际 %v", requeued)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 1 {
|
||||
t.Fatalf("seg 缺失时不应置态,实际 %d", got.Status)
|
||||
}
|
||||
|
||||
// ② 重投事件二次消费前 seg 已落库:正常配对(单段)直接终态=竞态自愈。
|
||||
mkSeg(t, db, d.ID, 9, mobile, 1, 1) // msg_id=m{d.ID}-01,与 race-1 不同——
|
||||
// 用真实 msg_id 再走一遍:重投载荷换为配对段号,模拟 seg 补登记后重放。
|
||||
segMid := fmt.Sprintf("m%d-01", d.ID)
|
||||
e2 := ev(9, segMid, "DELIVRD", mobile)
|
||||
e2.Retries = 1
|
||||
if err := c.Process(testCtx, e2); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := getDetail(t, db, d.ID); got.Status != 2 {
|
||||
t.Fatalf("seg 到位后应终态(2),实际 %d", got.Status)
|
||||
}
|
||||
|
||||
// ③ 重投耗尽(Retries=3):按杂音丢弃,不再重投、不报错。
|
||||
before := len(requeued)
|
||||
e3 := ev(9, "noise-9", "DELIVRD", mobile)
|
||||
e3.Retries = unpairedMaxRetries
|
||||
if err := c.Process(testCtx, e3); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if len(requeued) != before {
|
||||
t.Fatalf("耗尽后不应重投,实际 %d 次", len(requeued)-before)
|
||||
}
|
||||
|
||||
// ④ 重投出口失败:上抛交消费组重试(消息不丢)。
|
||||
cFail := NewConsumer(db).WithRequeue(func(e *Event) error { return fmt.Errorf("kafka down") })
|
||||
if err := cFail.Process(testCtx, ev(9, "race-2", "DELIVRD", mobile)); err == nil {
|
||||
t.Fatal("重投失败应上抛")
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,138 @@
|
||||
// deliver_push.go Day 61(P0.5):CMPP 协议客户回执下发桥——report 终态锁定后
|
||||
// 将「平台 MsgID 口径」的状态报告事件投递 cmpp-deliver,由 gateway 进程的
|
||||
// 协议接入侧消费并 PushDeliver 到客户活跃连接(跨进程经 Kafka 解耦:
|
||||
// 回执消费在 consumer 进程,CMPP 会话在 gateway 进程)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"time"
|
||||
|
||||
"go.uber.org/zap"
|
||||
"gorm.io/gorm"
|
||||
|
||||
"go-sms/internal/pkg/logger"
|
||||
"go-sms/internal/pkg/queue"
|
||||
"go-sms/internal/service/send"
|
||||
)
|
||||
|
||||
// DeliverEvent CMPP Deliver 下发事件(cmpp-deliver 载荷)。
|
||||
// MsgID 口径=平台明细 ID(detail snowflake)——与客户 Submit_Resp 收到的
|
||||
// MsgID 一致,客户端据此对账(上游 msg_id 不出 report 域)。
|
||||
type DeliverEvent struct {
|
||||
AccountID int64 `json:"account_id"`
|
||||
DetailID int64 `json:"detail_id"`
|
||||
Mobile string `json:"mobile"`
|
||||
Stat string `json:"stat"` // CMPP stat:DELIVRD/上游原始码/UNKNOWN
|
||||
SubmitAt string `json:"submit_at"` // MMDDHHMMSS
|
||||
DoneAt string `json:"done_at"` // MMDDHHMMSS
|
||||
}
|
||||
|
||||
// PushSink 回执下发出口(装配层注入 Kafka 生产者;nil=不下发,HTTP/控制台来源天然静默)。
|
||||
type PushSink interface {
|
||||
PushDeliver(ctx context.Context, ev *DeliverEvent) error
|
||||
}
|
||||
|
||||
// ProducerPushSink queue.Producer 适配器(投 cmpp-deliver;失败仅 Warn——
|
||||
// 终态已锁定不回滚,下发尽力而为,离线/失败补推属 P1)。
|
||||
type ProducerPushSink struct {
|
||||
P interface {
|
||||
Send(topic string, key, value []byte) error
|
||||
}
|
||||
Topic string // 空=queue.TopicDeliver
|
||||
}
|
||||
|
||||
// PushDeliver 投递下发事件(key=账号 ID 保序)。
|
||||
func (s *ProducerPushSink) PushDeliver(ctx context.Context, ev *DeliverEvent) error {
|
||||
if s.P == nil || ev == nil {
|
||||
return nil
|
||||
}
|
||||
topic := s.Topic
|
||||
if topic == "" {
|
||||
topic = queue.TopicDeliver
|
||||
}
|
||||
value, err := json.Marshal(ev)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if err := s.P.Send(topic, []byte(fmt.Sprintf("%d", ev.AccountID)), value); err != nil {
|
||||
logger.L().Warn("cmpp_deliver_push_send_failed",
|
||||
zap.Int64("account_id", ev.AccountID), zap.Int64("detail_id", ev.DetailID), zap.Error(err))
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// StatForBlocked Day62c:受理期拦截终态 error_code→CMPP stat 映射(公开供装配适配)。
|
||||
// 签名拦截=SIGNREJ(7B 自释义);其余拦截码透传截 7B;空兜底 UNDELIV
|
||||
// (语义=未下发而非未知,与上游回执 UNKNOWN 区分)。
|
||||
func StatForBlocked(errCode string) string {
|
||||
switch errCode {
|
||||
case "ISC:004":
|
||||
return "SIGNREJ"
|
||||
case "":
|
||||
return "UNDELIV"
|
||||
}
|
||||
if r := []rune(errCode); len(r) > 7 {
|
||||
return string(r[:7])
|
||||
}
|
||||
return errCode
|
||||
}
|
||||
|
||||
// statForDeliver 平台明细终态(int8:2=成功 3=失败 4=未知)→CMPP stat 映射:
|
||||
// 成功=DELIVRD(标准词);失败/未知优先透传上游原始码(UNDELIV/EXPIRED/GB:xxxx…;
|
||||
// 超长截 7B),兜底 UNKNOWN(补偿结案无原始码场景)。
|
||||
func statForDeliver(status int8, rawCode string) string {
|
||||
if status == 2 { // entity.MessageDetail 终态:2=成功
|
||||
return "DELIVRD"
|
||||
}
|
||||
code := rawCode
|
||||
if r := []rune(code); len(r) > 7 {
|
||||
code = string(r[:7])
|
||||
}
|
||||
if code == "" {
|
||||
code = "UNKNOWN"
|
||||
}
|
||||
return code
|
||||
}
|
||||
|
||||
// cmppTimeMMDDHHMMSS CMPP 状态报告时间格式(MMDDHHMMSS)。
|
||||
func cmppTimeMMDDHHMMSS(t time.Time) string { return t.Format("0102150405") }
|
||||
|
||||
// pushDeliverLocked 终态锁定成功后的下发挂接(仅 CMPP 来源任务;阶段5收尾起
|
||||
// 为包级函数——Consumer 回执链与手动配对 PairService 共用):
|
||||
// 联查 detail.account_id + task.source,source=CMPP 才投事件——
|
||||
// HTTP/控制台任务无活跃 CMPP 会话,零开销短路。
|
||||
func pushDeliverLocked(ctx context.Context, db *gorm.DB, push PushSink, detailID int64,
|
||||
status int8, rawCode, mobile string, now time.Time) {
|
||||
if push == nil {
|
||||
return
|
||||
}
|
||||
var row struct {
|
||||
AccountID int64
|
||||
Source int8
|
||||
}
|
||||
if err := db.WithContext(ctx).
|
||||
Table("message_detail AS d").
|
||||
Select("d.account_id AS account_id, t.source AS source").
|
||||
Joins("JOIN message_task t ON t.id = d.task_id").
|
||||
Where("d.id = ?", detailID).
|
||||
Take(&row).Error; err != nil {
|
||||
logger.L().Warn("cmpp_deliver_source_lookup_failed", zap.Int64("detail_id", detailID), zap.Error(err))
|
||||
return
|
||||
}
|
||||
if row.Source != send.TaskSourceCMPP {
|
||||
return // 非 CMPP 来源:无协议侧下发诉求
|
||||
}
|
||||
ev := &DeliverEvent{
|
||||
AccountID: row.AccountID, DetailID: detailID, Mobile: mobile,
|
||||
Stat: statForDeliver(status, rawCode),
|
||||
SubmitAt: cmppTimeMMDDHHMMSS(now), DoneAt: cmppTimeMMDDHHMMSS(now),
|
||||
}
|
||||
if err := push.PushDeliver(ctx, ev); err != nil {
|
||||
// 已 Warn;终态不回滚(下发失败不影响对账事实源)。
|
||||
return
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,48 @@
|
||||
// deliver_push_test.go Day 61:stat 映射与时间格式纯函数测试。
|
||||
package report
|
||||
|
||||
import (
|
||||
"testing"
|
||||
"time"
|
||||
)
|
||||
|
||||
// TestStatForBlocked Day62c:拦截终态 stat 映射(ISC:004→SIGNREJ/空→UNDELIV/超长截 7B)。
|
||||
func TestStatForBlocked(t *testing.T) {
|
||||
cases := []struct{ in, want string }{
|
||||
{"ISC:004", "SIGNREJ"},
|
||||
{"", "UNDELIV"},
|
||||
{"ISC:009", "ISC:009"},
|
||||
{"GB:0001:黑名单", "GB:0001"},
|
||||
}
|
||||
for _, c := range cases {
|
||||
if got := StatForBlocked(c.in); got != c.want {
|
||||
t.Fatalf("StatForBlocked(%q)=%q want %q", c.in, got, c.want)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestStatForDeliver(t *testing.T) {
|
||||
cases := []struct {
|
||||
status int8
|
||||
raw string
|
||||
want string
|
||||
}{
|
||||
{2, "DELIVRD", "DELIVRD"}, // 成功→标准词
|
||||
{3, "UNDELIV", "UNDELIV"}, // 失败→透传原始码
|
||||
{3, "GB:0001:缺失", "GB:0001"}, // 超长截 7B
|
||||
{4, "", "UNKNOWN"}, // 兜底
|
||||
{3, "", "UNKNOWN"}, // 兜底
|
||||
}
|
||||
for _, c := range cases {
|
||||
if got := statForDeliver(c.status, c.raw); got != c.want {
|
||||
t.Fatalf("statForDeliver(%d,%q)=%q want %q", c.status, c.raw, got, c.want)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestCmppTimeMMDDHHMMSS(t *testing.T) {
|
||||
ts := time.Date(2026, 9, 14, 18, 10, 33, 0, time.Local)
|
||||
if got := cmppTimeMMDDHHMMSS(ts); got != "0914181033" {
|
||||
t.Fatalf("时间格式=%q", got)
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,136 @@
|
||||
// errorcode.go Day 56:错误码维护(system_error_code 增改停用,A-5.x 运维
|
||||
// 接口服务层)。表结构=v1 种子既有(UT:xxxx 体系:code 唯一/name/raw_value/
|
||||
// action 处置策略/status 启停);本层只做 CRUD 校验,消费者归一化仍走
|
||||
// Day55 纯函数词表(两域解耦:词表判三态,本表管运维语义)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"strings"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
errs "go-sms/internal/pkg/errors"
|
||||
|
||||
"gorm.io/gorm"
|
||||
)
|
||||
|
||||
// 错误码处置策略合法域(与实体注释对齐:0 失败 1 重发 2 入审)。
|
||||
var validActions = map[int8]bool{0: true, 1: true, 2: true}
|
||||
|
||||
// ErrCodeNotFound 错误码不存在(包装 ISC:404)。
|
||||
var ErrCodeNotFound = errs.NotFound.WithMsg("错误码不存在")
|
||||
|
||||
// ErrorCodeService 错误码维护服务。
|
||||
type ErrorCodeService struct{ db *gorm.DB }
|
||||
|
||||
// NewErrorCodeService 构造。
|
||||
func NewErrorCodeService(db *gorm.DB) *ErrorCodeService { return &ErrorCodeService{db: db} }
|
||||
|
||||
// ErrorCodeQuery 列表筛选(分页;code 前缀/name 模糊/status 精确)。
|
||||
type ErrorCodeQuery struct {
|
||||
Page, PageSize int
|
||||
Code string // 前缀匹配(UT:0 前缀检索)
|
||||
Name string // 模糊
|
||||
Status *int8 // 1 启用 0 停用(nil=全部)
|
||||
}
|
||||
|
||||
// List 分页查询(code 升序稳定序)。
|
||||
func (s *ErrorCodeService) List(ctx context.Context, q ErrorCodeQuery) ([]entity.SystemErrorCode, int64, error) {
|
||||
tx := s.db.WithContext(ctx).Model(&entity.SystemErrorCode{})
|
||||
if code := strings.TrimSpace(q.Code); code != "" {
|
||||
tx = tx.Where("code LIKE ?", code+"%")
|
||||
}
|
||||
if name := strings.TrimSpace(q.Name); name != "" {
|
||||
tx = tx.Where("name LIKE ?", "%"+name+"%")
|
||||
}
|
||||
if q.Status != nil {
|
||||
tx = tx.Where("status = ?", *q.Status)
|
||||
}
|
||||
if q.Page <= 0 {
|
||||
q.Page = 1
|
||||
}
|
||||
if q.PageSize <= 0 || q.PageSize > 200 {
|
||||
q.PageSize = 50
|
||||
}
|
||||
var total int64
|
||||
if err := tx.Count(&total).Error; err != nil {
|
||||
return nil, 0, err
|
||||
}
|
||||
var rows []entity.SystemErrorCode
|
||||
if err := tx.Order("code ASC").Offset((q.Page - 1) * q.PageSize).Limit(q.PageSize).
|
||||
Find(&rows).Error; err != nil {
|
||||
return nil, 0, err
|
||||
}
|
||||
return rows, total, nil
|
||||
}
|
||||
|
||||
// Create 新增(code 唯一;重复返回 ISC:冲突语义错误)。
|
||||
func (s *ErrorCodeService) Create(ctx context.Context, code, name, rawValue string, action int8) (*entity.SystemErrorCode, error) {
|
||||
code = strings.TrimSpace(code)
|
||||
name = strings.TrimSpace(name)
|
||||
if code == "" || len(code) > 16 {
|
||||
return nil, errs.InvalidParam.WithMsg("code 必填且 ≤16 字符")
|
||||
}
|
||||
if name == "" || len(name) > 64 {
|
||||
return nil, errs.InvalidParam.WithMsg("name 必填且 ≤64 字符")
|
||||
}
|
||||
if !validActions[action] {
|
||||
return nil, errs.InvalidParam.WithMsg("action 非法(0 失败/1 重发/2 入审)")
|
||||
}
|
||||
var dup int64
|
||||
if err := s.db.WithContext(ctx).Model(&entity.SystemErrorCode{}).
|
||||
Where("code = ?", code).Count(&dup).Error; err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if dup > 0 {
|
||||
return nil, errs.InvalidParam.WithMsg("错误码已存在: " + code)
|
||||
}
|
||||
row := entity.SystemErrorCode{
|
||||
Code: code, Name: name, RawValue: strings.TrimSpace(rawValue),
|
||||
Action: action, Status: 1,
|
||||
}
|
||||
if err := s.db.WithContext(ctx).Create(&row).Error; err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &row, nil
|
||||
}
|
||||
|
||||
// Update 修改(name/raw_value/action/status;status=0 即停用——停用后
|
||||
// 不再参与拦截/重发策略,历史记录保留)。
|
||||
func (s *ErrorCodeService) Update(ctx context.Context, id int64, name, rawValue string, action int8, status int8) (*entity.SystemErrorCode, error) {
|
||||
name = strings.TrimSpace(name)
|
||||
if name == "" || len(name) > 64 {
|
||||
return nil, errs.InvalidParam.WithMsg("name 必填且 ≤64 字符")
|
||||
}
|
||||
if !validActions[action] {
|
||||
return nil, errs.InvalidParam.WithMsg("action 非法(0 失败/1 重发/2 入审)")
|
||||
}
|
||||
if status != 0 && status != 1 {
|
||||
return nil, errs.InvalidParam.WithMsg("status 非法(1 启用/0 停用)")
|
||||
}
|
||||
res := s.db.WithContext(ctx).Model(&entity.SystemErrorCode{}).
|
||||
Where("id = ?", id).
|
||||
Updates(map[string]any{
|
||||
"name": name, "raw_value": strings.TrimSpace(rawValue),
|
||||
"action": action, "status": status,
|
||||
})
|
||||
if res.Error != nil {
|
||||
return nil, res.Error
|
||||
}
|
||||
if res.RowsAffected == 0 {
|
||||
var n int64
|
||||
_ = s.db.WithContext(ctx).Model(&entity.SystemErrorCode{}).Where("id = ?", id).Count(&n).Error
|
||||
if n == 0 {
|
||||
return nil, ErrCodeNotFound
|
||||
}
|
||||
}
|
||||
var row entity.SystemErrorCode
|
||||
if err := s.db.WithContext(ctx).First(&row, id).Error; err != nil {
|
||||
if errors.Is(err, gorm.ErrRecordNotFound) {
|
||||
return nil, ErrCodeNotFound
|
||||
}
|
||||
return nil, err
|
||||
}
|
||||
return &row, nil
|
||||
}
|
||||
@@ -0,0 +1,84 @@
|
||||
// errorcode_test.go Day 56:错误码维护单测——增(重复拒绝)/改/停用/列表筛选。
|
||||
package report
|
||||
|
||||
import (
|
||||
"testing"
|
||||
|
||||
"github.com/glebarez/sqlite"
|
||||
"gorm.io/gorm"
|
||||
"gorm.io/gorm/logger"
|
||||
|
||||
"go-sms/internal/model/entity"
|
||||
)
|
||||
|
||||
func newErrCodeDB(t *testing.T) *gorm.DB {
|
||||
t.Helper()
|
||||
db, err := gorm.Open(sqlite.Open(":memory:"), &gorm.Config{Logger: logger.Discard})
|
||||
if err != nil {
|
||||
t.Fatalf("打开内存库失败: %v", err)
|
||||
}
|
||||
if err := db.AutoMigrate(&entity.SystemErrorCode{}); err != nil {
|
||||
t.Fatalf("AutoMigrate 失败: %v", err)
|
||||
}
|
||||
return db
|
||||
}
|
||||
|
||||
func TestErrorCode_CRUD(t *testing.T) {
|
||||
db := newErrCodeDB(t)
|
||||
s := NewErrorCodeService(db)
|
||||
|
||||
// 增。
|
||||
row, err := s.Create(testCtx, "UT:9001", "网关超时", "GB:0008", 1)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if row.Status != 1 || row.Action != 1 {
|
||||
t.Fatalf("新增字段错误: %+v", row)
|
||||
}
|
||||
// 重复 code 拒绝。
|
||||
if _, err := s.Create(testCtx, "UT:9001", "dup", "", 0); err == nil {
|
||||
t.Fatal("重复 code 应拒绝")
|
||||
}
|
||||
// 非法 action 拒绝。
|
||||
if _, err := s.Create(testCtx, "UT:9002", "bad", "", 9); err == nil {
|
||||
t.Fatal("非法 action 应拒绝")
|
||||
}
|
||||
|
||||
// 改(语义修订)。
|
||||
upd, err := s.Update(testCtx, row.ID, "网关超时(可重发)", "GB:0008", 1, 1)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if upd.Name != "网关超时(可重发)" {
|
||||
t.Fatalf("改名未生效: %s", upd.Name)
|
||||
}
|
||||
// 停用。
|
||||
off, err := s.Update(testCtx, row.ID, "网关超时(可重发)", "GB:0008", 1, 0)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if off.Status != 0 {
|
||||
t.Fatalf("停用未生效: %d", off.Status)
|
||||
}
|
||||
|
||||
// 列表筛选:code 前缀+status。
|
||||
if _, err := s.Create(testCtx, "UT:9003", "停用样例", "", 0); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
rows, total, err := s.List(testCtx, ErrorCodeQuery{Code: "UT:9", Status: nil})
|
||||
if err != nil || total != 2 {
|
||||
t.Fatalf("前缀筛选: total=%d err=%v", total, err)
|
||||
}
|
||||
if len(rows) != 2 {
|
||||
t.Fatalf("前缀筛选行数: %d", len(rows))
|
||||
}
|
||||
st0 := int8(0)
|
||||
rows, total, err = s.List(testCtx, ErrorCodeQuery{Status: &st0})
|
||||
if err != nil || total != 1 || len(rows) != 1 {
|
||||
t.Fatalf("status 筛选: total=%d err=%v", total, err)
|
||||
}
|
||||
// 不存在 id 更新→404 语义。
|
||||
if _, err := s.Update(testCtx, 9999, "x", "", 0, 1); err == nil {
|
||||
t.Fatal("不存在 id 应报错")
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
// normalize.go Day55:回执状态归一化起步(Day56 回执消费者地基)。
|
||||
// 通道原始 stat(CMPP Deliver Receipt)→平台三态 SUCCESS/FAILURE/UNKNOWN:
|
||||
// - SUCCESS:DELIVRD(成功送达);
|
||||
// - FAILURE:明确失败终态(EXPIRED 消息过期/UNDELIV 无法投递/REJECTD 短信拒收
|
||||
// 等——按词表判定,命中即失败,计费按失败退费口径);
|
||||
// - UNKNOWN:空/未识别/网关中间态(如 GB:0xxx 处理中)——挂起等补偿扫描,
|
||||
// 不计成功也不退费(资损安全方向:宁可挂起不可错判)。
|
||||
//
|
||||
// 归一化纯函数、表驱动,消费者/错误码维护接口(Day56)共用同一张表。
|
||||
package report
|
||||
|
||||
import "strings"
|
||||
|
||||
// Status 平台回执三态(阶段 5 状态机口径)。
|
||||
type Status string
|
||||
|
||||
const (
|
||||
StatusSuccess Status = "SUCCESS"
|
||||
StatusFailure Status = "FAILURE"
|
||||
StatusUnknown Status = "UNKNOWN"
|
||||
)
|
||||
|
||||
// Normalize 通道原始 stat→平台三态(大小写不敏感;空串=UNKNOWN)。
|
||||
func Normalize(stat string) Status {
|
||||
s := strings.ToUpper(strings.TrimSpace(stat))
|
||||
switch s {
|
||||
case "":
|
||||
return StatusUnknown
|
||||
case "DELIVRD":
|
||||
return StatusSuccess
|
||||
case "EXPIRED", "UNDELIV", "REJECTD", "DELETED", "ACCEPTD_FAIL", "FAILED":
|
||||
// DELETED:已删除(运营商侧终态失败);ACCEPTD_FAIL/FAILED:虚拟上游/聚合器
|
||||
// 常见失败词(防御收录,未知词默认 UNKNOWN 兜底不受影响)。
|
||||
return StatusFailure
|
||||
default:
|
||||
// 未识别:含中间态(GB:0001 等)与未知错误码——UNKNOWN 挂起。
|
||||
return StatusUnknown
|
||||
}
|
||||
}
|
||||
|
||||
// IsFinal 终态判定(UNKNOWN 非终态:补偿扫描窗口后仍无回执才转 UNKNOWN 结案,
|
||||
// 与 reclaim 三重域口径一致)。
|
||||
func IsFinal(stat string) bool {
|
||||
return Normalize(stat) != StatusUnknown
|
||||
}
|
||||
@@ -0,0 +1,37 @@
|
||||
// normalize_test.go Day55:回执状态归一化表驱动测试(Day56 消费者地基)。
|
||||
package report
|
||||
|
||||
import "testing"
|
||||
|
||||
func TestNormalize(t *testing.T) {
|
||||
cases := []struct {
|
||||
stat string
|
||||
want Status
|
||||
why string
|
||||
}{
|
||||
{"DELIVRD", StatusSuccess, "CMPP 标准成功"},
|
||||
{"delivrd", StatusSuccess, "大小写不敏感"},
|
||||
{" DelIVRd ", StatusSuccess, "容忍空白"},
|
||||
{"EXPIRED", StatusFailure, "消息过期"},
|
||||
{"UNDELIV", StatusFailure, "无法投递"},
|
||||
{"REJECTD", StatusFailure, "短信拒收"},
|
||||
{"DELETED", StatusFailure, "已删除终态"},
|
||||
{"", StatusUnknown, "空回执挂起"},
|
||||
{"GB:0001", StatusUnknown, "中间态非终态"},
|
||||
{"ID:0088", StatusUnknown, "未识别错误码挂起"},
|
||||
}
|
||||
for _, c := range cases {
|
||||
if got := Normalize(c.stat); got != c.want {
|
||||
t.Errorf("Normalize(%q)=%v want %v(%s)", c.stat, got, c.want, c.why)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestIsFinal(t *testing.T) {
|
||||
if !IsFinal("DELIVRD") || !IsFinal("EXPIRED") {
|
||||
t.Error("成功/失败应为终态")
|
||||
}
|
||||
if IsFinal("") || IsFinal("GB:0001") {
|
||||
t.Error("空/中间态应非终态(挂起等补偿)")
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,380 @@
|
||||
// pair.go 阶段 5 收尾(Day58 挂账清偿/D28):回执重推与手动配对服务。
|
||||
// - Pending:挂起明细分页(status=1 且挂起超 3h,实施计划 5.5 可配对口径)——
|
||||
// 手动配对页数据源;msg_id 取该明细首段(message_report_seg MIN)。
|
||||
// - Pair:四方式(msg_mobile/detail/task_time/time_mobile)圈中挂起明细→
|
||||
// 人工指定终态(2 成功/3 失败退款/4 未知释放);终态链复用 finalizeDetail
|
||||
// 单一实现(首锁回写+message_report 落库+计费确认+CMPP Deliver 推送),
|
||||
// 与回执消费者行为零漂移——重复配对走锁定跳过分支,资金动作至多一次。
|
||||
// - Repush:30 天窗口回执重推——命中行重投 DeliverEvent(与首推同口径)+
|
||||
// push_status 回写;同步执行(dev 命中千级内;异步任务表挂账 D29 下载中心)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
"time"
|
||||
|
||||
"go.uber.org/zap"
|
||||
"gorm.io/gorm"
|
||||
|
||||
"go-sms/internal/pkg/logger"
|
||||
"go-sms/internal/util"
|
||||
)
|
||||
|
||||
// PairPendingWindow 手动配对可用窗口:挂起超 3h(实施计划 5.5 口径)。
|
||||
const PairPendingWindow = 3 * time.Hour
|
||||
|
||||
// RepushWindowDays 回执重推数据源保留窗口(message_report 30 天)。
|
||||
const RepushWindowDays = 30
|
||||
|
||||
// RepushBatchMax 单次重推执行上限(同步执行保护;超出记日志截断)。
|
||||
const RepushBatchMax = 1000
|
||||
|
||||
// ErrPairParam 配对/重推参数错误(handler 映射 ISC:400)。
|
||||
var ErrPairParam = errors.New("pair/repush param")
|
||||
|
||||
// PairQuery 挂起明细查询(配对页列表)。
|
||||
type PairQuery struct {
|
||||
Page, PageSize int64
|
||||
Mobile string // 尾号模糊
|
||||
TaskNo string // 精确
|
||||
}
|
||||
|
||||
// PairPendingRow 挂起明细行(契约 web/src/api/record.ts PendingDetail)。
|
||||
type PairPendingRow struct {
|
||||
DetailID int64
|
||||
TaskNo string
|
||||
MsgID string // 通道 msg_id(该明细首段;msg_mobile 配对键)
|
||||
Mobile string
|
||||
Content string
|
||||
SentAt time.Time
|
||||
AgeHours int64
|
||||
}
|
||||
|
||||
// PairRequest 手动配对请求(四方式,按 mode 取对应字段)。
|
||||
type PairRequest struct {
|
||||
Mode string // msg_mobile|detail|task_time|time_mobile
|
||||
MsgID string // msg_mobile:通道 msg_id
|
||||
Mobile string // msg_mobile/time_mobile
|
||||
DetailID int64 // detail:明细雪花 ID 精确
|
||||
TaskNo string // task_time
|
||||
Start, End *time.Time
|
||||
TargetStatus int8 // 2 成功(不退费)/3 失败(退款)/4 未知(冻结释放)
|
||||
}
|
||||
|
||||
// PairResult 配对结果(matched=圈中挂起;updated=首锁回写;skipped=并发已终态)。
|
||||
type PairResult struct {
|
||||
Matched int64 `json:"matched"`
|
||||
Updated int64 `json:"updated"`
|
||||
Skipped int64 `json:"skipped"`
|
||||
}
|
||||
|
||||
// RepushRequest 回执重推请求(时间窗必填;账号/手机号收窄)。
|
||||
type RepushRequest struct {
|
||||
AccountID int64
|
||||
Mobiles []string
|
||||
Start, End time.Time
|
||||
}
|
||||
|
||||
// PairService 回执重推+手动配对(gateway 进程装配;db/bill/push 与 Consumer 同构)。
|
||||
type PairService struct {
|
||||
db *gorm.DB
|
||||
bill *Billing
|
||||
push PushSink
|
||||
sf *util.Snowflake // 重推受理号(雪花;D29 异步任务表落地后即任务主键)
|
||||
}
|
||||
|
||||
// NewPairService 构造(bill/push 可为 nil=跳过计费/推送;sf 可为 nil=受理号降级时间戳)。
|
||||
func NewPairService(db *gorm.DB, bill *Billing, sf *util.Snowflake) *PairService {
|
||||
return &PairService{db: db, bill: bill, sf: sf}
|
||||
}
|
||||
|
||||
// WithPushSink 注入 CMPP Deliver 下发出口(链式,nil=跳过)。
|
||||
func (p *PairService) WithPushSink(s PushSink) *PairService {
|
||||
p.push = s
|
||||
return p
|
||||
}
|
||||
|
||||
// DB 裸查询出口(handler 回执分页 JOIN 查询复用同一连接)。
|
||||
func (p *PairService) DB() *gorm.DB { return p.db }
|
||||
|
||||
// pendingScope 挂起明细基础口径(status=1 且 COALESCE(send_at,created_at) 早于 now-3h)。
|
||||
func (p *PairService) pendingScope(ctx context.Context) *gorm.DB {
|
||||
return p.db.WithContext(ctx).
|
||||
Table("message_detail AS d").
|
||||
Where("d.status = 1 AND COALESCE(d.send_at, d.created_at) < ?",
|
||||
time.Now().Add(-PairPendingWindow))
|
||||
}
|
||||
|
||||
// Pending 挂起明细分页(挂起久在前;msg_id=该明细首段,长短信代表值)。
|
||||
func (p *PairService) Pending(ctx context.Context, q PairQuery) ([]PairPendingRow, int64, error) {
|
||||
page, size := q.Page, q.PageSize
|
||||
if page < 1 {
|
||||
page = 1
|
||||
}
|
||||
if size < 1 || size > 1000 {
|
||||
size = 100
|
||||
}
|
||||
scope := p.pendingScope(ctx).
|
||||
Joins("JOIN message_task t ON t.id = d.task_id")
|
||||
if q.Mobile != "" {
|
||||
scope = scope.Where("d.mobile LIKE ?", "%"+q.Mobile)
|
||||
}
|
||||
if q.TaskNo != "" {
|
||||
scope = scope.Where("t.task_no = ?", q.TaskNo)
|
||||
}
|
||||
// Count 独立构造:列表查询带 ORDER BY 别名(sent_at),Count 继承会在
|
||||
// sqlite 报 no such column(gorm 不剥离 ORDER BY)。
|
||||
var total int64
|
||||
cnt := p.pendingScope(ctx).
|
||||
Joins("JOIN message_task t ON t.id = d.task_id")
|
||||
if q.Mobile != "" {
|
||||
cnt = cnt.Where("d.mobile LIKE ?", "%"+q.Mobile)
|
||||
}
|
||||
if q.TaskNo != "" {
|
||||
cnt = cnt.Where("t.task_no = ?", q.TaskNo)
|
||||
}
|
||||
if err := cnt.Session(&gorm.Session{}).Count(&total).Error; err != nil {
|
||||
return nil, 0, err
|
||||
}
|
||||
var rows []struct {
|
||||
DetailID int64
|
||||
TaskNo string
|
||||
MsgID *string
|
||||
Mobile string
|
||||
Content string
|
||||
SentAt string // sqlite 下 COALESCE 结果退化 string(MySQL 侧兼容),Go 侧解析
|
||||
}
|
||||
if err := scope.Session(&gorm.Session{}).
|
||||
Select(`d.id AS detail_id, t.task_no AS task_no,
|
||||
(SELECT MIN(s2.msg_id) FROM message_report_seg s2 WHERE s2.detail_id = d.id) AS msg_id,
|
||||
d.mobile AS mobile, d.content AS content,
|
||||
COALESCE(d.send_at, d.created_at) AS sent_at`).
|
||||
Order("sent_at ASC").
|
||||
Limit(int(size)).Offset(int((page - 1) * size)).
|
||||
Scan(&rows).Error; err != nil {
|
||||
return nil, 0, err
|
||||
}
|
||||
parseSentAt := func(s string) time.Time {
|
||||
for _, layout := range []string{time.RFC3339Nano, time.RFC3339,
|
||||
"2006-01-02 15:04:05.999999999-07:00", "2006-01-02 15:04:05.999999999", "2006-01-02 15:04:05"} {
|
||||
if t, err := time.ParseInLocation(layout, s, time.Local); err == nil {
|
||||
return t
|
||||
}
|
||||
}
|
||||
return time.Time{}
|
||||
}
|
||||
now := time.Now()
|
||||
out := make([]PairPendingRow, 0, len(rows))
|
||||
for _, r := range rows {
|
||||
msgID := ""
|
||||
if r.MsgID != nil {
|
||||
msgID = *r.MsgID
|
||||
}
|
||||
sentAt := parseSentAt(r.SentAt)
|
||||
var age int64
|
||||
if !sentAt.IsZero() {
|
||||
age = int64(now.Sub(sentAt).Hours())
|
||||
}
|
||||
out = append(out, PairPendingRow{
|
||||
DetailID: r.DetailID, TaskNo: r.TaskNo, MsgID: msgID,
|
||||
Mobile: r.Mobile, Content: r.Content, SentAt: sentAt,
|
||||
AgeHours: age,
|
||||
})
|
||||
}
|
||||
return out, total, nil
|
||||
}
|
||||
|
||||
// statusFor 终态 int8 → Day55 三态词。
|
||||
func statusFor(status int8) Status {
|
||||
switch status {
|
||||
case 2:
|
||||
return StatusSuccess
|
||||
case 3:
|
||||
return StatusFailure
|
||||
default:
|
||||
return StatusUnknown
|
||||
}
|
||||
}
|
||||
|
||||
// Pair 手动配对:四方式圈中挂起明细→逐条 finalizeDetail(首锁语义,
|
||||
// 重复配对/并发终态走锁定跳过=skipped;资金动作至多一次)。
|
||||
func (p *PairService) Pair(ctx context.Context, req PairRequest) (PairResult, error) {
|
||||
// 受理即落账(与 Repush 同口径):断开不中止终态链;单条事务原子性
|
||||
// 由 gorm 保证,重试幂等(首锁跳过)。
|
||||
ctx = context.WithoutCancel(ctx)
|
||||
var res PairResult
|
||||
switch req.Mode {
|
||||
case "msg_mobile", "detail", "task_time", "time_mobile":
|
||||
default:
|
||||
return res, fmt.Errorf("%w: 配对方式非法", ErrPairParam)
|
||||
}
|
||||
if req.TargetStatus < 2 || req.TargetStatus > 4 {
|
||||
return res, fmt.Errorf("%w: 目标状态须为 2/3/4", ErrPairParam)
|
||||
}
|
||||
scope := p.pendingScope(ctx)
|
||||
switch req.Mode {
|
||||
case "msg_mobile":
|
||||
if req.MsgID == "" || req.Mobile == "" {
|
||||
return res, fmt.Errorf("%w: msg_id/mobile 必填", ErrPairParam)
|
||||
}
|
||||
scope = scope.Where(
|
||||
"d.id IN (SELECT s.detail_id FROM message_report_seg s WHERE s.msg_id = ? AND s.mobile = ?)",
|
||||
req.MsgID, req.Mobile)
|
||||
case "detail":
|
||||
if req.DetailID <= 0 {
|
||||
return res, fmt.Errorf("%w: detail_id 非法", ErrPairParam)
|
||||
}
|
||||
scope = scope.Where("d.id = ?", req.DetailID)
|
||||
case "task_time":
|
||||
if req.TaskNo == "" {
|
||||
return res, fmt.Errorf("%w: task_no 必填", ErrPairParam)
|
||||
}
|
||||
var taskID int64
|
||||
if err := p.db.WithContext(ctx).
|
||||
Table("message_task").Select("id").
|
||||
Where("task_no = ?", req.TaskNo).Scan(&taskID).Error; err != nil || taskID == 0 {
|
||||
return res, fmt.Errorf("%w: 任务号不存在", ErrPairParam)
|
||||
}
|
||||
scope = scope.Where("d.task_id = ?", taskID)
|
||||
default: // time_mobile
|
||||
if req.Mobile == "" {
|
||||
return res, fmt.Errorf("%w: mobile 必填", ErrPairParam)
|
||||
}
|
||||
scope = scope.Where("d.mobile = ?", req.Mobile)
|
||||
}
|
||||
if req.Mode == "task_time" || req.Mode == "time_mobile" {
|
||||
if req.Start != nil {
|
||||
scope = scope.Where("COALESCE(d.send_at, d.created_at) >= ?", *req.Start)
|
||||
}
|
||||
if req.End != nil {
|
||||
scope = scope.Where("COALESCE(d.send_at, d.created_at) <= ?", *req.End)
|
||||
}
|
||||
}
|
||||
var ids []int64
|
||||
if err := scope.Limit(1000).Pluck("d.id", &ids).Error; err != nil {
|
||||
return res, err
|
||||
}
|
||||
res.Matched = int64(len(ids))
|
||||
st := statusFor(req.TargetStatus)
|
||||
now := time.Now()
|
||||
for _, id := range ids {
|
||||
var d struct {
|
||||
ChannelID int64
|
||||
Mobile string
|
||||
}
|
||||
if err := p.db.WithContext(ctx).Table("message_detail").
|
||||
Select("channel_id, mobile").Where("id = ?", id).Scan(&d).Error; err != nil {
|
||||
continue // 行消失(并发删除等):计入 skipped
|
||||
}
|
||||
locked, err := finalizeDetail(ctx, p.db, p.push,
|
||||
id, d.ChannelID, req.TargetStatus, "MANUAL", now, st, d.Mobile)
|
||||
if err != nil {
|
||||
logger.L().Warn("pair_finalize_failed",
|
||||
zap.Int64("detail_id", id), zap.Error(err))
|
||||
res.Skipped++
|
||||
continue
|
||||
}
|
||||
if locked {
|
||||
res.Updated++
|
||||
// 计费确认在终态锁定成功后触发(与 Consumer 回执链同语义)。
|
||||
if p.bill != nil {
|
||||
p.bill.Confirm(ctx, id, req.TargetStatus)
|
||||
}
|
||||
} else {
|
||||
res.Skipped++ // 圈中窗口与执行窗口间被回执/并发配对锁定
|
||||
}
|
||||
}
|
||||
return res, nil
|
||||
}
|
||||
|
||||
// statusInt8From 三态词 → 终态 int8(重推反向映射)。
|
||||
func statusInt8From(s string) int8 {
|
||||
switch s {
|
||||
case string(StatusSuccess):
|
||||
return 2
|
||||
case string(StatusFailure):
|
||||
return 3
|
||||
default:
|
||||
return 4
|
||||
}
|
||||
}
|
||||
|
||||
// Repush 30 天窗口回执重推:命中 report 行(detail JOIN 取 account/mobile)→
|
||||
// 重投 DeliverEvent(与首推同 payload 口径)→ push_status/pushed_at 回写。
|
||||
// 同步执行并返回 (受理号, 命中数);受理号雪花生成(D29 任务表落地后即任务主键)。
|
||||
func (p *PairService) Repush(ctx context.Context, req RepushRequest) (int64, int64, error) {
|
||||
// 受理即落账:执行段脱离请求取消链(客户端超时断开不中止投递/回写,
|
||||
// Day66 实机验收发现逐条回写随 ctx canceled 全部丢失)。
|
||||
ctx = context.WithoutCancel(ctx)
|
||||
sess := p.db.WithContext(ctx).
|
||||
Table("message_report AS r").
|
||||
Select("r.id AS report_id, r.detail_id, r.status, r.raw_code, d.account_id, d.mobile").
|
||||
Joins("JOIN message_detail d ON d.id = r.detail_id").
|
||||
Where("r.report_at >= ? AND r.report_at <= ?", req.Start, req.End)
|
||||
if req.AccountID > 0 {
|
||||
sess = sess.Where("d.account_id = ?", req.AccountID)
|
||||
}
|
||||
if len(req.Mobiles) > 0 {
|
||||
sess = sess.Where("d.mobile IN ?", req.Mobiles)
|
||||
}
|
||||
var rows []struct {
|
||||
ReportID int64
|
||||
DetailID int64
|
||||
Status string
|
||||
RawCode string
|
||||
AccountID int64
|
||||
Mobile string
|
||||
}
|
||||
if err := sess.Limit(RepushBatchMax + 1).Scan(&rows).Error; err != nil {
|
||||
return 0, 0, err
|
||||
}
|
||||
if int64(len(rows)) > RepushBatchMax {
|
||||
rows = rows[:RepushBatchMax]
|
||||
logger.L().Warn("repush_batch_truncated",
|
||||
zap.Int("cap", RepushBatchMax), zap.String("hint", "收窄时间窗/账号分批重推"))
|
||||
}
|
||||
now := time.Now()
|
||||
// 批量回写:投递与回写按结果分组,2 次批量 UPDATE 替代逐条往返(千条窗
|
||||
// 25s+ → 秒级);失败仅记日志不中断(重推幂等:重复圈中重投无害)。
|
||||
pushed, failed := make([]int64, 0, len(rows)), make([]int64, 0, len(rows))
|
||||
for _, r := range rows {
|
||||
ev := &DeliverEvent{
|
||||
AccountID: r.AccountID, DetailID: r.DetailID, Mobile: r.Mobile,
|
||||
Stat: statForDeliver(statusInt8From(r.Status), r.RawCode),
|
||||
SubmitAt: cmppTimeMMDDHHMMSS(now), DoneAt: cmppTimeMMDDHHMMSS(now),
|
||||
}
|
||||
// 注:重推不做 source=CMPP 短路——操作者圈中的即需重推的
|
||||
//(非 CMPP 源投递后网关消费侧按账号反查无会话自然丢弃,尽力而为同首推口径)。
|
||||
var pushErr error
|
||||
if p.push != nil {
|
||||
pushErr = p.push.PushDeliver(ctx, ev)
|
||||
}
|
||||
if pushErr != nil {
|
||||
failed = append(failed, r.ReportID)
|
||||
} else {
|
||||
pushed = append(pushed, r.ReportID)
|
||||
}
|
||||
}
|
||||
writeback := func(ids []int64, ps int8) {
|
||||
if len(ids) == 0 {
|
||||
return
|
||||
}
|
||||
if err := p.db.WithContext(ctx).
|
||||
Table("message_report").Where("id IN ?", ids).
|
||||
Updates(map[string]any{"push_status": ps, "pushed_at": now}).Error; err != nil {
|
||||
logger.L().Warn("repush_status_writeback_failed",
|
||||
zap.Int("count", len(ids)), zap.Int8("push_status", ps), zap.Error(err))
|
||||
}
|
||||
}
|
||||
writeback(pushed, 1)
|
||||
writeback(failed, 2)
|
||||
var taskID int64
|
||||
if p.sf != nil {
|
||||
taskID = p.sf.NextID()
|
||||
} else {
|
||||
taskID = now.UnixMilli()
|
||||
}
|
||||
return taskID, int64(len(rows)), nil
|
||||
}
|
||||
@@ -0,0 +1,62 @@
|
||||
// sink.go Day 56:回执入口——通道 Deliver 状态报告 → sms-report 投递
|
||||
// (消费者归一化+段级配对见 consumer.go)。
|
||||
// 装配:gateway/consumer 双进程长连接均注入(channel.SetReportSink);
|
||||
// producer=nil 降级仅日志(与 Day49 上行域同语义)。
|
||||
package report
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"time"
|
||||
|
||||
"go-sms/internal/pkg/logger"
|
||||
"go-sms/internal/pkg/queue"
|
||||
|
||||
"go.uber.org/zap"
|
||||
)
|
||||
|
||||
// Producer Kafka 出口(装配层注入 queue.Producer;nil=不投递,降级)。
|
||||
type Producer interface {
|
||||
Send(topic string, key, value []byte) error
|
||||
}
|
||||
|
||||
// Event sms-report 事件载荷(消费者段级配对+聚合判终态)。
|
||||
type Event struct {
|
||||
ChannelID int64 `json:"channel_id"`
|
||||
MsgID string `json:"msg_id"`
|
||||
Stat string `json:"stat"` // 通道原始码(DELIVRD/UNDELIV/GB:0001…)
|
||||
Dest string `json:"dest"` // 手机号(合包同 msg_id 多号的区分键)
|
||||
DoneTime string `json:"done_time,omitempty"`
|
||||
RecvAt string `json:"recv_at"` // RFC3339
|
||||
// Retries unpaired 短重投计数(Day 69 三轮:秒回模拟器回执链路可跑赢
|
||||
// 发送侧 seg 落库,<3 时回投 sms-report 尾部天然延迟后重配)。
|
||||
Retries int `json:"retries,omitempty"`
|
||||
}
|
||||
|
||||
// Sink 回执出口实现(channel.ReportSink 接口)。
|
||||
type Sink struct {
|
||||
prod Producer
|
||||
}
|
||||
|
||||
// NewSink 构造(prod=nil 降级:仅 Warn 日志,不投递)。
|
||||
func NewSink(prod Producer) *Sink { return &Sink{prod: prod} }
|
||||
|
||||
// IngestReport 回执受理:投 sms-report(key=msg_id,同段有序)。
|
||||
// 由通道链路读循环 goroutine 调用;投递失败仅日志(消费者侧重投/补偿
|
||||
// 由 48h 挂起扫描兜底,Day57 计费确认同批落地)。
|
||||
func (s *Sink) IngestReport(_ context.Context, channelID int64, msgID, stat, dest, doneTime string) {
|
||||
if s.prod == nil {
|
||||
logger.L().Warn("report_sink_producer_nil_drop",
|
||||
zap.Int64("channel_id", channelID), zap.String("msg_id", msgID), zap.String("stat", stat))
|
||||
return
|
||||
}
|
||||
payload, _ := json.Marshal(Event{
|
||||
ChannelID: channelID, MsgID: msgID, Stat: stat,
|
||||
Dest: dest, DoneTime: doneTime,
|
||||
RecvAt: time.Now().Format(time.RFC3339),
|
||||
})
|
||||
if err := s.prod.Send(queue.TopicReport, []byte(msgID), payload); err != nil {
|
||||
logger.L().Warn("report_kafka_send_failed",
|
||||
zap.Int64("channel_id", channelID), zap.String("msg_id", msgID), zap.Error(err))
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user