// batchwriter.go Day 48(技术方案 10.4.3,开发计划④):明细终态批量落库 writer。 // 攒批(默认 500 条/批)× N 并发 worker 异步 UPDATE ... WHERE id IN(...), // 保证 MySQL 批量写入不阻塞 Kafka 消费(lag 不因落库增长)。 // Add 非阻塞:通道满/已关闭返回 false,调用方直写兜底(可用性优先)。 package dispatch import ( "sync" "sync/atomic" "time" "go-sms/internal/model/entity" "gorm.io/gorm" ) // BatchWriterDefaults 攒批参数(与开发计划对齐:500 条/批×10 writer)。 const ( DefaultWriterBatch = 500 DefaultWriterWorker = 10 WriterFlushEvery = 200 * time.Millisecond // 攒批等待上限(低流量不迟滞) WriterQueue = 4096 // 入队缓冲(批元素数) ) // DetailUpdate 一批同终态明细(id 列表可能 >batchN,写时分片)。 type DetailUpdate struct { IDs []int64 Status int8 ChannelID int64 ErrorCode string SendAt time.Time } // DetailWriter 异步批量明细终态回写。 type DetailWriter struct { db *gorm.DB batch int ch chan DetailUpdate wg sync.WaitGroup once sync.Once closed atomic.Bool // 先置位再关 chan:Add 据此拒收(防 send on closed channel) } // NewDetailWriter 构造(batch/workers 零值取默认)。 func NewDetailWriter(db *gorm.DB, batch, workers int) *DetailWriter { if batch <= 0 { batch = DefaultWriterBatch } if workers <= 0 { workers = DefaultWriterWorker } w := &DetailWriter{db: db, batch: batch, ch: make(chan DetailUpdate, WriterQueue)} w.wg.Add(workers) for i := 0; i < workers; i++ { go w.worker() } return w } // Add 入队(非阻塞;false=已关闭或缓冲满→调用方直写)。 func (w *DetailWriter) Add(u DetailUpdate) bool { if len(u.IDs) == 0 { return true } if w.closed.Load() { return false } select { case w.ch <- u: return true default: return false } } // worker 单消费者:收到即按 batch 分片落库(元素内 IDs 已是同终态批)。 func (w *DetailWriter) worker() { defer w.wg.Done() for u := range w.ch { w.apply(u) } } // apply 分片落库(每片 ≤batch 个 id 的 UPDATE IN;失败静默——终态可由 // 对账/重扫补偿,与 markDetails 同容错口径)。 func (w *DetailWriter) apply(u DetailUpdate) { if ec := []rune(u.ErrorCode); len(ec) > 16 { // 与 markDetails 同截断 u.ErrorCode = string(ec[:16]) } if u.SendAt.IsZero() { u.SendAt = time.Now() } for start := 0; start < len(u.IDs); start += w.batch { end := start + w.batch if end > len(u.IDs) { end = len(u.IDs) } _ = w.db.Model(&entity.MessageDetail{}).Where("id IN ?", u.IDs[start:end]). Updates(map[string]any{ "status": u.Status, "channel_id": u.ChannelID, "error_code": u.ErrorCode, "send_at": u.SendAt, }).Error } } // Close 排空落库并退出 worker(优雅停机调用)。 func (w *DetailWriter) Close() { w.once.Do(func() { w.closed.Store(true) close(w.ch) w.wg.Wait() }) }