// go-sms-gateway:go-sms 接入网关服务入口(app 启动器装配 + v1 业务路由挂载)。 package main import ( "context" "time" "github.com/IBM/sarama" "github.com/gin-gonic/gin" "go.uber.org/zap" v1 "go-sms/internal/api/http/v1" "go-sms/internal/app" "go-sms/internal/middleware" "go-sms/internal/pkg/casbin" "go-sms/internal/pkg/cronx" jwtpkg "go-sms/internal/pkg/jwt" "go-sms/internal/pkg/metrics" "go-sms/internal/pkg/queue" "go-sms/internal/pkg/storage" cmppproto "go-sms/internal/protocol/cmpp" smppproto "go-sms/internal/protocol/smpp" chrepo "go-sms/internal/repository/clickhouse" "go-sms/internal/service/access" "go-sms/internal/service/account" "go-sms/internal/service/archive" "go-sms/internal/service/audit" "go-sms/internal/service/auth" "go-sms/internal/service/balance" "go-sms/internal/service/callback" "go-sms/internal/service/channel" "go-sms/internal/service/interceptor" "go-sms/internal/service/openapi" "go-sms/internal/service/report" "go-sms/internal/service/router" "go-sms/internal/service/send" "go-sms/internal/service/settle" "go-sms/internal/service/sysconfig" "go-sms/internal/service/template" "go-sms/internal/service/uplink" "go-sms/internal/util" ) // 构建时通过 -ldflags -X 注入(见 Dockerfile / Makefile)。 var ( version = "dev" commit = "none" ) func main() { app.Main(app.Options{ ServiceName: "go-sms-gateway", Version: version, Commit: commit, RegisterRoutes: func(r *gin.Engine, a *app.App) { db := a.DB() if db == nil { return } cfg := a.Config() svc := account.NewService(db, 0) // Casbin 权限引擎(Day 25:开户/改角色自动同步 casbin_rule; // 创建失败降级为 nil → 不挂细粒度校验,鉴权仍由 JWT 兜底) var perm middleware.PermissionChecker if enforcer, err := casbin.New(db); err != nil { a.Lg().Warn("casbin_init_failed_degraded", zap.Error(err)) } else { svc.WithEnforcer(enforcer) perm = middleware.CasbinChecker(enforcer) } // 认证服务(Day 24):黑名单/失败计数优先 Redis,降级内存实现 var store auth.TokenStore rc := a.Redis() if rc != nil { store = auth.NewRedisTokenStore(rc) } authSvc := auth.NewService(db, jwtpkg.NewManager(cfg.JWT.Secret, cfg.JWT.TTL), store) // Day 42:发送拦截器链——黑名单三级(Redis 缓存)/频次滑窗(Redis ZSet)/ // 签名/退订/地区;命中经 DBRecorder 落 send_block_log;/send/precheck 与 Day46 提交共用。 var ichain *interceptor.Chain if rc != nil { ichain = interceptor.NewDefaultChain(db, rc, interceptor.NewDBRecorder(db), interceptor.Options{FreqStore: interceptor.NewRedisFreqStore(rc)}) } else { ichain = interceptor.NewDefaultChain(db, nil, interceptor.NewDBRecorder(db), interceptor.Options{}) } rg := r.Group("/api/v1") warnSvc := account.NewWarningService(db, nil) auditSvc := audit.NewService(db) reviewSvc := audit.NewReviewService(db) // Day 43:消息审核(审核中心+D19 定时任务) // Day 43 修复循环:最小提交链(雪花明细 ID;WorkerID 单机固定 1,多副本 Day47 ETCD 抢注)。 sf, sfErr := util.NewSnowflake(1) if sfErr != nil { panic("snowflake init: " + sfErr.Error()) } // Day 48:全流程状态机——拦截链(Day42)+sms-submit 统一出口(ProducerSink, // 替代 openapi 自投,预扣/拦截退费/审核拒绝退费在 SubmitService 内闭环)。 // Kafka 降级(producer=nil)不注入 sink:发送由 ReclaimScanner DB 认领兜底。 // Issue#6·P2:系统健康探针(lagR 未就绪时为 nil=unknown)。 var healthLag func(ctx context.Context) (int64, error) pipelineOpts := []send.SubmitOption{send.WithInterceptorChain(ichain)} if p := a.Producer(); p != nil { pipelineOpts = append(pipelineOpts, send.WithEventSink(send.ProducerSink{P: p, Source: "submit"})) a.Lg().Info("submit_pipeline_ready", zap.Bool("interceptor", ichain != nil), zap.String("sink", "sms-submit")) // Day55:go_sms_kafka_lag 指标导出(Day53 告警挂账清偿)——只读 LagReader // 与 consumer 同组采样 submit topic lag,15s 周期(对齐 Prometheus 抓取); // 采样失败保留上次值+首次 Warn(链路抖动不抹零,防「lag 消失」假象)。 lagGroup := cfg.Kafka.Consumer.GroupID if lagGroup == "" { lagGroup = "go-sms-consumer" } lagTopic := cfg.Kafka.Topics["submit"] if lagTopic == "" { lagTopic = queue.TopicSubmit } if lagR, lagErr := queue.NewLagReader(cfg.Kafka.Brokers, lagGroup, a.Lg()); lagErr != nil { a.Lg().Warn("kafka_lag_reader_disabled", zap.Error(lagErr)) } else { lagCtx, stopLag := context.WithCancel(context.Background()) go func() { tk := time.NewTicker(15 * time.Second) defer tk.Stop() var warned bool for { select { case <-lagCtx.Done(): return case <-tk.C: v, err := lagR.Total(lagCtx, []string{lagTopic}) if err != nil { if !warned { a.Lg().Warn("kafka_lag_sample_failed", zap.Error(err)) warned = true } continue } warned = false metrics.KafkaLag.WithLabelValues(lagTopic).Set(float64(v)) } } }() a.OnShutdown(func() { stopLag(); _ = lagR.Close() }) // Issue#6·P2:健康探针复用同一 LagReader(只读)。 healthLag = func(ctx context.Context) (int64, error) { return lagR.Total(ctx, []string{lagTopic}) } } } else { a.Lg().Warn("submit_pipeline_kafka_disabled", zap.String("fallback", "reclaim_scanner_db_claim")) } // Day54 R1:资金预扣 Store(评审 docs/review/r1-balance.md)—— // mode=redis:Lua 原子扣+异步流水批写+对账覆写+故障单次回退 MySQL; // env GOSMS_BALANCE_MODE/热配置 15s 轮询切换(默认 mysql 行锁原路径)。 balStore := balance.Store(balance.NewMySQLStore(db)) if balance.NormalizeMode(cfg.Balance.Mode) == balance.ModeRedis { if rc != nil { rs := balance.NewRedisStore(rc, db, sf, a.Lg(), balance.RedisOptions{}) fb := balance.NewFallbackStore(rs, balance.NewMySQLStore(db), a.Lg()) balStore = fb rec := balance.NewReconciler(rc, db, rs, a.Lg(), balance.ReconcilerOptions{Interval: cfg.Balance.ReconcileInterval}) balCtx, stopBal := context.WithCancel(context.Background()) go rec.Run(balCtx) go balance.RunModeWatcher(balCtx, fb, func() string { return a.Config().Balance.Mode }) a.OnShutdown(func() { stopBal(); rs.Close() }) a.Lg().Info("balance_redis_mode_ready", zap.String("reconcile_interval", cfg.Balance.ReconcileInterval.String()), zap.String("fallback", "mysql_row_lock"), zap.String("diff_metric", "go_sms_balance_reconcile_diff")) } else { metrics.BalanceMode.Set(0) a.Lg().Warn("balance_redis_mode_no_redis_fallback_mysql", zap.String("note", "Redis 未装配,预扣走 MySQL 行锁原路径")) } } pipelineOpts = append(pipelineOpts, send.WithBalanceStore(balStore)) submitSvc := send.NewSubmitService(db, sf, reviewSvc, pipelineOpts...) // Day 44:MinIO 对象存储(号码文件);初始化失败降级 nil → /files/numbers/import 不注册。 var fileImportSvc *send.FileImportService if mo, merr := storage.NewS3(context.Background(), cfg.MinIO.Endpoint, cfg.MinIO.AccessKey, cfg.MinIO.SecretKey, cfg.MinIO.Bucket, cfg.MinIO.UseSSL); merr != nil { a.Lg().Warn("minio_init_failed_file_import_disabled", zap.Error(merr)) } else { fileImportSvc = send.NewFileImportService(mo, sf) a.Lg().Info("minio_storage_ready", zap.String("bucket", cfg.MinIO.Bucket)) } rt := router.NewRouter(db) chSvc := channel.NewService(db) // Day 40:提取变量——链路引导/告警 cron/优雅停机接线 // Day 49:上行域——码号分配缓存(30s 刷新)+Deliver MO→分配→落库 // message_uplink→投 sms-up(消费者进程 15 天窗口匹配)。producer 降级 // nil 时仅落库;nil 指针不注入接口(空接口调用 panic)。 upAsg := uplink.NewAssigner(db) var upProd uplink.Producer if p := a.Producer(); p != nil { upProd = p } chSvc.SetUplinkSink(uplink.NewService(db, upAsg, upProd)) upCtx, stopUpAsg := context.WithCancel(context.Background()) go upAsg.Start(upCtx, uplink.DefaultReloadEvery) a.OnShutdown(stopUpAsg) // Day 56:回执域——状态报告经 sms-report 投递(消费者进程归一化+ // 段级配对回写 detail 终态);producer 降级 nil 时不注入(仅日志/环形)。 if p := a.Producer(); p != nil { chSvc.SetReportSink(report.NewSink(p)) } // 阶段5收尾(D28 挂账清偿):回执重推+手动配对服务(终态链复用 // consumer 同款 finalizeDetail 单一实现;计费走 balStore 同一 Store)。 // S4·C1:手动配对终态同步入 HTTP 回调(与 consumer 回执链同挂点)。 cbSvc := callback.NewService(db) pairSvc := report.NewPairService(db, report.NewBilling(db, balStore), sf).WithCallback(cbSvc) if p := a.Producer(); p != nil { pairSvc = pairSvc.WithPushSink(&report.ProducerPushSink{P: p}) } // S4·D3:明细冷热归档——gateway 侧仅挂 /record/history 冷查 // (归档 job 在 consumer 进程);CH 不可达=端点不注册(404 优于半可用)。 var arcSvc *archive.Service if chConn, chErr := chrepo.Open(chrepo.Config{ Addrs: cfg.ClickHouse.Addrs, Database: cfg.ClickHouse.Database, Username: cfg.ClickHouse.Username, Password: cfg.ClickHouse.Password, DialTimeout: cfg.ClickHouse.DialTimeout, }); chErr != nil { a.Lg().Warn("clickhouse_open_failed_history_disabled", zap.Error(chErr)) } else { arcSvc = archive.NewService(db, chConn) if err := arcSvc.EnsureCHSchema(context.Background()); err != nil { a.Lg().Warn("archive_ch_schema_failed", zap.Error(err)) } a.OnShutdown(func() { _ = chConn.Close() }) } // Issue#3 方案B:系统参数配置服务(system_config KV;/system/config // 管理端点 + access 系统默认接入码回退源;30s 读缓存+写即刻失效)。 sysCfgSvc := sysconfig.New(db, 30*time.Second) healthDeps := &v1.HealthDeps{ DB: db, Redis: a.Redis(), Lag: healthLag, StartTime: time.Now(), HTTPAddr: cfg.Server.HTTP.Addr, RedisMode: cfg.Redis.Mode, } v1.Register(rg, v1.Deps{ Account: svc, Warning: warnSvc, Audit: auditSvc, Review: reviewSvc, // Day 43 Submit: submitSvc, // Day 43 修复循环:/send/submit FileImport: fileImportSvc, // Day 44:/files/numbers/import(MinIO) Channel: chSvc, Upstream: channel.NewUpstreamService(db), // Day 41(清债③) Template: template.NewService(db), // Day 41:模板/预估 Interceptor: ichain, // Day 42:发送拦截器链 Router: rt, // Day 38:导流规则管理端点 AuthSvc: authSvc, // JWT 鉴权 + 登出黑名单 + 账号状态校验(Day 24) Auth: middleware.AuthJWTWithRevocation(cfg.JWT.Secret, authSvc.Revoked, svc.CheckEnabled), Perm: perm, // Day 53(runbook P0):/fe-errors 落库裸 DB + /alerts/sink AM webhook 留痕 DB: db, // Day 56:错误码维护(/system/error-codes 增改停用) ErrorCode: report.NewErrorCodeService(db), Logger: a.Lg(), // Day 62:CMPP 接入系统默认(api-config 的 cmpp_access 交付块数据源) CMPPCfg: &cfg.Server.CMPP, // 阶段5收尾(D28):/record/repush 域四端点 Pair: pairSvc, // S2:结算域(D2=消耗日汇总;充值审核/月结/阶梯/利润随 D3~D5 追加) Settle: settle.NewService(db), // S4·C1:/ops/callback 死信查询与重派(管理面;投递在 consumer 进程) Callback: cbSvc, // S4·D3:/record/history 冷查(CH;nil=不注册) Archive: arcSvc, // Issue#3 方案B:系统参数配置(/system/config;access 系统默认 // 接入码回退数据源)。30s 读缓存+写即刻失效。 SysConfig: sysCfgSvc, // Issue#6·P2:系统健康总览 Health: healthDeps, }) // Day68:运营总览汇总刷新(回补 30 天+60s ticker 增量 UPSERT stats_daily; // 幂等多实例无害,详见 stats_handler.go StartStatsRefresher)。 v1.StartStatsRefresher(db, a.Lg()) // S2-D2:消耗日汇总滚动重刷(回补 7 天+1h ticker 重刷近 4 天;72h 回执 // 窗内 UNKNOWN 会迁移,幂等 UPSERT 收敛;详见 service/settle/job.go)。 v1.StartSettleAggregateJob(db, cfg.Settle, a.Lg()) // Day 46:外部 HTTP API 提交(SMS_HTTP_1.6;/sms/api 独立协议域,MD5 验签+ // 双桶限流:全局 IP 桶(静态配置)+账号桶(动态 speed_limit); // Kafka producer 未装配时降级仅落库,发送由定时调度器 DB 认领兜底)。 openapiSvc := openapi.NewService(db, submitSvc, a.Producer()) v1.RegisterOpenAPI(r, v1.OpenAPIDeps{ Auth: openapi.NewAuthenticator(db), Svc: openapiSvc, Redis: rc, // *cache.Client(嵌入 redis.UniversalClient);nil=限流降级放行 Global: middleware.RateLimitConfig{ Capacity: cfg.RateLimit.Capacity, Rate: cfg.RateLimit.RatePerSec, }, }) a.Lg().Info("openapi_http_submit_ready", zap.String("group", "/sms/api"), zap.Bool("kafka", a.Producer() != nil)) // P1 修复(09-27 通道超限报障):gateway 不再引导常驻链路。 // 双进程架构下发域归 consumer,gateway 的通道池纯占通道账号连接额度 // (通道 331004 上限 20:gateway 50+consumer 51=101 条 → 22:01 通道拒新/22:06 批量踢)。 // 通道池由 consumer 独占 conn_count(=20)。 a.OnShutdown(chSvc.Close) // Day 40:通道日志冲刷落库 // Day 45:定时调度器(ZSet 唤醒索引+DB 原子认领+router 选路链路分发; // Redis 缺失降级纯 DB 扫描;随优雅停机拆除)。 // Day 47:分发链路注入合包聚合器(5s/1000 双阈值;同通道同内容合批, // CMPP 单包≤100 号切包,提交调用次数降至 ~1/100)。 var timerQ send.TaskQueue if rc != nil { timerQ = send.NewRedisZSetQueue(rc, send.QueueKey()) } aggregator := send.NewSubmitAggregator(chSvc, send.DefaultAggrWindow, send.DefaultAggrMaxBatch).WithDB(db) // Day56 seg 配对登记(装配遗漏修复) aggCtx, stopAgg := context.WithCancel(context.Background()) go aggregator.Run(aggCtx) a.OnShutdown(func() { stopAgg(); aggregator.FlushAll() }) timerCtx, stopTimer := context.WithCancel(context.Background()) go send.NewTimerScheduler(db, timerQ, send.NewChannelDispatcher(db, rt, chSvc, aggregator)).Run(timerCtx) a.OnShutdown(stopTimer) a.Lg().Info("timer_scheduler_started", zap.String("interval", "5s"), zap.Bool("redis_queue", timerQ != nil), zap.String("aggregator", "5s/1000")) // Day 47:CMPP/SMPP 客户接入(TCP 服务端;鉴权=账号体系+ApiSecret 共享密钥, // 提交复用 openapi 受理链;addr 空=不启用)。 // Day 62:注入 CMPP 系统默认配额(账号级 0 回退;连接数/单链速度强制)。 accSvc := access.New(db, openapiSvc, access.SystemLimits{ MaxConns: cfg.Server.CMPP.MaxConnsPerAccount, SubmitRate: cfg.Server.CMPP.SubmitRatePerConn, LongSmsWindow: cfg.Server.CMPP.LongSmsWindow, // Day 71:≤0 默认 72h LongSmsMaxGroup: cfg.Server.CMPP.LongSmsMaxGroup, // ≤0 默认 20 万(乱序容忍窗) }) // Issue#3 方案B:系统配置源注入——账号 ext_code 为空时回退系统默认 // 接入码 cmpp.default_ext_code(/system/config 可配)。 accSvc.SetSystemConfig(sysCfgSvc) // Day 71:长短信挂起制——重启恢复+72h 到期扫描(不齐不发,LP 失败 // 终态+UNDELIV 回执经 Kafka cmpp-deliver 回环推下家在线连接)。 { var lsPush report.PushSink if p := a.Producer(); p != nil { lsPush = &report.ProducerPushSink{P: p} } lsCtx, stopLS := context.WithCancel(context.Background()) accSvc.StartLongSmsMaintenance(lsCtx, lsPush, time.Minute) a.OnShutdown(stopLS) } var cmppSrv *cmppproto.Server if cfg.Server.CMPP.Addr != "" { csrv := cmppproto.NewServer(cmppproto.ServerConfig{ Addr: cfg.Server.CMPP.Addr, IdleTimeout: cfg.Server.CMPP.IdleTimeout, }, accSvc) cmppSrv = csrv go func() { if err := csrv.ListenAndServe(context.Background()); err != nil { a.Lg().Error("cmpp_server_failed", zap.Error(err)) } }() a.OnShutdown(csrv.Close) a.Lg().Info("cmpp_access_server_ready", zap.String("addr", cfg.Server.CMPP.Addr)) } // Day 61(P0.5):cmpp-deliver 消费桥——report 终态事件(consumer 进程投递) // →本进程 CMPP 会话注册表 PushDeliver。独立消费组;producer 缺省时跳过。 if cfg.Server.CMPP.Addr != "" { delTopic := cfg.Kafka.Topics[queue.KeyDeliver] if delTopic == "" { delTopic = queue.TopicDeliver } pusher := access.NewDeliverPusher(db, cmppSrv) dcg, derr := queue.NewConsumerGroup(queue.ConsumerGroupConfig{ Consumer: queue.ConsumerConfig{ Brokers: cfg.Kafka.Brokers, GroupID: "gateway-cmpp-deliver", Topics: []string{delTopic}, Logger: a.Lg(), Oldest: false, // 只推在线会话;历史事件无会话可推,latest 起点即可 Handler: func(ctx context.Context, msg *sarama.ConsumerMessage) error { return pusher.HandlePayload(ctx, msg.Value) }, }, Producer: queue.ProducerConfig{Brokers: cfg.Kafka.Brokers, Logger: a.Lg()}, }) if derr != nil { a.Lg().Error("cmpp_deliver_consumer_init_failed", zap.Error(derr)) } else { go func() { if err := dcg.Run(context.Background()); err != nil { a.Lg().Error("cmpp_deliver_consumer_exit", zap.Error(err)) } }() a.OnShutdown(func() { _ = dcg.Close() }) a.Lg().Info("cmpp_deliver_consumer_ready", zap.String("topic", delTopic), zap.String("group", "gateway-cmpp-deliver")) } } if cfg.Server.SMPP.Addr != "" { ssrv := smppproto.NewServer(smppproto.ServerConfig{ Addr: cfg.Server.SMPP.Addr, IdleTimeout: cfg.Server.SMPP.IdleTimeout, }, accSvc) go func() { if err := ssrv.ListenAndServe(context.Background()); err != nil { a.Lg().Error("smpp_server_failed", zap.Error(err)) } }() a.OnShutdown(ssrv.Close) a.Lg().Info("smpp_access_server_ready", zap.String("addr", cfg.Server.SMPP.Addr)) } // Day 43:待审任务 48h 超时扫描(置超时+幂等回退余额),随优雅停机拆除。 scannerCtx, stopScanner := context.WithCancel(context.Background()) go audit.NewTimeoutScanner(db).Run(scannerCtx) a.OnShutdown(stopScanner) a.Lg().Info("audit_timeout_scanner_started") // Day 27:余额预警定时扫描(每分钟;启动即扫一次),随优雅停机退出 sched := &cronx.Scheduler{} _ = sched.Add(cronx.Job{ Name: "balance_warning", Interval: time.Minute, Immediate: true, Run: func(ctx context.Context) error { _, err := warnSvc.ScanOnce(ctx) return err }, OnError: func(name string, err error) { a.Lg().Warn("cron_job_failed", zap.String("job", name), zap.Error(err)) }, }) // Day 40(A-3.12):通道告警扫描——链路全断/失败率超阈值,30s 周期 // (断连事件另有 onDrop 即时评估路径,冷却 CooldownMin 去重兜底)。 _ = sched.Add(cronx.Job{ Name: "channel_alert", Interval: 30 * time.Second, Immediate: true, Run: func(ctx context.Context) error { _, err := chSvc.AlertService().ScanOnce(ctx) return err }, OnError: func(name string, err error) { a.Lg().Warn("cron_job_failed", zap.String("job", name), zap.Error(err)) }, }) sched.Start() a.OnShutdown(sched.Stop) a.Lg().Info("balance_warning_scheduler_started", zap.String("interval", "1m")) a.Lg().Info("channel_alert_scheduler_started", zap.String("interval", "30s")) }, }) }