// lag.go Day 48:Kafka 消费组 lag 读取(背压水位采样源)。 // Σ(topic 各分区 高水位 − 已提交 offset);组未提交过的分区按 0 计 // (新组起步口径,与 Kafka Consumer Group 命令行 lag 一致)。 // Day 56 根治(Day55 挂账清偿):提交 offset 改 OffsetFetchRequest(V1) // 直连 coordinator——sarama OffsetManager.NextOffset 对 coordinator fetch // 失败静默返回 -1(与「组从未提交」不可区分,压测期 gauge 冻结假值实证); // 协议级 Err 字段可鉴别真错误并上抛,gauge 假冻结场景消除。 package queue import ( "context" "errors" "fmt" "sync" "time" "github.com/IBM/sarama" "go.uber.org/zap" ) // LagReader lag 采样器(轻量 client+coordinator 直连 offset fetch,只读)。 type LagReader struct { client sarama.Client group string log *zap.Logger mu sync.Mutex coord *sarama.Broker // 缓存的 coordinator 连接(失败即弃,下轮重发现) } // NewLagReader 构造(brokers/group)。 func NewLagReader(brokers []string, group string, log *zap.Logger) (*LagReader, error) { cfg := sarama.NewConfig() cfg.Net.DialTimeout = 3 * time.Second cfg.Net.ReadTimeout = 3 * time.Second cfg.Version = sarama.V2_1_0_0 // OffsetFetch V1 需 ≥0.8.2+;2.1 与消费组一致 client, err := sarama.NewClient(brokers, cfg) if err != nil { return nil, err } if log == nil { log = zap.NewNop() } return &LagReader{client: client, group: group, log: log}, nil } // Close 释放连接。 func (r *LagReader) Close() error { r.mu.Lock() if r.coord != nil { _ = r.coord.Close() r.coord = nil } r.mu.Unlock() return r.client.Close() } // coordinator 取组协调者(缓存复用;nil 时发现并连接)。 // 注:client.Coordinator 返回的 broker 由 client 连接池管理(registerBroker // 已 Open);二次 Open 报 ErrAlreadyConnected 属正常——视为已连接。 func (r *LagReader) coordinator() (*sarama.Broker, error) { r.mu.Lock() defer r.mu.Unlock() if r.coord != nil { if ok, _ := r.coord.Connected(); ok { return r.coord, nil } _ = r.coord.Close() r.coord = nil } br, err := r.client.Coordinator(r.group) if err != nil { return nil, fmt.Errorf("coordinator 发现失败: %w", err) } if err := br.Open(r.client.Config()); err != nil && !errors.Is(err, sarama.ErrAlreadyConnected) { return nil, fmt.Errorf("coordinator 连接失败: %w", err) } r.coord = br return br, nil } // dropCoordinator 连接异常时弃置(下轮重新发现)。 func (r *LagReader) dropCoordinator() { r.mu.Lock() if r.coord != nil { _ = r.coord.Close() r.coord = nil } r.mu.Unlock() } // Total 全 topic lag 合计(topics 为关心的消费域,如 [sms-submit])。 // 提交 offset 单次 OffsetFetchRequest V1 拉齐全部目标分区; // 协议错误(coordinator 不可用/鉴权失败等)上抛——调用方保留上次采样值, // 不再出现「静默 -1 当 0」的假冻结。 func (r *LagReader) Total(ctx context.Context, topics []string) (int64, error) { if ctx.Err() != nil { return 0, ctx.Err() } if len(topics) == 0 { return 0, nil } req := sarama.NewOffsetFetchRequest(sarama.V2_1_0_0, r.group, nil) topicParts := make(map[string][]int32, len(topics)) for _, topic := range topics { pids, err := r.client.Partitions(topic) if err != nil { return 0, err // topic 不存在/元数据不可用:真错误上抛 } topicParts[topic] = pids for _, pid := range pids { req.AddPartition(topic, pid) // V1 显式分区列表(-1 全分区属 v8+ KIP-822) } } br, err := r.coordinator() if err != nil { return 0, err } resp, err := br.FetchOffset(req) if err != nil { r.dropCoordinator() return 0, fmt.Errorf("offset fetch 失败: %w", err) } var lag int64 for topic, pids := range topicParts { for _, pid := range pids { blk := resp.GetBlock(topic, pid) if blk == nil { return 0, fmt.Errorf("offset fetch 响应缺分区 topic=%s pid=%d", topic, pid) } if blk.Err != sarama.ErrNoError { // 协议级错误(coordinator 漂移/鉴权失败/未知)→上抛; // 「组从未提交」在 V1 语义下=Offset=-1 且 Err=NoError→按 0 计。 return 0, fmt.Errorf("offset fetch 分区错误 topic=%s pid=%d err=%s", topic, pid, blk.Err.Error()) } hw, err := r.client.GetOffset(topic, pid, sarama.OffsetNewest) if err != nil { return 0, err } if co := blk.Offset; hw > co { // 未提交(co=−1)按高水位差累计(新组起步) lag += hw - co } } } return lag, nil }