Files
go-sms-V2/internal/service/channel/pool/link_reconnect_drill_test.go
T

164 lines
4.5 KiB
Go

// link_reconnect_drill_test.go(原 Day40 A-3.5):真网断线重连演练——网关进程消失→心跳断链→
// 同端口复活→指数退避重连→提交恢复。断言全程远小于 30s 重连上限,并留痕 channel_log。
package pool_test
import (
"context"
"net"
"sync"
"testing"
"time"
"go-sms/internal/model/entity"
"go-sms/internal/service/channel"
"go-sms/internal/service/channel/pool"
)
// waitLinkFor 限期等待健康连接数(演练用:期限可调)。
func waitLinkFor(t *testing.T, s *channel.Service, id int64, want int, d time.Duration) bool {
t.Helper()
deadline := time.Now().Add(d)
for time.Now().Before(deadline) {
if st := s.LinkStatus(id); st.Running && st.Healthy >= want {
return true
}
time.Sleep(20 * time.Millisecond)
}
return false
}
// killableGW 可杀网关:追踪全部已建立连接,kill() 等价「网关进程消失」
// (listener 关闭 + 已 accept 连接全部 RST——TCP 语义上 listener 关闭不影响存量连接,须显式掐断)。
type killableGW struct {
ln net.Listener
mu sync.Mutex
conns map[net.Conn]struct{}
}
func newKillableGW(t *testing.T) *killableGW {
t.Helper()
ln, err := netListen()
if err != nil {
t.Fatal(err)
}
g := &killableGW{ln: ln, conns: map[net.Conn]struct{}{}}
go g.serve()
return g
}
func (g *killableGW) serve() {
for {
conn, err := g.ln.Accept()
if err != nil {
return
}
g.mu.Lock()
g.conns[conn] = struct{}{}
g.mu.Unlock()
go func() {
defer func() {
g.mu.Lock()
delete(g.conns, conn)
g.mu.Unlock()
_ = conn.Close()
}()
serveMiniConn(conn)
}()
}
}
// kill 网关宕机:关 listener 并掐断全部存量连接(进程消失等价)。
func (g *killableGW) kill() {
_ = g.ln.Close()
g.mu.Lock()
for c := range g.conns {
_ = c.Close()
}
g.mu.Unlock()
}
// restart 同端口复活网关(TIME_WAIT 竞争重试)。
func (g *killableGW) restart(t *testing.T) {
t.Helper()
addr := g.ln.Addr().String()
var ln net.Listener
var err error
for i := 0; i < 20; i++ {
ln, err = net.Listen("tcp", addr)
if err == nil {
break
}
time.Sleep(100 * time.Millisecond)
}
if err != nil {
t.Fatalf("网关复活失败: %v", err)
}
g.ln = ln
go g.serve()
}
// TestLinkReconnectAfterGatewayRestart A-3.5 演练:
// ①建链健康 → ②网关进程消失(listener+存量连接全掐) → ③client 立即感知断链
// → ④同端口复活 → ⑤退避重连恢复健康(断言 <10s,验收线 30s) → ⑥提交恢复
// → ⑦channel_log 留痕 disconnect。
func TestLinkReconnectAfterGatewayRestart(t *testing.T) {
s := newSvc(t)
t.Cleanup(func() { s.ShutdownLinks() })
ctx := context.Background()
gw := newKillableGW(t)
// 借 mustCreateLinkable 的建通道参数(用 gw.ln 地址)。
ch := mustCreateLinkable(t, s, "d40-rc", gw.ln)
if _, err := s.StartLink(ctx, ch.ID); err != nil {
t.Fatal(err)
}
if !waitLink(t, s, ch.ID, 1) {
t.Fatalf("初始建链失败: %+v", s.LinkStatus(ch.ID))
}
// ②③网关宕机 → client 读 EOF 即刻 fail(OnDisconnected 触发,无需等心跳)。
t0 := time.Now()
gw.kill()
downBy := time.Now().Add(3 * time.Second)
for time.Now().Before(downBy) {
if st := s.LinkStatus(ch.ID); st.Healthy == 0 {
break
}
time.Sleep(20 * time.Millisecond)
}
if st := s.LinkStatus(ch.ID); st.Healthy != 0 {
t.Fatalf("断链未被发现: %+v", st)
}
// ④⑤同端口复活 → 退避重连(远小于 30s 验收线)。
gw.restart(t)
if !waitLinkFor(t, s, ch.ID, 1, 10*time.Second) {
t.Fatalf("10s 内未重连: %+v", s.LinkStatus(ch.ID))
}
reconnectIn := time.Since(t0)
// ⑥提交链路恢复(TestChannel cmpp 分支经 SubmitViaLink,上行 MsgID=777)。
res, err := s.TestChannel(ctx, ch.ID, "13800138000", "重连演练")
if err != nil || res.MessageID == "" {
t.Fatalf("重连后提交: res=%+v err=%v", res, err)
}
// ⑦通道日志留痕 disconnect(A-3.14 联合验收)。
// 时序:fail() 先置 conn=nil(Healthy=0 可观测)后回调 OnDisconnected——留痕需轮询等待事件落库。
var disConns int64
by := time.Now().Add(2 * time.Second)
for time.Now().Before(by) {
s.FlushChannelLogs()
s.DB().Model(&entity.ChannelLog{}).Where("channel_id = ? AND kind = ?", ch.ID, pool.LogKindDisconnect).Count(&disConns)
if disConns > 0 {
break
}
time.Sleep(50 * time.Millisecond)
}
if disConns == 0 {
t.Fatal("channel_log 缺 disconnect 留痕")
}
t.Logf("A-3.5 演练通过: 断链发现+重连耗时 %v(验收线 30s), 提交恢复 msgID=%s, disconnect 留痕 %d 条",
reconnectIn, res.MessageID, disConns)
}