164 lines
4.5 KiB
Go
164 lines
4.5 KiB
Go
// link_reconnect_drill_test.go(原 Day40 A-3.5):真网断线重连演练——网关进程消失→心跳断链→
|
|
// 同端口复活→指数退避重连→提交恢复。断言全程远小于 30s 重连上限,并留痕 channel_log。
|
|
package pool_test
|
|
|
|
import (
|
|
"context"
|
|
"net"
|
|
"sync"
|
|
"testing"
|
|
"time"
|
|
|
|
"go-sms/internal/model/entity"
|
|
"go-sms/internal/service/channel"
|
|
"go-sms/internal/service/channel/pool"
|
|
)
|
|
|
|
// waitLinkFor 限期等待健康连接数(演练用:期限可调)。
|
|
func waitLinkFor(t *testing.T, s *channel.Service, id int64, want int, d time.Duration) bool {
|
|
t.Helper()
|
|
deadline := time.Now().Add(d)
|
|
for time.Now().Before(deadline) {
|
|
if st := s.LinkStatus(id); st.Running && st.Healthy >= want {
|
|
return true
|
|
}
|
|
time.Sleep(20 * time.Millisecond)
|
|
}
|
|
return false
|
|
}
|
|
|
|
// killableGW 可杀网关:追踪全部已建立连接,kill() 等价「网关进程消失」
|
|
// (listener 关闭 + 已 accept 连接全部 RST——TCP 语义上 listener 关闭不影响存量连接,须显式掐断)。
|
|
type killableGW struct {
|
|
ln net.Listener
|
|
mu sync.Mutex
|
|
conns map[net.Conn]struct{}
|
|
}
|
|
|
|
func newKillableGW(t *testing.T) *killableGW {
|
|
t.Helper()
|
|
ln, err := netListen()
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
g := &killableGW{ln: ln, conns: map[net.Conn]struct{}{}}
|
|
go g.serve()
|
|
return g
|
|
}
|
|
|
|
func (g *killableGW) serve() {
|
|
for {
|
|
conn, err := g.ln.Accept()
|
|
if err != nil {
|
|
return
|
|
}
|
|
g.mu.Lock()
|
|
g.conns[conn] = struct{}{}
|
|
g.mu.Unlock()
|
|
go func() {
|
|
defer func() {
|
|
g.mu.Lock()
|
|
delete(g.conns, conn)
|
|
g.mu.Unlock()
|
|
_ = conn.Close()
|
|
}()
|
|
serveMiniConn(conn)
|
|
}()
|
|
}
|
|
}
|
|
|
|
// kill 网关宕机:关 listener 并掐断全部存量连接(进程消失等价)。
|
|
func (g *killableGW) kill() {
|
|
_ = g.ln.Close()
|
|
g.mu.Lock()
|
|
for c := range g.conns {
|
|
_ = c.Close()
|
|
}
|
|
g.mu.Unlock()
|
|
}
|
|
|
|
// restart 同端口复活网关(TIME_WAIT 竞争重试)。
|
|
func (g *killableGW) restart(t *testing.T) {
|
|
t.Helper()
|
|
addr := g.ln.Addr().String()
|
|
var ln net.Listener
|
|
var err error
|
|
for i := 0; i < 20; i++ {
|
|
ln, err = net.Listen("tcp", addr)
|
|
if err == nil {
|
|
break
|
|
}
|
|
time.Sleep(100 * time.Millisecond)
|
|
}
|
|
if err != nil {
|
|
t.Fatalf("网关复活失败: %v", err)
|
|
}
|
|
g.ln = ln
|
|
go g.serve()
|
|
}
|
|
|
|
// TestLinkReconnectAfterGatewayRestart A-3.5 演练:
|
|
// ①建链健康 → ②网关进程消失(listener+存量连接全掐) → ③client 立即感知断链
|
|
// → ④同端口复活 → ⑤退避重连恢复健康(断言 <10s,验收线 30s) → ⑥提交恢复
|
|
// → ⑦channel_log 留痕 disconnect。
|
|
func TestLinkReconnectAfterGatewayRestart(t *testing.T) {
|
|
s := newSvc(t)
|
|
t.Cleanup(func() { s.ShutdownLinks() })
|
|
ctx := context.Background()
|
|
|
|
gw := newKillableGW(t)
|
|
// 借 mustCreateLinkable 的建通道参数(用 gw.ln 地址)。
|
|
ch := mustCreateLinkable(t, s, "d40-rc", gw.ln)
|
|
if _, err := s.StartLink(ctx, ch.ID); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if !waitLink(t, s, ch.ID, 1) {
|
|
t.Fatalf("初始建链失败: %+v", s.LinkStatus(ch.ID))
|
|
}
|
|
|
|
// ②③网关宕机 → client 读 EOF 即刻 fail(OnDisconnected 触发,无需等心跳)。
|
|
t0 := time.Now()
|
|
gw.kill()
|
|
downBy := time.Now().Add(3 * time.Second)
|
|
for time.Now().Before(downBy) {
|
|
if st := s.LinkStatus(ch.ID); st.Healthy == 0 {
|
|
break
|
|
}
|
|
time.Sleep(20 * time.Millisecond)
|
|
}
|
|
if st := s.LinkStatus(ch.ID); st.Healthy != 0 {
|
|
t.Fatalf("断链未被发现: %+v", st)
|
|
}
|
|
|
|
// ④⑤同端口复活 → 退避重连(远小于 30s 验收线)。
|
|
gw.restart(t)
|
|
if !waitLinkFor(t, s, ch.ID, 1, 10*time.Second) {
|
|
t.Fatalf("10s 内未重连: %+v", s.LinkStatus(ch.ID))
|
|
}
|
|
reconnectIn := time.Since(t0)
|
|
|
|
// ⑥提交链路恢复(TestChannel cmpp 分支经 SubmitViaLink,上行 MsgID=777)。
|
|
res, err := s.TestChannel(ctx, ch.ID, "13800138000", "重连演练")
|
|
if err != nil || res.MessageID == "" {
|
|
t.Fatalf("重连后提交: res=%+v err=%v", res, err)
|
|
}
|
|
|
|
// ⑦通道日志留痕 disconnect(A-3.14 联合验收)。
|
|
// 时序:fail() 先置 conn=nil(Healthy=0 可观测)后回调 OnDisconnected——留痕需轮询等待事件落库。
|
|
var disConns int64
|
|
by := time.Now().Add(2 * time.Second)
|
|
for time.Now().Before(by) {
|
|
s.FlushChannelLogs()
|
|
s.DB().Model(&entity.ChannelLog{}).Where("channel_id = ? AND kind = ?", ch.ID, pool.LogKindDisconnect).Count(&disConns)
|
|
if disConns > 0 {
|
|
break
|
|
}
|
|
time.Sleep(50 * time.Millisecond)
|
|
}
|
|
if disConns == 0 {
|
|
t.Fatal("channel_log 缺 disconnect 留痕")
|
|
}
|
|
t.Logf("A-3.5 演练通过: 断链发现+重连耗时 %v(验收线 30s), 提交恢复 msgID=%s, disconnect 留痕 %d 条",
|
|
reconnectIn, res.MessageID, disConns)
|
|
}
|