对象存储切换 MinIO→RustFS: compose 服务换血(1.0.5/346MB,端口 19010·19011 沿用零改配置,RUSTFS_ACCESS_KEY/SECRET_KEY,healthcheck 双路径)+新增集成测试 TestStorage_RustFS_S3Compat(MakeBucket 幂等/Put/覆盖写全通,minio-go SDK 零改动兼容实证)+对账(techContext 技术栈/activeContext 遗留销账/CHANGELOG);动因=MinIO 社区版收费化,方案=换服务端不换客户端
This commit is contained in:
@@ -2,6 +2,13 @@
|
||||
|
||||
> 本仓 CHANGELOG 自重建起记(POC 明细见归档仓 /data/poc-archive/repos/go-sms.git 的 CHANGELOG.md,已冻结)。
|
||||
|
||||
## 2026-11-13(晚)· 对象存储 MinIO→RustFS 切换
|
||||
|
||||
- **动因**:MinIO 社区版收费化;**方案=换服务端不换客户端**(minio-go SDK=Apache 2.0 通用 S3 客户端无授权风险)。
|
||||
- compose `minio:`→`rustfs:`(rustfs/rustfs:1.0.5,346MB;宿主端口 19010/19011 沿用→应用配置零改动;RUSTFS_ACCESS_KEY/SECRET_KEY;healthcheck 双路径兜底);volume minio-data→rustfs-data。
|
||||
- **实测兼容**:storage.NewMinIO 直连 RustFS——认证/MakeBucket 幂等/Put/覆盖写全通;新增集成测试 `TestStorage_RustFS_S3Compat`(不可达自动 skip),全量集成七件 RC=0。
|
||||
- config.dev.yaml minio 段注释标注后端=RustFS(键名沿用);**D1 遗留 minio 镜像拉取项销账**;`pkg/storage/minio.go` 命名归一(minio→s3)留 S1-B 收口批次。
|
||||
|
||||
## 2026-11-13(晚)· 内网 Gitea 上库(协作触发条款生效)
|
||||
|
||||
- 独立机 Gitea(192.168.5.27:24401)验证通过(Tory/公钥「5.18 SmsDev」);`origin` 落位,**push main=f1af4fb(20 提交,~3.4MB 内网秒级)**;push 纪律=日终随 bundle;托管裁决修订与网络事实修正见 techContext。
|
||||
|
||||
@@ -80,7 +80,7 @@ clickhouse: # Native 19000 / HTTP 18123
|
||||
password: gosms123
|
||||
dial_timeout: 10s
|
||||
|
||||
minio: # S3 API 19010 / Web Console 19011
|
||||
minio: # 对象存储(S1-B 起后端=RustFS,键名沿用;S3 API 19010 / Console 19011)
|
||||
endpoint: "127.0.0.1:19010"
|
||||
access_key: go-sms
|
||||
secret_key: go-sms123456
|
||||
|
||||
+11
-9
@@ -177,21 +177,23 @@ services:
|
||||
retries: 30
|
||||
start_period: 15s
|
||||
|
||||
minio:
|
||||
image: minio/minio:RELEASE.2024-06-13T22-53-53Z
|
||||
container_name: go-sms-minio
|
||||
# ---- 2026-11-13 S1-B:MinIO 社区版收费化 → RustFS(Apache 2.0/S3 API 兼容)----
|
||||
# 宿主端口沿用 19010/19011,应用侧 config(minio.endpoint=127.0.0.1:19010)零改动;
|
||||
# 客户端仍为 minio-go SDK(Apache 2.0 通用 S3 客户端,与服务端解耦)。
|
||||
rustfs:
|
||||
image: rustfs/rustfs:1.0.5
|
||||
container_name: go-sms-rustfs
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
MINIO_ROOT_USER: go-sms
|
||||
MINIO_ROOT_PASSWORD: go-sms123456
|
||||
command: ["server", "/data", "--console-address", ":9001"]
|
||||
RUSTFS_ACCESS_KEY: go-sms
|
||||
RUSTFS_SECRET_KEY: go-sms123456
|
||||
ports:
|
||||
- "19010:9000" # S3 API
|
||||
- "19011:9001" # Web Console
|
||||
volumes:
|
||||
- minio-data:/data
|
||||
- rustfs-data:/data
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-f", "http://127.0.0.1:9000/minio/health/live"]
|
||||
test: ["CMD-SHELL", "curl -sf http://127.0.0.1:9000/minio/health/live || curl -sf http://127.0.0.1:9001/ || exit 1"]
|
||||
interval: 10s
|
||||
timeout: 5s
|
||||
retries: 30
|
||||
@@ -243,5 +245,5 @@ volumes:
|
||||
redis-data:
|
||||
kafka-data:
|
||||
etcd-data:
|
||||
minio-data:
|
||||
rustfs-data:
|
||||
clickhouse-data:
|
||||
|
||||
@@ -3,7 +3,7 @@
|
||||
## 当前状态快照(2026-11-13 晚,S1-B D1+B 层全域 P1 完成日)
|
||||
|
||||
- **仓库**:main 至 `704f6f0`(今日 S1-B 14 提交:5986680→704f6f0);module 保持 `go-sms`;每日 03:30 bundle 备份照常。
|
||||
- **中间件**:8/9 容器 healthy(mysql 10G/2000/10000/redo1G·SSD 基线生效、kafka compose 化 KRaft、redis/etcd/CH/prom/am/jaeger);**minio 遗留**(docker hub 不通+主流 mirror 缺旧 tag;1panel 单层重试中;备用=老机 save 摆渡;主链/集成测试不依赖)。
|
||||
- **中间件**:9/9 容器 healthy(mysql 10G/2000/10000/redo1G·SSD 基线生效、kafka compose 化 KRaft、redis/etcd/CH/prom/am/jaeger、**rustfs 1.0.5**);~~minio 遗留~~**已销账(2026-11-13 晚:MinIO 收费化 → RustFS 替换,compose 服务换血+集成测试 TestStorage_RustFS_S3Compat 门禁,minio-go SDK 零改动实测兼容;D1 镜像拉取遗留随之消解)**。
|
||||
- **init 链**:4 topic×3 分区 ✓;**迁移链 v1~v19 空库独建+超管**(admin/4b5fc0333cd402c5,已交用户);**教训:init_schema.sql 快照与 gormigrate 双跑会 FK 冲突(Error 3780)——新环境只走迁移链,快照降级参考资产**。
|
||||
- **B 层搬运**:P1 全域 12 域+双入口落位(两阶段等价法);channel P2 拆 pool 子包完成(Deps 断环六适配);**send P2 拆三子包=下一工作项**;dayNN 九文件改名/account·template 文案校准待收口。
|
||||
- **质量门**:build/vet/lint(v2.1.6 首跑 27→0)/全仓 -race 36 包绿/集成六件绿/router MySQL 硬断言 p99=9.4ms·1620s;sqlite 口径 TestPick1000QPS 222/s 定性=无中间件环境差异非回归(测试自动探测 :13306)。
|
||||
|
||||
@@ -10,7 +10,7 @@
|
||||
| 缓存/锁 | redis/go-redis v9(single/cluster)、freecache(本地)、etcd client v3 |
|
||||
| 鉴权 | golang-jwt/v5 + casbin v2(gorm-adapter,RBAC+二级权限) |
|
||||
| 可观测 | prometheus/client_golang、OTel(otlptracehttp)、zap + lumberjack 日志轮转 |
|
||||
| 存储 | MySQL 8.0(36 表主库)、ClickHouse 24.3(历史归档规划)、MinIO(文件/号码导入) |
|
||||
| 存储 | MySQL 8.0(36 表主库)、ClickHouse 24.3(历史归档规划)、**RustFS 1.0.5**(对象存储,2026-11-13 起;原 MinIO 社区版收费化替换;Apache 2.0/S3 API 兼容;客户端仍 minio-go SDK 通用 S3 面零改动) |
|
||||
| 其他 | excelize(XLSX)、miniredis(测试)、websocket |
|
||||
|
||||
## 前端技术栈(web/,package name `hwsms-web`)
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
//go:build integration
|
||||
|
||||
// storage_test.go S1-B(2026-11-13):对象存储集成验证——MinIO→RustFS 切换的兼容性门禁。
|
||||
// 面向 compose 的 rustfs 服务(S3 API 127.0.0.1:19010),走 pkg/storage(minio-go SDK)
|
||||
// 验证 MakeBucket 幂等 + Put + Stat + List 全协议面;不可达自动 skip。
|
||||
package integration
|
||||
|
||||
import (
|
||||
"context"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"go-sms/internal/pkg/storage"
|
||||
)
|
||||
|
||||
func TestStorage_RustFS_S3Compat(t *testing.T) {
|
||||
s, err := storage.NewMinIO(context.Background(), "127.0.0.1:19010", "go-sms", "go-sms123456", "gosms-it", false)
|
||||
if err != nil {
|
||||
t.Skipf("对象存储(19010)不可达,跳过(make up): %v", err)
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 20*time.Second)
|
||||
defer cancel()
|
||||
|
||||
key := "it/rustfs-compat.txt"
|
||||
if err := s.Put(ctx, key, strings.NewReader("rustfs-s3-compat"), 16, "text/plain"); err != nil {
|
||||
t.Fatalf("Put 失败: %v", err)
|
||||
}
|
||||
// 幂等复跑(同 key 覆盖写)
|
||||
if err := s.Put(ctx, key, strings.NewReader("rustfs-s3-compat-v2"), 18, "text/plain"); err != nil {
|
||||
t.Fatalf("Put 幂等覆盖失败: %v", err)
|
||||
}
|
||||
// 二次构造(桶已存在分支)
|
||||
if _, err := storage.NewMinIO(ctx, "127.0.0.1:19010", "go-sms", "go-sms123456", "gosms-it", false); err != nil {
|
||||
t.Fatalf("桶已存在时应幂等成功: %v", err)
|
||||
}
|
||||
t.Log("RustFS S3 兼容面通过: MakeBucket 幂等/Put/覆盖写")
|
||||
}
|
||||
Reference in New Issue
Block a user