Files

205 lines
5.1 KiB
Go

// Package fileparse Day 44:号码文件解析(TXT/CSV/XLSX→号码列抽取)。
// 只负责「读出候选号码字符串列表」;归一/校验/去重/表头启发在 service/send/fileimport。
package fileparse
import (
"encoding/csv"
"fmt"
"io"
"strconv"
"strings"
"github.com/xuri/excelize/v2"
)
// Result 解析结果(Mobiles 为原始单元格文本,未归一未校验)。
type Result struct {
Mobiles []string // 候选号码(按文件顺序;CSV/XLSX 取每行第一列)
Rows int // 数据行数(非空行)
}
// Parse 按扩展名分发:支持 .txt(每行一号) / .csv(第一列,UTF-8 BOM 容忍) / .xlsx(首 sheet 第一列)。
func Parse(r io.Reader, filename string) (*Result, error) {
name := strings.ToLower(strings.TrimSpace(filename))
switch {
case strings.HasSuffix(name, ".txt"):
return parseTxt(r)
case strings.HasSuffix(name, ".csv"):
return parseCsv(r)
case strings.HasSuffix(name, ".xlsx"):
return parseXlsx(r)
default:
return nil, fmt.Errorf("不支持的文件格式 %q(仅 txt/csv/xlsx)", filename)
}
}
// parseTXT 每行取首段(容忍行内逗号/空白分隔;D17 前端本地预览同规则)。
func parseTxt(r io.Reader) (*Result, error) {
b, err := io.ReadAll(r)
if err != nil {
return nil, err
}
res := &Result{Mobiles: make([]string, 0, 128)}
for _, line := range strings.Split(string(b), "\n") {
f := strings.TrimSpace(line)
f = strings.TrimSuffix(f, "\r")
f = strings.TrimSpace(f)
if f == "" {
continue
}
// 行内首段(「号码,姓名」 tolerated;多号一行不做魔法拆分,交由校验层计数)
if i := strings.IndexAny(f, ",\t"); i >= 0 {
f = strings.TrimSpace(f[:i])
}
if f == "" {
continue
}
res.Mobiles = append(res.Mobiles, f)
res.Rows++
}
return res, nil
}
// parseCSV 第一列(csv.Reader 容忍引号/转义;首个 BOM 剥离)。
func parseCsv(r io.Reader) (*Result, error) {
br := newBOMStripper(r)
cr := csv.NewReader(br)
cr.FieldsPerRecord = -1 // 行内列数不限
cr.LazyQuotes = true
res := &Result{}
for {
rec, err := cr.Read()
if err == io.EOF {
break
}
if err != nil {
return nil, fmt.Errorf("CSV 解析失败: %w", err)
}
if len(rec) == 0 {
continue
}
f := strings.TrimSpace(rec[0])
if f == "" {
continue
}
res.Mobiles = append(res.Mobiles, f)
res.Rows++
}
return res, nil
}
// parseXLSX 首 sheet 第一列(excelize 全内存读;万行级号码文件毫秒量级,可接受)。
func parseXlsx(r io.Reader) (*Result, error) {
f, err := excelize.OpenReader(r)
if err != nil {
return nil, fmt.Errorf("XLSX 解析失败: %w", err)
}
defer func() { _ = f.Close() }()
sheets := f.GetSheetList()
if len(sheets) == 0 {
return nil, fmt.Errorf("XLSX 无工作表")
}
rows, err := f.GetRows(sheets[0])
if err != nil {
return nil, fmt.Errorf("XLSX 读取失败: %w", err)
}
res := &Result{}
for _, row := range rows {
if len(row) == 0 {
continue
}
cell := strings.TrimSpace(row[0])
// Excel 数值单元格科学计数法容忍(1.39E+10 → 还原为数字串)
cell = expandScientific(cell)
if cell == "" {
continue
}
res.Mobiles = append(res.Mobiles, cell)
res.Rows++
}
return res, nil
}
// newBOMStripper 剥离 UTF-8 BOM(EF BB BF)——Excel 另存 CSV 常带。
type bomStripper struct {
r io.Reader
done bool
bom []byte
bomAt int
}
func newBOMStripper(r io.Reader) *bomStripper {
return &bomStripper{r: r, bom: []byte{0xEF, 0xBB, 0xBF}}
}
func (b *bomStripper) Read(p []byte) (int, error) {
if !b.done {
head := make([]byte, 3)
n, err := io.ReadFull(b.r, head)
b.done = true
if n == 3 && string(head) == string(b.bom) {
b.bom = nil // BOM 命中,丢弃并不再回放
} else if n > 0 {
b.bom, b.bomAt = head[:n], 0
}
if err != nil && err != io.ErrUnexpectedEOF && err != io.EOF {
return 0, err
}
}
if b.bomAt < len(b.bom) {
k := copy(p, b.bom[b.bomAt:])
b.bomAt += k
return k, nil
}
return b.r.Read(p)
}
// expandScientific Excel 数值单元格常见副作用:手机号显示为 1.39E+10——还原纯数字串。
// 纯字符串定点还原(不经过 float,避免精度与舍入问题);仅处理「整数.数字E+指数」形态。
func expandScientific(s string) string {
i := strings.IndexAny(s, "eE")
if i <= 0 {
return s
}
mantissa, expPart := s[:i], s[i+1:]
neg := strings.HasPrefix(mantissa, "-")
if neg {
mantissa = mantissa[1:]
}
if strings.HasPrefix(expPart, "-") {
return s // 负指数非整数形态,原样
}
exp, err := strconv.Atoi(strings.TrimPrefix(expPart, "+"))
if err != nil {
return s
}
intPart, fracPart := mantissa, ""
if j := strings.IndexByte(mantissa, '.'); j >= 0 {
intPart, fracPart = mantissa[:j], mantissa[j+1:]
}
if intPart == "" || !allDigits(intPart) || !allDigits(fracPart) {
return s
}
digits := intPart + fracPart
switch {
case exp >= len(fracPart):
digits += strings.Repeat("0", exp-len(fracPart))
default: // 指数小于小数位(非整数,手机号场景防御)
cut := len(intPart) + exp
digits = digits[:cut] + "." + digits[cut:]
}
if neg {
return "-" + digits
}
return digits
}
func allDigits(s string) bool {
for _, r := range s {
if r < '0' || r > '9' {
return false
}
}
return true
}