// Package fileparse Day 44:号码文件解析(TXT/CSV/XLSX→号码列抽取)。 // 只负责「读出候选号码字符串列表」;归一/校验/去重/表头启发在 service/send/fileimport。 package fileparse import ( "encoding/csv" "fmt" "io" "strconv" "strings" "github.com/xuri/excelize/v2" ) // Result 解析结果(Mobiles 为原始单元格文本,未归一未校验)。 type Result struct { Mobiles []string // 候选号码(按文件顺序;CSV/XLSX 取每行第一列) Rows int // 数据行数(非空行) } // Parse 按扩展名分发:支持 .txt(每行一号) / .csv(第一列,UTF-8 BOM 容忍) / .xlsx(首 sheet 第一列)。 func Parse(r io.Reader, filename string) (*Result, error) { name := strings.ToLower(strings.TrimSpace(filename)) switch { case strings.HasSuffix(name, ".txt"): return parseTxt(r) case strings.HasSuffix(name, ".csv"): return parseCsv(r) case strings.HasSuffix(name, ".xlsx"): return parseXlsx(r) default: return nil, fmt.Errorf("不支持的文件格式 %q(仅 txt/csv/xlsx)", filename) } } // parseTXT 每行取首段(容忍行内逗号/空白分隔;D17 前端本地预览同规则)。 func parseTxt(r io.Reader) (*Result, error) { b, err := io.ReadAll(r) if err != nil { return nil, err } res := &Result{Mobiles: make([]string, 0, 128)} for _, line := range strings.Split(string(b), "\n") { f := strings.TrimSpace(line) f = strings.TrimSuffix(f, "\r") f = strings.TrimSpace(f) if f == "" { continue } // 行内首段(「号码,姓名」 tolerated;多号一行不做魔法拆分,交由校验层计数) if i := strings.IndexAny(f, ",\t"); i >= 0 { f = strings.TrimSpace(f[:i]) } if f == "" { continue } res.Mobiles = append(res.Mobiles, f) res.Rows++ } return res, nil } // parseCSV 第一列(csv.Reader 容忍引号/转义;首个 BOM 剥离)。 func parseCsv(r io.Reader) (*Result, error) { br := newBOMStripper(r) cr := csv.NewReader(br) cr.FieldsPerRecord = -1 // 行内列数不限 cr.LazyQuotes = true res := &Result{} for { rec, err := cr.Read() if err == io.EOF { break } if err != nil { return nil, fmt.Errorf("CSV 解析失败: %w", err) } if len(rec) == 0 { continue } f := strings.TrimSpace(rec[0]) if f == "" { continue } res.Mobiles = append(res.Mobiles, f) res.Rows++ } return res, nil } // parseXLSX 首 sheet 第一列(excelize 全内存读;万行级号码文件毫秒量级,可接受)。 func parseXlsx(r io.Reader) (*Result, error) { f, err := excelize.OpenReader(r) if err != nil { return nil, fmt.Errorf("XLSX 解析失败: %w", err) } defer f.Close() sheets := f.GetSheetList() if len(sheets) == 0 { return nil, fmt.Errorf("XLSX 无工作表") } rows, err := f.GetRows(sheets[0]) if err != nil { return nil, fmt.Errorf("XLSX 读取失败: %w", err) } res := &Result{} for _, row := range rows { if len(row) == 0 { continue } cell := strings.TrimSpace(row[0]) // Excel 数值单元格科学计数法容忍(1.39E+10 → 还原为数字串) cell = expandScientific(cell) if cell == "" { continue } res.Mobiles = append(res.Mobiles, cell) res.Rows++ } return res, nil } // newBOMStripper 剥离 UTF-8 BOM(EF BB BF)——Excel 另存 CSV 常带。 type bomStripper struct { r io.Reader done bool bom []byte bomAt int } func newBOMStripper(r io.Reader) *bomStripper { return &bomStripper{r: r, bom: []byte{0xEF, 0xBB, 0xBF}} } func (b *bomStripper) Read(p []byte) (int, error) { if !b.done { head := make([]byte, 3) n, err := io.ReadFull(b.r, head) b.done = true if n == 3 && string(head) == string(b.bom) { b.bom = nil // BOM 命中,丢弃并不再回放 } else if n > 0 { b.bom, b.bomAt = head[:n], 0 } if err != nil && err != io.ErrUnexpectedEOF && err != io.EOF { return 0, err } } if b.bomAt < len(b.bom) { k := copy(p, b.bom[b.bomAt:]) b.bomAt += k return k, nil } return b.r.Read(p) } // expandScientific Excel 数值单元格常见副作用:手机号显示为 1.39E+10——还原纯数字串。 // 纯字符串定点还原(不经过 float,避免精度与舍入问题);仅处理「整数.数字E+指数」形态。 func expandScientific(s string) string { i := strings.IndexAny(s, "eE") if i <= 0 { return s } mantissa, expPart := s[:i], s[i+1:] neg := strings.HasPrefix(mantissa, "-") if neg { mantissa = mantissa[1:] } if strings.HasPrefix(expPart, "-") { return s // 负指数非整数形态,原样 } exp, err := strconv.Atoi(strings.TrimPrefix(expPart, "+")) if err != nil { return s } intPart, fracPart := mantissa, "" if j := strings.IndexByte(mantissa, '.'); j >= 0 { intPart, fracPart = mantissa[:j], mantissa[j+1:] } if intPart == "" || !allDigits(intPart) || !allDigits(fracPart) { return s } digits := intPart + fracPart switch { case exp >= len(fracPart): digits += strings.Repeat("0", exp-len(fracPart)) default: // 指数小于小数位(非整数,手机号场景防御) cut := len(intPart) + exp digits = digits[:cut] + "." + digits[cut:] } if neg { return "-" + digits } return digits } func allDigits(s string) bool { for _, r := range s { if r < '0' || r > '9' { return false } } return true }