205 lines
5.1 KiB
Go
205 lines
5.1 KiB
Go
// Package fileparse Day 44:号码文件解析(TXT/CSV/XLSX→号码列抽取)。
|
|
// 只负责「读出候选号码字符串列表」;归一/校验/去重/表头启发在 service/send/fileimport。
|
|
package fileparse
|
|
|
|
import (
|
|
"encoding/csv"
|
|
"fmt"
|
|
"io"
|
|
"strconv"
|
|
"strings"
|
|
|
|
"github.com/xuri/excelize/v2"
|
|
)
|
|
|
|
// Result 解析结果(Mobiles 为原始单元格文本,未归一未校验)。
|
|
type Result struct {
|
|
Mobiles []string // 候选号码(按文件顺序;CSV/XLSX 取每行第一列)
|
|
Rows int // 数据行数(非空行)
|
|
}
|
|
|
|
// Parse 按扩展名分发:支持 .txt(每行一号) / .csv(第一列,UTF-8 BOM 容忍) / .xlsx(首 sheet 第一列)。
|
|
func Parse(r io.Reader, filename string) (*Result, error) {
|
|
name := strings.ToLower(strings.TrimSpace(filename))
|
|
switch {
|
|
case strings.HasSuffix(name, ".txt"):
|
|
return parseTxt(r)
|
|
case strings.HasSuffix(name, ".csv"):
|
|
return parseCsv(r)
|
|
case strings.HasSuffix(name, ".xlsx"):
|
|
return parseXlsx(r)
|
|
default:
|
|
return nil, fmt.Errorf("不支持的文件格式 %q(仅 txt/csv/xlsx)", filename)
|
|
}
|
|
}
|
|
|
|
// parseTXT 每行取首段(容忍行内逗号/空白分隔;D17 前端本地预览同规则)。
|
|
func parseTxt(r io.Reader) (*Result, error) {
|
|
b, err := io.ReadAll(r)
|
|
if err != nil {
|
|
return nil, err
|
|
}
|
|
res := &Result{Mobiles: make([]string, 0, 128)}
|
|
for _, line := range strings.Split(string(b), "\n") {
|
|
f := strings.TrimSpace(line)
|
|
f = strings.TrimSuffix(f, "\r")
|
|
f = strings.TrimSpace(f)
|
|
if f == "" {
|
|
continue
|
|
}
|
|
// 行内首段(「号码,姓名」 tolerated;多号一行不做魔法拆分,交由校验层计数)
|
|
if i := strings.IndexAny(f, ",\t"); i >= 0 {
|
|
f = strings.TrimSpace(f[:i])
|
|
}
|
|
if f == "" {
|
|
continue
|
|
}
|
|
res.Mobiles = append(res.Mobiles, f)
|
|
res.Rows++
|
|
}
|
|
return res, nil
|
|
}
|
|
|
|
// parseCSV 第一列(csv.Reader 容忍引号/转义;首个 BOM 剥离)。
|
|
func parseCsv(r io.Reader) (*Result, error) {
|
|
br := newBOMStripper(r)
|
|
cr := csv.NewReader(br)
|
|
cr.FieldsPerRecord = -1 // 行内列数不限
|
|
cr.LazyQuotes = true
|
|
res := &Result{}
|
|
for {
|
|
rec, err := cr.Read()
|
|
if err == io.EOF {
|
|
break
|
|
}
|
|
if err != nil {
|
|
return nil, fmt.Errorf("CSV 解析失败: %w", err)
|
|
}
|
|
if len(rec) == 0 {
|
|
continue
|
|
}
|
|
f := strings.TrimSpace(rec[0])
|
|
if f == "" {
|
|
continue
|
|
}
|
|
res.Mobiles = append(res.Mobiles, f)
|
|
res.Rows++
|
|
}
|
|
return res, nil
|
|
}
|
|
|
|
// parseXLSX 首 sheet 第一列(excelize 全内存读;万行级号码文件毫秒量级,可接受)。
|
|
func parseXlsx(r io.Reader) (*Result, error) {
|
|
f, err := excelize.OpenReader(r)
|
|
if err != nil {
|
|
return nil, fmt.Errorf("XLSX 解析失败: %w", err)
|
|
}
|
|
defer func() { _ = f.Close() }()
|
|
sheets := f.GetSheetList()
|
|
if len(sheets) == 0 {
|
|
return nil, fmt.Errorf("XLSX 无工作表")
|
|
}
|
|
rows, err := f.GetRows(sheets[0])
|
|
if err != nil {
|
|
return nil, fmt.Errorf("XLSX 读取失败: %w", err)
|
|
}
|
|
res := &Result{}
|
|
for _, row := range rows {
|
|
if len(row) == 0 {
|
|
continue
|
|
}
|
|
cell := strings.TrimSpace(row[0])
|
|
// Excel 数值单元格科学计数法容忍(1.39E+10 → 还原为数字串)
|
|
cell = expandScientific(cell)
|
|
if cell == "" {
|
|
continue
|
|
}
|
|
res.Mobiles = append(res.Mobiles, cell)
|
|
res.Rows++
|
|
}
|
|
return res, nil
|
|
}
|
|
|
|
// newBOMStripper 剥离 UTF-8 BOM(EF BB BF)——Excel 另存 CSV 常带。
|
|
type bomStripper struct {
|
|
r io.Reader
|
|
done bool
|
|
bom []byte
|
|
bomAt int
|
|
}
|
|
|
|
func newBOMStripper(r io.Reader) *bomStripper {
|
|
return &bomStripper{r: r, bom: []byte{0xEF, 0xBB, 0xBF}}
|
|
}
|
|
|
|
func (b *bomStripper) Read(p []byte) (int, error) {
|
|
if !b.done {
|
|
head := make([]byte, 3)
|
|
n, err := io.ReadFull(b.r, head)
|
|
b.done = true
|
|
if n == 3 && string(head) == string(b.bom) {
|
|
b.bom = nil // BOM 命中,丢弃并不再回放
|
|
} else if n > 0 {
|
|
b.bom, b.bomAt = head[:n], 0
|
|
}
|
|
if err != nil && err != io.ErrUnexpectedEOF && err != io.EOF {
|
|
return 0, err
|
|
}
|
|
}
|
|
if b.bomAt < len(b.bom) {
|
|
k := copy(p, b.bom[b.bomAt:])
|
|
b.bomAt += k
|
|
return k, nil
|
|
}
|
|
return b.r.Read(p)
|
|
}
|
|
|
|
// expandScientific Excel 数值单元格常见副作用:手机号显示为 1.39E+10——还原纯数字串。
|
|
// 纯字符串定点还原(不经过 float,避免精度与舍入问题);仅处理「整数.数字E+指数」形态。
|
|
func expandScientific(s string) string {
|
|
i := strings.IndexAny(s, "eE")
|
|
if i <= 0 {
|
|
return s
|
|
}
|
|
mantissa, expPart := s[:i], s[i+1:]
|
|
neg := strings.HasPrefix(mantissa, "-")
|
|
if neg {
|
|
mantissa = mantissa[1:]
|
|
}
|
|
if strings.HasPrefix(expPart, "-") {
|
|
return s // 负指数非整数形态,原样
|
|
}
|
|
exp, err := strconv.Atoi(strings.TrimPrefix(expPart, "+"))
|
|
if err != nil {
|
|
return s
|
|
}
|
|
intPart, fracPart := mantissa, ""
|
|
if j := strings.IndexByte(mantissa, '.'); j >= 0 {
|
|
intPart, fracPart = mantissa[:j], mantissa[j+1:]
|
|
}
|
|
if intPart == "" || !allDigits(intPart) || !allDigits(fracPart) {
|
|
return s
|
|
}
|
|
digits := intPart + fracPart
|
|
switch {
|
|
case exp >= len(fracPart):
|
|
digits += strings.Repeat("0", exp-len(fracPart))
|
|
default: // 指数小于小数位(非整数,手机号场景防御)
|
|
cut := len(intPart) + exp
|
|
digits = digits[:cut] + "." + digits[cut:]
|
|
}
|
|
if neg {
|
|
return "-" + digits
|
|
}
|
|
return digits
|
|
}
|
|
|
|
func allDigits(s string) bool {
|
|
for _, r := range s {
|
|
if r < '0' || r > '9' {
|
|
return false
|
|
}
|
|
}
|
|
return true
|
|
}
|