Golang并发读取文件数据并写入数据库

2024-06-04 15:43| 来源: 网络整理| 查看: 265

Golang并发读取文件数据并写入数据库需求项目结构获取data目录下的文件按行读取文本数据数据类型定义并发读取文件将数据写入数据库完整main.go代码测试运行

需求

最近接到一个任务，要把一批文件中的十几万条JSON格式数据写入到Oracle数据库中，Oracle是企业级别的数据库向来以高性能著称，所以尽可能地利用这一特性。当时第一时间想到的就是用多线程并发读文件并操作数据库，而Golang是为并发而生的，用Golang进行并发编程非常方便，因此这里选用Golang并发读取文件并用Gorm操作数据库。然而Gorm官方并不支持Oraclc，所以要借助第三方驱动，之前写了篇文章来记录Gorm操作Oracle的踩坑，详见使用Gorm操作Oracle数据库踩坑

项目结构

data文件夹中包含数十个.out结尾的数据文件，model.go声明数据类型，main.go中编写并发逻辑和数据库操作代码

Golang自带的os库就可以对文件、目录进行各种丰富的操作，OpenFile函数第一个参数是目录的路径，第二个参数表示只读，第三个参数os.ModeDir表示以文件夹模式打开。ReadDir传入负数表示读取目录下所有文件信息，传入n表示读取前n个文件信息。最后将所有文件名保存到字符串数组并返回。

func loadFile(path string) []string { // 打开指定文件夹 f, err := os.OpenFile(path, os.O_RDONLY, os.ModeDir) if err != nil { log.Fatalln(err.Error()) os.Exit(0) } defer f.Close() // 读取目录下所有文件 fileInfo, _ := f.ReadDir(-1) files := make([]string, 0) for _, info := range fileInfo { files = append(files, info.Name()) } return files } 按行读取文本数据

这里使用bufio.Scanner来一行一行读取JSON格式的数据，bufio.Reader也能实现按行读取，但bufio.Scanner是go1.1后开发的模块操作起来更简单一点。

func readRecord(filename string) { log.Println(filename) f, err := os.Open(filename) if err != nil { log.Println(filename + " error") return } defer f.Close() scanner := bufio.NewScanner(f) for scanner.Scan() { line := scanner.Text() // line就是每行文本 // 对line进行处理 } } 数据类型定义

还是假设数据库中有一个SHOPS表，结构体方法TableName指定该类型对应的数据表，编写如下model.go文件

package mod

【本文地址】

公司简介

联系我们