使用CSV格式化数据

最后更新于:2022-04-02 06:46:55

## 使用CSV格式化数据 CSV是操作数据的常用格式。将CSV文件导入或导出到Excel中亦是很常见的操作。Go的CSV包提供了数据操作接口,因此可以轻松地将数据写入缓冲区,标准输出,文件或socket。本节将展示将数据导入和导出CSV格式的一些常用方法。 ### 实践 1. 建立read_csv.go: ``` package csvformat import ( "bytes" "encoding/csv" "fmt" "io" "strconv" ) // Movie用来存储CSV解析后的内容 type Movie struct { Title string Director string Year int } // ReadCSV 展示了如何处理CSV // 接收的参数通过io.Reader传入 func ReadCSV(b io.Reader) ([]Movie, error) { //返回的是csv.Reader r := csv.NewReader(b) // 分隔符和注释是csv.Reader结构体中的字段 r.Comma = ';' r.Comment = '-' var movies []Movie // 读取并返回一个字符串切片和错误信息 // 我们也可以将其用于字典键或其他形式的查找 // 此处忽略了返回的切片 目的是跳过csv首行标题 _, err := r.Read() if err != nil && err != io.EOF { return nil, err } // 循环直到全部处理完毕 for { record, err := r.Read() if err == io.EOF { break } else if err != nil { return nil, err } year, err := strconv.ParseInt(record[2], 10, 64) if err != nil { return nil, err } m := Movie{record[0], record[1], int(year)} movies = append(movies, m) } return movies, nil } // AddMoviesFromText 将字符串按 CSV 格式解析 func AddMoviesFromText() error { in := ` - first our headers movie title;director;year released - then some data Guardians of the Galaxy Vol. 2;James Gunn;2017 Star Wars: Episode VIII;Rian Johnson;2017 ` b := bytes.NewBufferString(in) m, err := ReadCSV(b) if err != nil { return err } fmt.Printf("%#v\n", m) return nil } ``` 2. 建立 write_csv.go: ``` package csvformat import ( "bytes" "encoding/csv" "io" "os" ) // 结构体Book有Author和Title两个字段 type Book struct { Author string Title string } // Books是Book的切片类型 type Books []Book // ToCSV将Books写入传进来的 io.Writer // 返回任何可能发生的错误 func (books *Books) ToCSV(w io.Writer) error { n := csv.NewWriter(w) err := n.Write([]string{"Author", "Title"}) if err != nil { return err } for _, book := range *books { err := n.Write([]string{book.Author, book.Title}) if err != nil { return err } } n.Flush() return n.Error() } // WriteCSVOutput 初始化Books并调用ToCSV // 并写入到标准输出 func WriteCSVOutput() error { b := Books{ Book{ Author: "F Scott Fitzgerald", Title: "The Great Gatsby", }, Book{ Author: "J D Salinger", Title: "The Catcher in the Rye", }, } return b.ToCSV(os.Stdout) } // WriteCSVBuffer 初始化Books并调用ToCSV // 并写入到bytes.Buffers func WriteCSVBuffer() (*bytes.Buffer, error) { b := Books{ Book{ Author: "F Scott Fitzgerald", Title: "The Great Gatsby", }, Book{ Author: "J D Salinger", Title: "The Catcher in the Rye", }, } w := &bytes.Buffer{} err := b.ToCSV(w) return w, err } ``` 3. 建立main.go: ``` import ( "fmt" "github.com/agtorre/go-cookbook/chapter1/csvformat" ) func main() { if err := csvformat.AddMoviesFromText(); err != nil { panic(err) } if err := csvformat.WriteCSVOutput(); err != nil { panic(err) } buffer, err := csvformat.WriteCSVBuffer() if err != nil { panic(err) } fmt.Println("Buffer = ", buffer.String()) } ``` 4. 运行main.go,这会输出: ``` []csvformat.Movie{csvformat.Movie{Title:"Guardians of the Galaxy Vol. 2", Director:"James Gunn", Year:2017}, csvformat.Movie{Title:"Star Wars: Episode VIII", Director:"Rian Johnson", Year:2017}} Author,Title F Scott Fitzgerald,The Great Gatsby J D Salinger,The Catcher in the Rye Buffer = Author,Title F Scott Fitzgerald,The Great Gatsby J D Salinger,The Catcher in the Rye ``` ### 说明 为了探索CSV格式操作,我们首先将数据表示为结构。在Go中将数据格式化为结构非常有用,这会使目标封装和编码等变得相对简单。 我们的示例中使用自定义的Movie结构。它所属的函数接收io.Reader接口作为参数以使CSV数据输入时更加灵活——文件或缓冲区都可以输入进来。接下来,我们使用传入的数据来创建并填充Movie结构,我们还向CSV解析器添加了 ; 作为分隔符 - 作为注释行。 接下来,我们以类似的方式探索CSV格式的写入操作,我们初始化一系列Books,然后将CSV格式的特定book写入io.Writer接口,同样的,目标可以是文件,标准输出或缓冲区。 CSV包是一个很棒的例子,它说明了为什么你需要考虑要将Go中的数据流视为实现通用接口。通过细微的调整,我们可以轻松更改数据的来源和目的地,同时不影响操作CSV数据,并且无需使用过多的内存或时间。例如,可以一次从一个数据流中读取一个记录,并以循环的形式将修改的格式写入单独的流。这样做不会占用大量内存或处理器。 稍后,在探索数据管道和工作池时,你将看到如何组合这些想法以及如何并行处理这些流。 * * * * 学识浅薄,错误在所难免。欢迎在群中就本书提出修改意见,以飨后来者,长风拜谢。 Golang中国(211938256) beego实战(258969317) Go实践(386056972)
';