使用CSV格式化数据
最后更新于：2022-04-02 06:46:55
## 使用CSV格式化数据
CSV是操作数据的常用格式。将CSV文件导入或导出到Excel中亦是很常见的操作。Go的CSV包提供了数据操作接口，因此可以轻松地将数据写入缓冲区，标准输出，文件或socket。本节将展示将数据导入和导出CSV格式的一些常用方法。
### 实践
1. 建立read_csv.go：
```
package csvformat
import (
"bytes"
"encoding/csv"
"fmt"
"io"
"strconv"
)
// Movie用来存储CSV解析后的内容
type Movie struct {
Title string
Director string
Year int
}
// ReadCSV 展示了如何处理CSV
// 接收的参数通过io.Reader传入
func ReadCSV(b io.Reader) ([]Movie, error) {
//返回的是csv.Reader
r := csv.NewReader(b)
// 分隔符和注释是csv.Reader结构体中的字段
r.Comma = ';'
r.Comment = '-'
var movies []Movie
// 读取并返回一个字符串切片和错误信息
// 我们也可以将其用于字典键或其他形式的查找
// 此处忽略了返回的切片 目的是跳过csv首行标题
_, err := r.Read()
if err != nil && err != io.EOF {
return nil, err
}
// 循环直到全部处理完毕
for {
record, err := r.Read()
if err == io.EOF {
break
} else if err != nil {
return nil, err
}
year, err := strconv.ParseInt(record[2], 10, 64)
if err != nil {
return nil, err
}
m := Movie{record[0], record[1], int(year)}
movies = append(movies, m)
}
return movies, nil
}
// AddMoviesFromText 将字符串按 CSV 格式解析
func AddMoviesFromText() error {
in := `
- first our headers
movie title;director;year released
- then some data
Guardians of the Galaxy Vol. 2;James Gunn;2017
Star Wars: Episode VIII;Rian Johnson;2017
`
b := bytes.NewBufferString(in)
m, err := ReadCSV(b)
if err != nil {
return err
}
fmt.Printf("%#v\n", m)
return nil
}
```
2. 建立 write_csv.go：
```
package csvformat
import (
"bytes"
"encoding/csv"
"io"
"os"
)
// 结构体Book有Author和Title两个字段
type Book struct {
Author string
Title string
}
// Books是Book的切片类型
type Books []Book
// ToCSV将Books写入传进来的 io.Writer
// 返回任何可能发生的错误
func (books *Books) ToCSV(w io.Writer) error {
n := csv.NewWriter(w)
err := n.Write([]string{"Author", "Title"})
if err != nil {
return err
}
for _, book := range *books {
err := n.Write([]string{book.Author, book.Title})
if err != nil {
return err
}
}
n.Flush()
return n.Error()
}
// WriteCSVOutput 初始化Books并调用ToCSV
// 并写入到标准输出
func WriteCSVOutput() error {
b := Books{
Book{
Author: "F Scott Fitzgerald",
Title: "The Great Gatsby",
},
Book{
Author: "J D Salinger",
Title: "The Catcher in the Rye",
},
}
return b.ToCSV(os.Stdout)
}
// WriteCSVBuffer 初始化Books并调用ToCSV
// 并写入到bytes.Buffers
func WriteCSVBuffer() (*bytes.Buffer, error) {
b := Books{
Book{
Author: "F Scott Fitzgerald",
Title: "The Great Gatsby",
},
Book{
Author: "J D Salinger",
Title: "The Catcher in the Rye",
},
}
w := &bytes.Buffer{}
err := b.ToCSV(w)
return w, err
}
```
3. 建立main.go：
```
import (
"fmt"
"github.com/agtorre/go-cookbook/chapter1/csvformat"
)
func main() {
if err := csvformat.AddMoviesFromText(); err != nil {
panic(err)
}
if err := csvformat.WriteCSVOutput(); err != nil {
panic(err)
}
buffer, err := csvformat.WriteCSVBuffer()
if err != nil {
panic(err)
}
fmt.Println("Buffer = ", buffer.String())
}
```
4. 运行main.go，这会输出：
```
[]csvformat.Movie{csvformat.Movie{Title:"Guardians of the Galaxy Vol. 2", Director:"James Gunn", Year:2017}, csvformat.Movie{Title:"Star Wars: Episode VIII", Director:"Rian Johnson", Year:2017}}
Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye
Buffer = Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye
```
### 说明
为了探索CSV格式操作，我们首先将数据表示为结构。在Go中将数据格式化为结构非常有用，这会使目标封装和编码等变得相对简单。 我们的示例中使用自定义的Movie结构。它所属的函数接收io.Reader接口作为参数以使CSV数据输入时更加灵活——文件或缓冲区都可以输入进来。接下来，我们使用传入的数据来创建并填充Movie结构，我们还向CSV解析器添加了 ; 作为分隔符 - 作为注释行。
接下来，我们以类似的方式探索CSV格式的写入操作，我们初始化一系列Books，然后将CSV格式的特定book写入io.Writer接口，同样的，目标可以是文件，标准输出或缓冲区。
CSV包是一个很棒的例子，它说明了为什么你需要考虑要将Go中的数据流视为实现通用接口。通过细微的调整，我们可以轻松更改数据的来源和目的地，同时不影响操作CSV数据，并且无需使用过多的内存或时间。例如，可以一次从一个数据流中读取一个记录，并以循环的形式将修改的格式写入单独的流。这样做不会占用大量内存或处理器。
稍后，在探索数据管道和工作池时，你将看到如何组合这些想法以及如何并行处理这些流。
* * * *
学识浅薄，错误在所难免。欢迎在群中就本书提出修改意见，以飨后来者，长风拜谢。
Golang中国（211938256）
beego实战（258969317）
Go实践（386056972）
';