栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Go语言

第006节:bufio包

Go语言 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

生命不止,继续Go go go。。

Go语言在io操作中,还提供了一个bufio的包,使用这个包可以大幅提高文件读写的效率。

一、bufio包原理

bufio 是通过缓冲来提高效率。

io操作本身的效率并不低,低的是频繁的访问本地磁盘的文件。所以bufio就提供了缓冲区(分配一块内存),读和写都先在缓冲区中,最后再读写文件,来降低访问本地磁盘的次数,从而提高效率。

简单的说就是,把文件读取进缓冲(内存)之后再读取的时候就可以避免文件系统的io 从而提高速度。同理,在进行写操作时,先把文件写入缓冲(内存),然后由缓冲写入文件系统。看完以上解释有人可能会表示困惑了,直接把 内容->文件 和 内容->缓冲->文件相比, 缓冲区好像没有起到作用嘛。其实缓冲区的设计是为了存储多次的写入,最后一口气把缓冲区内容写入文件。


WX20190704-113648

bufio 封装了io.Reader或io.Writer接口对象,并创建另一个也实现了该接口的对象。

io.Reader或io.Writer 接口实现read() 和 write() 方法,对于实现这个接口的对象都是可以使用这两个方法的。

Reader对象

bufio.Reader 是bufio中对io.Reader 的封装

// Reader implements buffering for an io.Reader object.type Reader struct {    buf          []byte    rd           io.Reader // reader provided by the client    r, w         int       // buf read and write positions    err          error    lastByte     int // last byte read for UnreadByte; -1 means invalid    lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid}

bufio.Read(p []byte) 相当于读取大小len(p)的内容,思路如下:

    当缓存区有内容的时,将缓存区内容全部填入p并清空缓存区当缓存区没有内容的时候且len(p)>len(buf),即要读取的内容比缓存区还要大,直接去文件读取即可当缓存区没有内容的时候且len(p)

    源码:

    // Read reads data into p.// It returns the number of bytes read into p.// The bytes are taken from at most one Read on the underlying Reader,// hence n may be less than len(p).// To read exactly len(p) bytes, use io.ReadFull(b, p).// At EOF, the count will be zero and err will be io.EOF.func (b *Reader) Read(p []byte) (n int, err error) {    n = len(p)    if n == 0 {        return 0, b.readErr()    }    if b.r == b.w {        if b.err != nil {            return 0, b.readErr()        }        if len(p) >= len(b.buf) {            // Large read, empty buffer.            // Read directly into p to avoid copy.            n, b.err = b.rd.Read(p)            if n < 0 {                panic(errNegativeRead)            }            if n > 0 {                b.lastByte = int(p[n-1])                b.lastRuneSize = -1            }            return n, b.readErr()        }        // One read.        // Do not use b.fill, which will loop.        b.r = 0        b.w = 0        n, b.err = b.rd.Read(b.buf)        if n < 0 {            panic(errNegativeRead)        }        if n == 0 {            return 0, b.readErr()        }        b.w += n    }    // copy as much as we can    n = copy(p, b.buf[b.r:b.w])    b.r += n    b.lastByte = int(b.buf[b.r-1])    b.lastRuneSize = -1    return n, nil}

    说明:

    reader内部通过维护一个r, w 即读入和写入的位置索引来判断是否缓存区内容被全部读出。

    Writer对象

    bufio.Writer 是bufio中对io.Writer 的封装

    // Writer implements buffering for an io.Writer object.// If an error occurs writing to a Writer, no more data will be// accepted and all subsequent writes, and Flush, will return the error.// After all data has been written, the client should call the// Flush method to guarantee all data has been forwarded to// the underlying io.Writer.type Writer struct {    err error    buf []byte    n   int    wr  io.Writer}

    bufio.Write(p []byte) 的思路如下

      判断buf中可用容量是否可以放下 p如果能放下,直接把p拼接到buf后面,即把内容放到缓冲区如果缓冲区的可用容量不足以放下,且此时缓冲区是空的,直接把p写入文件即可如果缓冲区的可用容量不足以放下,且此时缓冲区有内容,则用p把缓冲区填满,把缓冲区所有内容写入文件,并清空缓冲区判断p的剩余内容大小能否放到缓冲区,如果能放下(此时和步骤1情况一样)则把内容放到缓冲区如果p的剩余内容依旧大于缓冲区,(注意此时缓冲区是空的,情况和步骤3一样)则把p的剩余内容直接写入文件

    以下是源码

    // Write writes the contents of p into the buffer.// It returns the number of bytes written.// If nn < len(p), it also returns an error explaining// why the write is short.func (b *Writer) Write(p []byte) (nn int, err error) {    for len(p) > b.Available() && b.err == nil {        var n int        if b.Buffered() == 0 {            // Large write, empty buffer.            // Write directly from p to avoid copy.            n, b.err = b.wr.Write(p)        } else {            n = copy(b.buf[b.n:], p)            b.n += n            b.Flush()        }        nn += n        p = p[n:]    }    if b.err != nil {        return nn, b.err    }    n := copy(b.buf[b.n:], p)    b.n += n    nn += n    return nn, nil}

    说明:

    b.wr 存储的是一个io.writer对象,实现了Write()的接口,所以可以使用b.wr.Write(p) 将p的内容写入文件。

    b.flush() 会将缓存区内容写入文件,当所有写入完成后,因为缓存区会存储内容,所以需要手动flush()到文件。

    b.Available() 为buf可用容量,等于len(buf) - n。

    下图解释的是其中一种情况,即缓存区有内容,剩余p大于缓存区


    WX20190704-122357

    二、bufio包

    bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

    bufio.Reader:

    bufio.Reader 实现了如下接口:
    io.Reader
    io.WriterTo
    io.ByteScanner
    io.RuneScanner

    // NewReaderSize 将 rd 封装成一个带缓存的 bufio.Reader 对象,// 缓存大小由 size 指定(如果小于 16 则会被设置为 16)。// 如果 rd 的基类型就是有足够缓存的 bufio.Reader 类型,则直接将// rd 转换为基类型返回。func NewReaderSize(rd io.Reader, size int) *Reader// NewReader 相当于 NewReaderSize(rd, 4096)func NewReader(rd io.Reader) *Reader// Peek 返回缓存的一个切片,该切片引用缓存中前 n 个字节的数据,// 该操作不会将数据读出,只是引用,引用的数据在下一次读取操作之// 前是有效的。如果切片长度小于 n,则返回一个错误信息说明原因。// 如果 n 大于缓存的总大小,则返回 ErrBufferFull。func (b *Reader) Peek(n int) ([]byte, error)// Read 从 b 中读出数据到 p 中,返回读出的字节数和遇到的错误。// 如果缓存不为空,则只能读出缓存中的数据,不会从底层 io.Reader// 中提取数据,如果缓存为空,则:// 1、len(p) >= 缓存大小,则跳过缓存,直接从底层 io.Reader 中读// 出到 p 中。// 2、len(p) < 缓存大小,则先将数据从底层 io.Reader 中读取到缓存// 中,再从缓存读取到 p 中。func (b *Reader) Read(p []byte) (n int, err error)// Buffered 返回缓存中未读取的数据的长度。func (b *Reader) Buffered() int// ReadBytes 功能同 ReadSlice,只不过返回的是缓存的拷贝。func (b *Reader) ReadBytes(delim byte) (line []byte, err error)// ReadString 功能同 ReadBytes,只不过返回的是字符串。func (b *Reader) ReadString(delim byte) (line string, err error)...

    bufio.Writer:

    bufio.Writer 实现了如下接口:
    io.Writer
    io.ReaderFrom
    io.ByteWriter

    // NewWriterSize 将 wr 封装成一个带缓存的 bufio.Writer 对象,// 缓存大小由 size 指定(如果小于 4096 则会被设置为 4096)。// 如果 wr 的基类型就是有足够缓存的 bufio.Writer 类型,则直接将// wr 转换为基类型返回。func NewWriterSize(wr io.Writer, size int) *Writer// NewWriter 相当于 NewWriterSize(wr, 4096)func NewWriter(wr io.Writer) *Writer// WriteString 功能同 Write,只不过写入的是字符串func (b *Writer) WriteString(s string) (int, error)// WriteRune 向 b 写入 r 的 UTF-8 编码,返回 r 的编码长度。func (b *Writer) WriteRune(r rune) (size int, err error)// Flush 将缓存中的数据提交到底层的 io.Writer 中func (b *Writer) Flush() error// Available 返回缓存中未使用的空间的长度func (b *Writer) Available() int// Buffered 返回缓存中未提交的数据的长度func (b *Writer) Buffered() int// Reset 将 b 的底层 Writer 重新指定为 w,同时丢弃缓存中的所有数据,复位// 所有标记和错误信息。相当于创建了一个新的 bufio.Writer。func (b *Writer) Reset(w io.Writer)...

    三、实例代码

    读取数据:

    package mainimport (    "os"    "fmt"    "bufio")func main() {         fileName:="/Users/ruby/documents/pro/a/english.txt"     file,err := os.Open(fileName)     if err != nil{        fmt.Println(err)        return     }     defer file.Close()     //创建Reader对象     //b1 := bufio.NewReader(file)     //1.Read(),高效读取     //p := make([]byte,1024)     //n1,err := b1.Read(p)     //fmt.Println(n1)     //fmt.Println(string(p[:n1]))     //2.ReadLine()     //data,flag,err := b1.ReadLine()     //fmt.Println(flag)     //fmt.Println(err)     //fmt.Println(data)     //fmt.Println(string(data))     //3.ReadString()    // s1,err :=b1.ReadString('n')    // fmt.Println(err)    // fmt.Println(s1)    //    // s1,err = b1.ReadString('n')    // fmt.Println(err)    // fmt.Println(s1)    //    //s1,err = b1.ReadString('n')    //fmt.Println(err)    //fmt.Println(s1)    //    //for{    //  s1,err := b1.ReadString('n')    //  if err == io.EOF{    //      fmt.Println("读取完毕。。")    //      break    //  }    //  fmt.Println(s1)    //}    //4.ReadBytes()    //data,err :=b1.ReadBytes('n')    //fmt.Println(err)    //fmt.Println(string(data))    //Scanner    //s2 := ""    //fmt.Scanln(&s2)    //fmt.Println(s2)    b2 := bufio.NewReader(os.Stdin)    s2, _ := b2.ReadString('n')    fmt.Println(s2)}

    本地文件:english.txt文件内容:


    WX20190704-172759

    写数据示例代码:

    package mainimport (    "os"    "fmt"    "bufio")func main() {         fileName := "/Users/ruby/documents/pro/a/cc.txt"     file,err := os.OpenFile(fileName,os.O_CREATE|os.O_WRONLY,os.ModePerm)     if err != nil{        fmt.Println(err)        return     }     defer file.Close()     w1 := bufio.NewWriter(file)     //n,err := w1.WriteString("helloworld")     //fmt.Println(err)     //fmt.Println(n)     //w1.Flush() //刷新缓冲区     for i:=1;i<=1000;i++{        w1.WriteString(fmt.Sprintf("%d:hello",i))     }     w1.Flush()}
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/793658.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号