国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Golang > 正文

詳解golang中bufio包的實現原理

2020-04-01 18:59:48
字體:
來源:轉載
供稿:網友

最近用golang/260751.html">golang寫了一個處理文件的腳本,由于其中涉及到了文件讀寫,開始使用golang中的 io 包,后來發現golang 中提供了一個bufio的包,使用這個包可以大幅提高文件讀寫的效率,于是在網上搜索同樣的文件讀寫為什么bufio 要比io的讀寫更快速呢?根據網上的資料和閱讀源碼,以下來詳細解釋下bufio的高效如何實現的。

bufio 包介紹 

bufio包實現了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象,創建另一個也實現了該接口,且同時還提供了緩沖和一些文本I/O的幫助函數的對象。

以上為官方包的介紹,在其中我們能了解到的信息如下:

bufio 是通過緩沖來提高效率

簡單的說就是,把文件讀取進緩沖(內存)之后再讀取的時候就可以避免文件系統的io 從而提高速度。同理,在進行寫操作時,先把文件寫入緩沖(內存),然后由緩沖寫入文件系統。看完以上解釋有人可能會表示困惑了,直接把 內容->文件 和 內容->緩沖->文件相比, 緩沖區好像沒有起到作用嘛。其實緩沖區的設計是為了存儲多次的寫入,最后一口氣把緩沖區內容寫入文件。下面會詳細解釋

bufio 封裝了io.Reader或io.Writer接口對象,并創建另一個也實現了該接口的對象

io.Reader或io.Writer 接口實現read() 和 write() 方法,對于實現這個接口的對象都是可以使用這兩個方法的

bufio 包實現原理

golang,bufio包,bufio

bufio 源碼分析

Reader對象

bufio.Reader 是bufio中對io.Reader 的封裝

// Reader implements buffering for an io.Reader object.type Reader struct {  buf     []byte  rd      io.Reader // reader provided by the client  r, w     int    // buf read and write positions  err     error  lastByte   int  lastRuneSize int}

bufio.Read(p []byte) 相當于讀取大小len(p)的內容,思路如下:

  1. 當緩存區有內容的時,將緩存區內容全部填入p并清空緩存區
  2. 當緩存區沒有內容的時候且len(p)>len(buf),即要讀取的內容比緩存區還要大,直接去文件讀取即可
  3. 當緩存區沒有內容的時候且len(p)<len(buf),即要讀取的內容比緩存區小,緩存區從文件讀取內容充滿緩存區,并將p填滿(此時緩存區有剩余內容)
  4. 以后再次讀取時緩存區有內容,將緩存區內容全部填入p并清空緩存區(此時和情況1一樣)

以下是源碼

// Read reads data into p.// It returns the number of bytes read into p.// The bytes are taken from at most one Read on the underlying Reader,// hence n may be less than len(p).// At EOF, the count will be zero and err will be io.EOF.func (b *Reader) Read(p []byte) (n int, err error) {  n = len(p)  if n == 0 {    return 0, b.readErr()  }  if b.r == b.w {    if b.err != nil {      return 0, b.readErr()    }    if len(p) >= len(b.buf) {      // Large read, empty buffer.      // Read directly into p to avoid copy.      n, b.err = b.rd.Read(p)      if n < 0 {        panic(errNegativeRead)      }      if n > 0 {        b.lastByte = int(p[n-1])        b.lastRuneSize = -1      }      return n, b.readErr()    }    // One read.    // Do not use b.fill, which will loop.    b.r = 0    b.w = 0    n, b.err = b.rd.Read(b.buf)    if n < 0 {      panic(errNegativeRead)    }    if n == 0 {      return 0, b.readErr()    }    b.w += n  }  // copy as much as we can  n = copy(p, b.buf[b.r:b.w])  b.r += n  b.lastByte = int(b.buf[b.r-1])  b.lastRuneSize = -1  return n, nil}

說明:

reader內部通過維護一個r, w 即讀入和寫入的位置索引來判斷是否緩存區內容被全部讀出

Writer對象

bufio.Writer 是bufio中對io.Writer 的封裝

// Writer implements buffering for an io.Writer object.type Writer struct {  err error  buf []byte  n  int  wr io.Writer}

bufio.Write(p []byte) 的思路如下

  1. 判斷buf中可用容量是否可以放下 p
  2. 如果能放下,直接把p拼接到buf后面,即把內容放到緩沖區
  3. 如果緩沖區的可用容量不足以放下,且此時緩沖區是空的,直接把p寫入文件即可
  4. 如果緩沖區的可用容量不足以放下,且此時緩沖區有內容,則用p把緩沖區填滿,把緩沖區所有內容寫入文件,并清空緩沖區
  5. 判斷p的剩余內容大小能否放到緩沖區,如果能放下(此時和步驟1情況一樣)則把內容放到緩沖區
  6. 如果p的剩余內容依舊大于緩沖區,(注意此時緩沖區是空的,情況和步驟2一樣)則把p的剩余內容直接寫入文件

以下是源碼

// Write writes the contents of p into the buffer.// It returns the number of bytes written.// If nn < len(p), it also returns an error explaining// why the write is short.func (b *Writer) Write(p []byte) (nn int, err error) {  for len(p) > b.Available() && b.err == nil {    var n int    if b.Buffered() == 0 {      // Large write, empty buffer.      // Write directly from p to avoid copy.      n, b.err = b.wr.Write(p)    } else {      n = copy(b.buf[b.n:], p)      b.n += n      b.flush()    }    nn += n    p = p[n:]  }  if b.err != nil {    return nn, b.err  }  n := copy(b.buf[b.n:], p)  b.n += n  nn += n  return nn, nil}

說明:

b.wr 存儲的是一個io.writer對象,實現了Write()的接口,所以可以使用b.wr.Write(p) 將p的內容寫入文件

b.flush() 會將緩存區內容寫入文件,當所有寫入完成后,因為緩存區會存儲內容,所以需要手動flush()到文件

b.Available() 為buf可用容量,等于len(buf) - n

下圖解釋的是其中一種情況,即緩存區有內容,剩余p大于緩存區

golang,bufio包,bufio

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持VEVB武林網。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 昌图县| 永寿县| 颍上县| 陆河县| 琼结县| 大渡口区| 辽阳县| 阿克苏市| 林甸县| 周宁县| 阿图什市| 永济市| 玉林市| 富平县| 温宿县| 秦安县| 读书| 宽甸| 托克逊县| 黔西县| 北流市| 舒兰市| 定边县| 嫩江县| 墨竹工卡县| 恩平市| 霍林郭勒市| 聂荣县| 赣榆县| 宁陵县| 同德县| 德清县| 沈阳市| 恩施市| 米泉市| 万山特区| 喀什市| 阳春市| 固原市| 肥城市| 林芝县|