問(wèn)題描述

1.當(dāng)查詢(xún)出來(lái)的記錄過(guò)萬(wàn)時(shí)，遍歷Rows的時(shí)間過(guò)長(zhǎng)，達(dá)到1分鐘甚至更多

程序代碼：

rows, err := p.conn.Query(sqlStr, params...)if err != nil { log.Println('mysql query error', err.Error()) return nil, err}log.Println('conn結(jié)束:', goutil.GetCurrentTime())//延時(shí)關(guān)閉Rowsdefer rows.Close()//獲取記錄列if columns, err := rows.Columns(); err != nil { return nil, err} else { //拼接記錄Map values := make([]sql.RawBytes, len(columns)) scans := make([]interface{}, len(columns)) for i := range values {scans[i] = &values[i] } //此處遍歷在3W記錄的時(shí)候，長(zhǎng)達(dá)1分鐘甚至更多 for rows.Next() {_ = rows.Scan(scans...)each := map[string]interface{}{}for i, col := range values { each[columns[i]] = string(col)}rowMaps = append(rowMaps, each) } return rowMaps, nil}

問(wèn)題解答

可以用創(chuàng)建多個(gè)goroutine 分段查詢(xún)數(shù)據(jù)。使用channl在線(xiàn)程中拿去查詢(xún)結(jié)構(gòu)進(jìn)行迭代。

這不是golang性能的問(wèn)題，其他編程語(yǔ)言也會(huì)類(lèi)似。一次性去拿三萬(wàn)條記錄本來(lái)就是個(gè)不合理的需求，應(yīng)該通過(guò)分頁(yè)來(lái)解決，一次只取幾十到幾百條。