問(wèn)題描述

大家好。小弟目前需要一個(gè)速度較好，且支持大數(shù)據(jù)量的數(shù)據(jù)庫(kù)導(dǎo)出至excel（xlsx）的方案小弟的機(jī)器配置不高，4核的CPU，可用內(nèi)存在8G左右（不過(guò)是虛擬機(jī)，可能性能實(shí)際還要低一點(diǎn)）小弟之前嘗試過(guò)以下幾種方案openpyxl：大數(shù)據(jù)量情況下經(jīng)常會(huì)吃光內(nèi)存。實(shí)驗(yàn)生成100W條/每條6個(gè)字段的數(shù)據(jù)，經(jīng)常會(huì)把小弟這8G內(nèi)存吃滿。生成excel時(shí)間大概在10分鐘~11分鐘左右pyexcel_xlsx：貌似這部分引用的還是openpyxl的東東…不過(guò)貌似有一定的優(yōu)化，生成生成100W條/每條6個(gè)字段的數(shù)據(jù)，消耗內(nèi)存近3G，時(shí)間在8分半左右

這兩個(gè)方案效率都非常低，而且小弟目前都沒(méi)有找到中途將內(nèi)存寫(xiě)入文件的方法…

請(qǐng)各位大大指點(diǎn)，是否還有其他的方案，最好是能夠控制單次寫(xiě)入條數(shù)，例如每寫(xiě)入5W條，進(jìn)行一次提交，將內(nèi)存的東東寫(xiě)在文件中并釋放內(nèi)存，再繼續(xù)寫(xiě)入這樣的。（這樣也許可以考慮配合多線程來(lái)進(jìn)行并行寫(xiě)入，加快效率…）謝謝各位了

問(wèn)題解答

pandas有分塊讀取的功能，關(guān)鍵詞chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文檔：http://pandas.pydata.org/pand...