国产成人精品亚洲777人妖,欧美日韩精品一区视频,最新亚洲国产,国产乱码精品一区二区亚洲

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

redis - 如何給輕量python程序、腳本制作緩存?

瀏覽:109日期:2022-06-30 14:23:37

問(wèn)題描述

運(yùn)維菜鳥(niǎo),最近在做公司日志進(jìn)行簡(jiǎn)單處理之后,按一定數(shù)量加入一個(gè)list,然后使用ES的接口將數(shù)據(jù)批量添加到另外一臺(tái)ElasticSearch上,再通過(guò)一些方式進(jìn)行展示。這里遇到一個(gè)問(wèn)題,如果數(shù)據(jù)插入時(shí),發(fā)生異常。比如要插入的es主機(jī)崩潰等,但是數(shù)據(jù)源沒(méi)有問(wèn)題。這樣就應(yīng)該把已經(jīng)處理完的數(shù)據(jù)移到緩存中,然后停止程序。(數(shù)據(jù)源是kafka,即便停止了程序,重新啟動(dòng)后仍可以消費(fèi)之前沒(méi)有消費(fèi)的)那么想問(wèn)一下,對(duì)于比較輕量的python程序或者腳本,應(yīng)該使用怎樣的方式存儲(chǔ)這些異常狀況發(fā)生時(shí)要先存儲(chǔ)下來(lái)的數(shù)據(jù)呢?

問(wèn)題解答

回答1:

可以在es異常時(shí), py腳本捕獲到異常后, 使用cPickle或者pickle 將處理好的數(shù)據(jù)序列化后保存到一個(gè)文件上(你可以理解成寫(xiě)入一個(gè)文件, 不同在于cPickle和pickle能夠?qū)⒆值浠蛘吡斜磉@樣的對(duì)象直接寫(xiě)入文件), 然后等你es恢復(fù)了, 重新啟動(dòng)該py腳本, 那么該腳本優(yōu)先去檢測(cè)是否存在這個(gè)臨時(shí)文件, 如果有, 并非空, 則把里面的數(shù)據(jù)取出, 寫(xiě)入es

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 济南市| 灵台县| 拉孜县| 电白县| 久治县| 新和县| 太和县| 扬中市| 大石桥市| 中方县| 屏东县| 关岭| 罗平县| 洛阳市| 威信县| 镇安县| 信丰县| 青阳县| 惠来县| 临夏县| 岫岩| 额尔古纳市| 南昌市| 元阳县| 故城县| 新绛县| 镇雄县| 万全县| 乐亭县| 宁河县| 桃园市| 曲松县| 松阳县| 东阿县| 临城县| 蒙山县| 讷河市| 崇阳县| 泰来县| 栾川县| 志丹县|