問題描述

目前公司使用HDFS存儲(chǔ)各個(gè)節(jié)點(diǎn)服務(wù)器上傳的日志。因?yàn)闅v史遺留問題，所以日志比較混雜。就是各種數(shù)據(jù)都會(huì)存入日志中。一個(gè)日志文件200mb左右。有時(shí)候要過濾一些內(nèi)容，則需要根據(jù)時(shí)間戳，然后使用hdfs 的cat命令，之后再grep關(guān)鍵字。再通過stdin輸入到一個(gè)python腳本中，把相關(guān)的數(shù)據(jù)做一些處理。現(xiàn)在我想把他做成輸入要查詢的時(shí)間、節(jié)點(diǎn)、關(guān)鍵字以及匹配模型，然后一條龍完成這個(gè)任務(wù)。這樣就可以把這個(gè)小工具推向所有需求數(shù)據(jù)的人，而不是每次讓運(yùn)維來查詢。于是開始研究python的相關(guān)模塊，這個(gè)hdfs可以上傳下載，查詢目錄文件內(nèi)容。但是到讀這塊，就比較麻煩了。with client.read(hdfs_path=.....,其他參數(shù))as reader:

content = reader.read()然后再對content處理

這種方式并不可行，因?yàn)橐淮我ヅ涞膬?nèi)容實(shí)在太多，大概有幾gb的數(shù)據(jù)，根本不可能全部讀出來然后再做處理。肯定得在讀的過程就進(jìn)行篩選和處理

我嘗試了for line in content,也匹配不出內(nèi)容。應(yīng)該如何解決這個(gè)問題呢？難道用python把符合條件的文件路徑記錄下來，然后再執(zhí)行HDFS命令，再把匹配的數(shù)據(jù)傳入python？那樣也顯得太麻煩了，而且穩(wěn)定性肯定不好

后來我看了一下，hdfs這個(gè)模塊，創(chuàng)建客戶端的時(shí)候，連的是hadoop 50070這個(gè)web管理頁面，想了下是不是這個(gè)模塊本身就不是為了做數(shù)據(jù)分析用的？希望各位能給點(diǎn)幫助

問題解答

多線程呢，并行計(jì)算呢？你這樣一次性讀幾個(gè)Gb自然慢。既然是hadoop框架，用好mapreduce應(yīng)該就行了吧。這玩意應(yīng)該就不是為了快速而設(shè)計(jì)的。