文章詳情頁
java - hadoop數(shù)據(jù)查找
瀏覽：151日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應(yīng)的那一行，每條數(shù)據(jù)都不重復(fù)，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結(jié)果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數(shù)據(jù)導(dǎo)入到hive中，用sql 來解決
標簽：
java
相關(guān)文章：
1. sql語句 - mysql中關(guān)聯(lián)表查詢問題2. css - chrome下a標簽嵌套img 顯示會多個小箭頭?3. javascript - 求解答：實例對象調(diào)用constructor，此時constructor內(nèi)的this的指向？4. javascript - iframe 為什么加載網(wǎng)頁的時候滾動條這樣顯示？5. javascript - 如何將一個div始終固定在某個位置；無論屏幕和分辨率怎么變化；div位置始終不變6. javascript - vscode alt+shift+f 格式化js代碼，通不過eslint的代碼風(fēng)格檢查怎么辦。。。7. javascript - 有什么比較好的網(wǎng)頁版shell前端組件？8. html - vue項目中用到了elementUI問題9. mysql updtae追加數(shù)據(jù)sql語句10. javascript - 原生canvas中如何獲取到觸摸事件的canvas內(nèi)坐標?
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備