問(wèn)題描述

celery中,我做這樣的處理:一個(gè)url經(jīng)過(guò)a, b, c三個(gè)的函數(shù),分別獲得返回值,其中任意函數(shù)結(jié)果均與任意其他函數(shù)結(jié)果不相關(guān),然后匯總起來(lái),交給之后的流程.這樣,我自然想到并行運(yùn)行三個(gè)函數(shù)來(lái)加快處理速度.然而由于一開(kāi)始的設(shè)計(jì)問(wèn)題, a函數(shù)式被設(shè)計(jì)成了一次可以處理多個(gè)url的形式,而一個(gè)一個(gè)的處理會(huì)非常慢.

@celery.taskdef a(url_list): ’...do something...’ for url in url_list:b.delay(url)

我嘗試這樣控制,然而任務(wù)似乎并不能嵌套.那么,如何設(shè)計(jì)可以比較好的滿(mǎn)足我這種比較奇怪的流程和要求呢?

問(wèn)題解答

應(yīng)該把a(bǔ);b;c拆開(kāi)，寫(xiě)成3個(gè)task, 同時(shí)數(shù)據(jù)庫(kù)里要保存一個(gè)狀態(tài)值，用來(lái)表示3個(gè)任務(wù)的執(zhí)行狀態(tài)，一個(gè)任務(wù)執(zhí)行完成后，就修改狀態(tài)值，并檢查其他2個(gè)任務(wù)是否完成，如果都完成了，就匯總?cè)蝿?wù)結(jié)果，再處理。

@xiaoboost 手工維護(hù)狀態(tài)可行，但有點(diǎn)費(fèi)事。

Celery 是可以設(shè)計(jì)執(zhí)行流程的，參考文檔:Designing Work-flows題主的需求可以用 chords 搞定，在 celery task 里返回值就行。

BTW: 注意一下 Celery 配置中與返回值相關(guān)的幾個(gè)選項(xiàng)，比如這個(gè) task_ignore_result