php 問(wèn)題，關(guān)于大量數(shù)據(jù)問(wèn)題。如何快速處理大批量數(shù)據(jù)

在項(xiàng)目中需要通過(guò)采集 api 數(shù)據(jù)，其中每個(gè) api 都會(huì)有大量數(shù)據(jù)返回。目前情況是 一百三十多個(gè) api ，每個(gè) api 的數(shù)據(jù)量在 1w 字符 到 10w 字符不等。獲取到之后需要進(jìn)行處理，判斷是否是需要的（一般只需要它更新后的內(nèi)容，之前有的寫(xiě)入數(shù)據(jù)庫(kù)的可以不需要），然后進(jìn)行保存數(shù)據(jù)，并做緩存處理。但在這個(gè)過(guò)程中，大概要做的處理操作次數(shù)為 130 * 150 ，19500+ 次。而且還需要做些其它操作。這樣就導(dǎo)致了大量時(shí)間消耗，而在這個(gè)項(xiàng)目中需求的是一個(gè)快速的處理數(shù)據(jù)，保證數(shù)據(jù)的一個(gè)即時(shí)性。
這還只是在采集數(shù)據(jù)的一個(gè)問(wèn)題，而在需要數(shù)據(jù)展示的時(shí)候還要對(duì)這批數(shù)據(jù)進(jìn)行快速處理以供使用，所以現(xiàn)在對(duì)代碼優(yōu)化，數(shù)據(jù)處理方面的好方法。希望能給提供建議。python 也可以。