鍍金池/ 問答/Python  數(shù)據(jù)庫/ 70w+數(shù)據(jù)如何處理。

70w+數(shù)據(jù)如何處理。

數(shù)據(jù)結(jié)構(gòu)如下:最多4級。有70w+ 數(shù)據(jù),現(xiàn)在想查詢并進(jìn)行分類處理。按城市區(qū)域劃分等級。我的想法是想一次性查出來,進(jìn)行遞歸處理。但是現(xiàn)在出現(xiàn)問題。我用mongoose find會超時;請問如何處理這些數(shù)據(jù)達(dá)到我想要的。

{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355e"),
    "id" : 1,
    "parent_id" : 0,
    "level" : 0,
    "area_code" : NumberLong(110000000000),
    "zip_code" : 0,
    "city_code" : "",
    "name" : "北京市",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355f"),
    "id" : 2,
    "parent_id" : 1,
    "level" : 1,
    "area_code" : NumberLong(110100000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "直轄區(qū)",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73560"),
    "id" : 3,
    "parent_id" : 2,
    "level" : 2,
    "area_code" : NumberLong(110101000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "東城區(qū)",
    "short_name" : "東城",
    "merger_name" : "北京,東城",
    "pinyin" : "DongCheng",
    "lng" : 116.416357,
    "lat" : 39.928353
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73561"),
    "id" : 4,
    "parent_id" : 3,
    "level" : 3,
    "area_code" : NumberLong(110101001000),
    "zip_code" : 100006,
    "city_code" : 10,
    "name" : "東華門街道辦事處",
    "short_name" : "東華門",
    "merger_name" : "北京,東城,東華門",
    "pinyin" : "DongHuaMen",
    "lng" : 116.406708,
    "lat" : 39.914219
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73562"),
    "id" : 5,
    "parent_id" : 4,
    "level" : 4,
    "area_code" : NumberLong(110101001001),
    "zip_code" : 100010,
    "city_code" : 10,
    "name" : "多福巷社區(qū)居委會",
    "short_name" : "多福巷",
    "merger_name" : "北京,東城,東華門,多福巷",
    "pinyin" : "DuoFuXiang",
    "lng" : 116.412747,
    "lat" : 39.923014
}
回答
編輯回答
選擇

為什么不每次只取最后一條,分類了好就刪了或做個標(biāo)識,然后while.

2018年6月15日 19:54
編輯回答
我以為

無論哪個數(shù)據(jù)庫對于數(shù)據(jù)操作的態(tài)度是一樣的,盡可能只取你需要的部分。除了是做報表或數(shù)據(jù)導(dǎo)出,很少是真的需要這么多數(shù)據(jù),所以第一個問題是你是不是真的需要70w數(shù)據(jù)(因為沒說說明是在做什么,我只是根據(jù)經(jīng)驗推測??赡艿脑捳埥忉屢幌逻@些數(shù)據(jù)的具體作用是什么)?
對于超時,不知道find的條件是什么,數(shù)據(jù)總量有多少,索引是否合適,所以也不好說問題在哪里,可能在數(shù)據(jù)庫,也可能是你的應(yīng)用處理不過來。
最后說說數(shù)據(jù)本身的問題。從數(shù)據(jù)看,你要做的大概是把這些數(shù)據(jù)拼成一個樹狀圖。不過我不知道你拼好之后打算怎么用。比如

  1. 知道北京,東城查出下面所有的街道(從上往下);
  2. 知道多福巷查出街道、區(qū)、市(從下往上);

2沒什么好說的,根據(jù)多福巷直接可以找到前面幾級。比較麻煩的是1。但是數(shù)據(jù)庫的設(shè)計者其實已經(jīng)為你想好了,你們可以先溝通一下。還是上面1的例子:

db.<collection>.find({merger_name: /^北京,東城/})

即可查出東華門多福巷。這個查詢可以命中索引

db.<collection>.createIndex({merger_name: 1})

如果上面的猜測不對,還請你再說明一下更具體的需求。

2018年1月8日 03:42