數(shù)據(jù)結(jié)構(gòu)如下:最多4級。有70w+ 數(shù)據(jù),現(xiàn)在想查詢并進(jìn)行分類處理。按城市區(qū)域劃分等級。我的想法是想一次性查出來,進(jìn)行遞歸處理。但是現(xiàn)在出現(xiàn)問題。我用mongoose find
會超時;請問如何處理這些數(shù)據(jù)達(dá)到我想要的。
{
"_id" : ObjectId("59df0ea9c43b39bc29e7355e"),
"id" : 1,
"parent_id" : 0,
"level" : 0,
"area_code" : NumberLong(110000000000),
"zip_code" : 0,
"city_code" : "",
"name" : "北京市",
"short_name" : "北京",
"merger_name" : "北京",
"pinyin" : "BeiJing",
"lng" : 116.407526,
"lat" : 39.90403
}
{
"_id" : ObjectId("59df0ea9c43b39bc29e7355f"),
"id" : 2,
"parent_id" : 1,
"level" : 1,
"area_code" : NumberLong(110100000000),
"zip_code" : 100000,
"city_code" : 10,
"name" : "直轄區(qū)",
"short_name" : "北京",
"merger_name" : "北京",
"pinyin" : "BeiJing",
"lng" : 116.407526,
"lat" : 39.90403
}
{
"_id" : ObjectId("59df0ea9c43b39bc29e73560"),
"id" : 3,
"parent_id" : 2,
"level" : 2,
"area_code" : NumberLong(110101000000),
"zip_code" : 100000,
"city_code" : 10,
"name" : "東城區(qū)",
"short_name" : "東城",
"merger_name" : "北京,東城",
"pinyin" : "DongCheng",
"lng" : 116.416357,
"lat" : 39.928353
}
{
"_id" : ObjectId("59df0ea9c43b39bc29e73561"),
"id" : 4,
"parent_id" : 3,
"level" : 3,
"area_code" : NumberLong(110101001000),
"zip_code" : 100006,
"city_code" : 10,
"name" : "東華門街道辦事處",
"short_name" : "東華門",
"merger_name" : "北京,東城,東華門",
"pinyin" : "DongHuaMen",
"lng" : 116.406708,
"lat" : 39.914219
}
{
"_id" : ObjectId("59df0ea9c43b39bc29e73562"),
"id" : 5,
"parent_id" : 4,
"level" : 4,
"area_code" : NumberLong(110101001001),
"zip_code" : 100010,
"city_code" : 10,
"name" : "多福巷社區(qū)居委會",
"short_name" : "多福巷",
"merger_name" : "北京,東城,東華門,多福巷",
"pinyin" : "DuoFuXiang",
"lng" : 116.412747,
"lat" : 39.923014
}
無論哪個數(shù)據(jù)庫對于數(shù)據(jù)操作的態(tài)度是一樣的,盡可能只取你需要的部分。除了是做報表或數(shù)據(jù)導(dǎo)出,很少是真的需要這么多數(shù)據(jù),所以第一個問題是你是不是真的需要70w數(shù)據(jù)(因為沒說說明是在做什么,我只是根據(jù)經(jīng)驗推測??赡艿脑捳埥忉屢幌逻@些數(shù)據(jù)的具體作用是什么)?
對于超時,不知道find的條件是什么,數(shù)據(jù)總量有多少,索引是否合適,所以也不好說問題在哪里,可能在數(shù)據(jù)庫,也可能是你的應(yīng)用處理不過來。
最后說說數(shù)據(jù)本身的問題。從數(shù)據(jù)看,你要做的大概是把這些數(shù)據(jù)拼成一個樹狀圖。不過我不知道你拼好之后打算怎么用。比如
北京,東城
查出下面所有的街道(從上往下);多福巷
查出街道、區(qū)、市(從下往上);2沒什么好說的,根據(jù)多福巷
直接可以找到前面幾級。比較麻煩的是1。但是數(shù)據(jù)庫的設(shè)計者其實已經(jīng)為你想好了,你們可以先溝通一下。還是上面1的例子:
db.<collection>.find({merger_name: /^北京,東城/})
即可查出東華門
和多福巷
。這個查詢可以命中索引
db.<collection>.createIndex({merger_name: 1})
如果上面的猜測不對,還請你再說明一下更具體的需求。
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
浪潮集團(tuán)項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。