今天查詢線上MongoDB的慢查詢?nèi)罩镜臅r(shí)候 發(fā)現(xiàn)了一些問(wèn)題
問(wèn)題一
表總數(shù)是1007422
卻看到這樣的輸出信息
keysExamined:4946620 docsExamined:1007409
怎么keysExamined可以超過(guò)總數(shù)嗎?
問(wèn)題二
查詢數(shù)據(jù) limit:50 應(yīng)用日志輸出的查詢總數(shù)明明是50 但是MongoDB的日志卻顯示只有31條
nreturned:31 reslen:1122746
怎么MongoDB的日志不準(zhǔn)嗎?
補(bǔ)充
Java代碼
MongoCursor<Document> cursor = collection.find(queryDocument)
.projection(new Document(XXX, 1))
.limit(50)
.iterator();
List<Document> list = new ArrayList<>();
while (cursor.hasNext()) {
Document document = cursor.next();
//...
list.add(document);
}
logger.info("query count: {}", list.size());
慢查詢?nèi)罩?/p>
2018-04-18T10:38:34.540+0000 I COMMAND [conn307438] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { created_at: -1.0 } cursorid:156438606875 keysExamined:68 docsExamined:68 fromMultiPlanner:1 keyUpdates:0 writeConflicts:0 numYields:9 nreturned:31 reslen:1122746 locks:{ Global: { acquireCount: { r: 20 } }, Database: { acquireCount: { r: 10 } }, Collection: { acquireCount: { r: 10 } } } protocol:op_command 115ms
應(yīng)用日志
[2018-04-18T18:38:37,446+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 50
為什么MongoDB日志顯示返回31條 但是應(yīng)用日志卻輸出的是50條
并且奇怪的是 好像只有查出的正好是50條的時(shí)候 才會(huì)有對(duì)不上的情況 如果查詢的數(shù)目小于50條能對(duì)的上 如
2018-04-18T10:54:44.635+0000 I COMMAND [conn307262] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { create_at: -1.0, xxx: -1.0 } keysExamined:4946661 docsExamined:1007422 fromMultiPlanner:1 replanned:1 cursorExhausted:1 keyUpdates:0 writeConflicts:0 numYields:87908 nreturned:14 reslen:136050 locks:{ Global: { acquireCount: { r: 175818 } }, Database: { acquireCount: { r: 87909 }, acquireWaitCount: { r: 6 }, timeAcquiringMicros: { r: 148774 } }, Collection: { acquireCount: { r: 87909 } } } protocol:op_command 967269ms
[2018-04-18T18:54:44,935+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 14
只有正好查出是50條 才會(huì)有不一致的情況 如下面的這個(gè)又不一致了
2018-04-18T11:32:45.426+0000 I COMMAND [conn308123] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { xxx: -1.0, xxx: -1.0, xxx: -1.0, xxx: -1.0 } cursorid:155252471899 keysExamined:2770867 docsExamined:395789 keyUpdates:0 writeConflicts:0 numYields:24185 nreturned:12 reslen:1116144 locks:{ Global: { acquireCount: { r: 48372 } }, Database: { acquireCount: { r: 24186 } }, Collection: { acquireCount: { r: 24186 } } } protocol:op_command 154088ms
][2018-04-18T19:32:49,766+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 50
但是也有MongoDB日志和應(yīng)用都是50的情況 所以才讓人弄不清楚是怎么回事
補(bǔ)充:
對(duì)不上的情況 似乎MongoDB和應(yīng)用的日志會(huì)有3~4秒的差距
問(wèn)題二的原因已經(jīng)知道
應(yīng)用日志
[2018-04-20T16:30:12,517+08:00] INFO [extractScheduler-1] impl.MongoDataSourceServiceImpl - query count 23
MongoDB日志
2018-04-20T08:30:07.988+0000 I COMMAND [conn346778] command foo.bar command: find ..., limit: 50, ... keysExamined:14417 docsExamined:7725 ... nreturned:16 reslen:1284323 ...
2018-04-20T08:30:12.445+0000 I COMMAND [conn346778] command foo.bar command: getMore { getMore: 160602735017, collection: "bar" } ... keysExamined:158029 docsExamined:40333 nreturned:7 reslen:962387 ...
23 = 7 + 16
MongoDB分成兩步來(lái)操作的 而getMore可能查詢很快(小于100ms) 沒(méi)有慢日志 導(dǎo)致誤以為對(duì)不上
北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國(guó)家
北大青鳥(niǎo)中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過(guò)二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機(jī)構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。