鍍金池/ 問(wèn)答/Java  Linux  數(shù)據(jù)庫(kù)/ JDBC多線程查詢結(jié)果匯總

JDBC多線程查詢結(jié)果匯總

假設(shè)單線程查詢SQL耗時(shí)1S,那么開(kāi)啟兩個(gè)線程查詢SQL理想情況下也是1S多點(diǎn)才對(duì),機(jī)器是4核,但是目前結(jié)果近乎2倍顯然有異;

暫且不考慮從線程池獲取連接,任務(wù)線程核心代碼如下:

@Override
public void run() {
    long s = System.currentTimeMillis();
    System.out.println(Thread.currentThread().getName() + "準(zhǔn)備執(zhí)行");
    try (Connection connection = DBUtils.openConnection();
         PreparedStatement preparedStatement = connection.prepareStatement(querySql);
         ResultSet resultSet = preparedStatement.executeQuery()) {
        long e = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName() + "執(zhí)行耗時(shí):" + (e - s));

    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        latch.countDown();
    }
}

目的是分表查詢采用多線程,使用CountDownLatch,結(jié)果匯總,提交任務(wù)代碼如下:

CountDownLatch countDownLatch = new CountDownLatch(TABLE_SIZE);
ExecutorService executor = Executors.newFixedThreadPool(TABLE_SIZE);
List<String> names = new LinkedList<>();
long s = System.currentTimeMillis();
System.out.println("獲取數(shù)據(jù)庫(kù)連接成功,準(zhǔn)備執(zhí)行SQL...");

try {
    for (int i = 0; i < TABLE_SIZE; i++) {
        Task task = new Task(countDownLatch, names, PRE_SQL + i);
        executor.execute(task);
    }
    countDownLatch.await();
    executor.shutdownNow();
} catch (InterruptedException e) {
    e.printStackTrace();
}

long e = System.currentTimeMillis();
System.out.println("總耗時(shí):" + (e - s) + "ms");

當(dāng)指定1個(gè)任務(wù)時(shí),控制臺(tái)輸出:

獲取數(shù)據(jù)庫(kù)連接成功,準(zhǔn)備執(zhí)行SQL...
pool-1-thread-1準(zhǔn)備執(zhí)行
pool-1-thread-1執(zhí)行耗時(shí):708
總耗時(shí):708ms

當(dāng)指定2個(gè)任務(wù)時(shí),控制臺(tái)輸出:

獲取數(shù)據(jù)庫(kù)連接成功,準(zhǔn)備執(zhí)行SQL...
pool-1-thread-1準(zhǔn)備執(zhí)行
pool-1-thread-2準(zhǔn)備執(zhí)行
pool-1-thread-2執(zhí)行耗時(shí):2054
pool-1-thread-1執(zhí)行耗時(shí):2055
總耗時(shí):2057ms

當(dāng)指定4個(gè)任務(wù)時(shí),控制臺(tái)輸出:

獲取數(shù)據(jù)庫(kù)連接成功,準(zhǔn)備執(zhí)行SQL...
pool-1-thread-2準(zhǔn)備執(zhí)行
pool-1-thread-3準(zhǔn)備執(zhí)行
pool-1-thread-1準(zhǔn)備執(zhí)行
pool-1-thread-4準(zhǔn)備執(zhí)行
pool-1-thread-3執(zhí)行耗時(shí):3189
pool-1-thread-1執(zhí)行耗時(shí):3203
pool-1-thread-2執(zhí)行耗時(shí):3241
pool-1-thread-4執(zhí)行耗時(shí):3245
總耗時(shí):3248ms

在程序運(yùn)行期間查看mysql,show processlist;

| 136 | root | localhost:50225 | test | Query   |     1 | Sending data | SELECT SQL_NO_CACHE `id`, `name` FROM test_3 |
| 135 | root | localhost:50224 | test | Query   |     1 | Sending data | SELECT SQL_NO_CACHE `id`, `name` FROM test_1 |
| 138 | root | localhost:50227 | test | Query   |     1 | Sending data | SELECT SQL_NO_CACHE `id`, `name` FROM test_0 |
| 137 | root | localhost:50226 | test | Query   |     1 | Sending data | SELECT SQL_NO_CACHE `id`, `name` FROM test_2 |

然后SQL狀態(tài)就變成了Writing to net,不知道是否正常,對(duì)Mysql不是很懂。

我也試過(guò)單線程for循環(huán)6次,耗時(shí)出入不大。

單條SQL執(zhí)行差不多在1S左右,現(xiàn)在4條SQL同時(shí)執(zhí)行,并沒(méi)有在1S多就返回結(jié)果,而是在3S多同時(shí)結(jié)束,那么這里的問(wèn)題到底是什么原因?qū)е碌哪兀?/p>

回答
編輯回答
扯機(jī)薄

Writing to net

The server is writing a packet to the network. This state is called Sending to client as of MySQL 5.7.8.

ref: https://dev.mysql.com/doc/ref...

本地select 超過(guò)1S,推測(cè)你每次select出的數(shù)據(jù)集比較大,本地的packet設(shè)置得過(guò)小

在Mysql執(zhí)行下

show global variables like "max_allowed_packet"

解決方案:

  1. 降低每次查詢出的結(jié)果集
  2. 增大max_allowed_packet
2017年7月5日 17:04
編輯回答
賤人曾

如果瓶頸在帶寬或數(shù)據(jù)庫(kù)處理能力,多線程就不能解決這個(gè)性能問(wèn)題

2018年8月21日 20:23
編輯回答
毀了心

貌似和 這個(gè)問(wèn)題 是同一個(gè)環(huán)境?
數(shù)據(jù)量太大,網(wǎng)絡(luò)帶寬打滿了吧

2017年3月22日 21:03