Python selenium chrome 爬蟲 好像被識別了,除了調(diào)用js外還能怎么繞過去?

目測是一種基于js的反selenium手段, 你不能掉任何的browser.find_element。
例如：你調(diào)用browser.find_element_by_id("goInt"), 之后的所有請求返回值都是400。
以下是個人的理解：
selenium的find_element是向本地服務(wù)器（chromediver，解析html和js的）發(fā)送請求拿到數(shù)據(jù)，之前看過selenium的源碼，在本地開了一個服務(wù)，通過網(wǎng)址可以直接訪問。

提供一種其他的解決思路：

from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
from PyQt5.QtCore import QUrl
import time

app = QApplication([])
view = QWebEngineView()
view.load(QUrl("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=89&tableName=TABLE89&title=%CA%B3%C6%B7%CC%ED%BC%D3%BC%C1%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5&bcId=137403916083811026153735196207"))
view.show()
page = view.page()

def test():
    page.runJavaScript("document.getElementById('goInt').value = 5")
    page.runJavaScript("document.getElementById('goInt').parentNode.parentNode.childNodes[7].childNodes[0].click()")
    #todo 你的爬蟲程序

view.loadFinished.connect(test)
app.exec_()

補(bǔ)充內(nèi)容：
異步寫法：

from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
from PyQt5.QtCore import QUrl, QThread, pyqtSignal
import time

cnt = 2
app = QApplication([])
view = QWebEngineView()
view.load(QUrl("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=89&tableName=TABLE89&title=%CA%B3%C6%B7%CC%ED%BC%D3%BC%C1%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5&bcId=137403916083811026153735196207"))
view.show()

class WorkThread(QThread):
    # 定義一個信號
    trigger = pyqtSignal(int)
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)

    def run(self):
        time.sleep(2)
        self.trigger.emit(cnt)


def output(_):
    global cnt
    view.page().runJavaScript('_x("http://*[@id=\\"content\\"]/table[2]/tbody/tr[1]/td/p/a")[0].text', lambda r: print(r))
    if cnt < 6:
        cnt += 2
        work.trigger.disconnect()
        work.trigger.connect(next)
        work.start()

def next(id):
    view.page().runJavaScript('_x("http://*[@id=\\"goInt\\"]")[0].value = %d' % id)
    time.sleep(0.5)
    view.page().runJavaScript('_x("http://*[@src=\\"images/dataanniu_11.gif\\"]")[0].click()')
    work.trigger.disconnect()
    work.trigger.connect(output)
    work.start()

work = WorkThread()
work.trigger.connect(next)

def main():
    view.page().runJavaScript("""
        function _x(STR_XPATH) {
            var xresult = document.evaluate(STR_XPATH, document, null, XPathResult.ANY_TYPE, null);
            var xnodes = [];
            var xres = xresult.iterateNext();
            while (xres) {
                xnodes.push(xres);
                xres = xresult.iterateNext();
            }
            return xnodes;
        }""")
    view.page().runJavaScript('_x("http://*[@id=\\"content\\"]/div/table[2]/tbody/tr[1]/td/p/a")[0].text', lambda r: print(r))
    work.start();

view.loadFinished.connect(main)
app.exec_()

結(jié)果：