selenium webdriver 开启网页失败,被发现为爬虫,的解决办法

selenium webdriver 开启网页失败,被发现为爬虫,的解决办法

(1)换用火狐浏览器

(2)隐藏谷歌浏览器中的特殊变量值

from selenium import webdriver

options = webdriver.ChromeOptions()

# -- 防止被检测,旧版本用法(1):

# chrome在79版之前用这个

options.add_experimental_option("excludeSwitches", ["enable-automation"])

options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)

# -- 防止被检测,新版本用法(2):

# chrome在79和79版之后用这个

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

"source": """

Object.defineProperty(navigator, 'webdriver', {

get: () => undefined

})

"""

})

driver.get("http://www.xxx.com/")

time.sleep(60)

driver.close()

driver.quit()

网站检测selenium的原理是:

(1)selenium在开启后的浏览器加了一些变量值,如:window.navigator.webdriver 等等。

(2)像window.navigator.webdriver,在正常的谷歌浏览器是undefined,在selenium打开的谷歌浏览器是true。网站就下发js代码,检测这个变量值给网站,网站判断这个值,为true就是爬虫程序就封杀。

变量值一般不止这一个。

不同的浏览器驱动不同,像火狐浏览器,控制台输入window.navigator.webdriver,虽然还是true,但不会被检测出来。

相关推荐

快递一般发货到揽收要多久?多久没揽收算超时?怎样处理?
常見洗菜3大迷思 各款蔬菜浸泡時間/清洗方法
比分365网页版

常見洗菜3大迷思 各款蔬菜浸泡時間/清洗方法

📅 08-03 👁️ 8574
梦幻西游:70级无级别愤怒腰带售价近2W,玩家多了水清特技卖20W