selenium绕过检测，规避检测

文章目录

• 规避检测
• • 1.介绍
  • 2.常见的检测手段
  • 3.为何要规避
  • 4.绕过检测的方案
  • • 1. 修改浏览器指纹
    • 2. 模拟人类操作行为
    • 3. 处理页面元素检测
    • 4. 使用Selenium的headless模式
    • 5.使用js注入，绕过检测

规避检测

1.介绍

我们在使用Python Selenium进行自动化测试或爬虫时，有时会遇到被网站检测到并阻止的情况。这些网站通常会使用各种技术手段来检测和阻止自动化脚本，例如检测浏览器指纹、检查页面元素是否被自动化程序操作、检测用户行为模式等。本文将介绍一些常见的技术手段，以及如何利用Python Selenium来绕过这些检测。

2.常见的检测手段

1. 检测浏览器指纹
   浏览器指纹是由浏览器的各种属性组成的标识符，例如User-Agent、Accept-Language、屏幕分辨率等。网站可以通过检测这些属性来判断用户是否使用真实浏览器，而不是自动化程序。

2. 检查页面元素是否被自动化程序操作
   网站可以在页面中插入一些隐藏的元素，然后通过检测这些元素是否被自动化程序操作来判断用户是否使用自动化程序。

3. 检测用户行为模式
   网站可以通过分析用户的鼠标移动、点击、滚动等行为模式来判断用户是否使用自动化程序。例如，用户使用自动化程序时，鼠标移动可能会呈现直线或者间隔相等的模式。

3.为何要规避

• 现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。
  而使用selenium访问则该值为true。那么如何解决这个问题呢？

4.绕过检测的方案

1. 修改浏览器指纹

我们可以通过修改Selenium WebDriver的User-Agent、Accep