日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后,達者為師

網站首頁 編程語言 正文

Headless Chrom自動化工具詳解

作者:lonely-hermit 更新時間: 2022-05-13 編程語言

無界面的谷歌瀏覽器,之前我們的自動化測試工具是phantomjs,但是這個工具不在進行維護了,所以我們可以使用這個谷歌的工具了。

Vitaly Slobodin是廣為使用的無頭網站測試框架Phantom.js的維護者(Maintainer),現在他決定放棄這一職責。Slobodin在Google論壇上發帖表示,鑒于Chrome 59推出了無頭瀏覽特性,他認為沒有理由再繼續維護Phantom.js??梢钥吹某鑫覀儸F在其實已經沒必要再去學習Phantom了,她的作者都放棄了他,項目都已經封存。

這個東西主要是用在動態頁面的時候,比如我們爬取的時候經常會發現chrom打開能看到100張圖片,爬蟲爬下來卻只有20張,這是因為使用了動態加載技術,還有一些頁面使用ajax動態刷新,這時候能不能爬取呢,當然可以,分析JS文件,構建請求,發送請求得到JSON回復信息,拿到資源的地址,但是這相當于我們將前端的工作給做了,很煩,所以我們有的時候用無頭瀏覽器直接相當于我們操作瀏覽器,很nice。缺點是速度慢,優點是簡單。

一、selenium介紹

selenium:是python的一個第三方庫,對外提供的接口可以操作你的瀏覽器,讓瀏覽器完成自動化操作

1.1、安裝selenium

pip install selenium

1.2、安裝chromdriver

要安裝符合自己瀏覽器版本的driver,谷歌瀏覽器的版本可以從設置->關于chrom看到

http://npm.taobao.org/mirrors/chromedriver/

1.3、測試進行百度的搜索

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

chrome_options = Options()
# 以無頭模式啟動,我們為了看效果先給注釋掉
# chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

path = r'C:\Users\LoveSS\Desktop\pytest\chromedriver.exe'
service = Service(executable_path=path)
driver = webdriver.Chrome(service=service, options=chrome_options)

url = 'http://www.baidu.com/'
# 打開這個網址
driver.get(url=url)
# 延時0.5s
driver.implicitly_wait(0.5)
# 獲得輸入條
search_input = driver.find_element(By.ID, "kw")
# 獲得搜索按鈕
search_button = driver.find_element(By.ID, "su")
# 再輸入框輸入
search_input.send_keys("Selenium")
# 搜索按鈕點擊
search_button.click()

time.sleep(10)
# 退出
driver.quit()

我們發現可以進行搜索。

二、selenium操作

這個網址有著官方文檔https://www.selenium.dev/。想要詳細學習可以從官方文檔入手

2.1、導航

# 打開網址
driver.get("https://selenium.dev")

# 后退
driver.back()

# 前進
driver.forward()

# 刷新
driver.refresh()

2.2、alert

2.2.1、alert警告框

警告框只有確認按鍵

# 單擊鏈接以激活警報
driver.find_element(By.LINK_TEXT, "See an example alert").click()

# 等待警報顯示,并將其存儲在變量中
alert = wait.until(expected_conditions.alert_is_present())

# 將警報文本存儲在變量中
text = alert.text

# 按OK按鈕
alert.accept()
2.2.2、confirm確認框

可以確認可以取消

# 單擊鏈接以激活警報
driver.find_element(By.LINK_TEXT, "See a sample confirm").click()

# 等待警報顯示
wait.until(expected_conditions.alert_is_present())

# 將警報存儲在變量中以供重用
alert = driver.switch_to.alert

# 存儲警告信息
text = alert.text

# 取消按鍵
alert.dismiss()
2.2.3、Prompt 提示框

提示框是有輸入框和確認按鍵的

# 單擊鏈接以激活警報
driver.find_element(By.LINK_TEXT, "See a sample prompt").click()

# 等待警報顯示
wait.until(expected_conditions.alert_is_present())

# 將警報存儲在變量中以供重用
alert = Alert(driver)

# 填入你的信息
alert.send_keys("Selenium")

# 點擊OK按鍵
alert.accept()

2.3、Cookie

2.3.1、添加cookie
from selenium import webdriver

driver = webdriver.Chrome()

driver.get("http://www.example.com")

# 將cookie添加到當前瀏覽器上下文中
driver.add_cookie({"name": "key", "value": "value"})
2.3.2、獲取命名的cookie
# 獲取名為'foo'的cookie
print(driver.get_cookie("foo"))
2.3.3、獲取全部cookies
driver.add_cookie({"name": "test1", "value": "cookie1"})
driver.add_cookie({"name": "test2", "value": "cookie2"})

# 獲得所有cookies
print(driver.get_cookies())
2.3.4、刪除cookie
# 刪除名為'test1'的cookie
driver.delete_cookie("test1")
2.3.5、刪除所有cookie
#  刪除所有cookie
driver.delete_all_cookies()
2.3.6、lax

當您將cookie sameSite屬性設置為 Lax, cookie將與第三方網站發起的GET請求一起發送.

driver.get("http://www.example.com")
# 使用sameSite將cookie添加到當前瀏覽器上下文中'Strict' (or) 'Lax'
driver.add_cookie({"name": "foo", "value": "value", 'sameSite': 'Strict'})
driver.add_cookie({"name": "foo1", "value": "value", 'sameSite': 'Lax'})
cookie1 = driver.get_cookie('foo')
cookie2 = driver.get_cookie('foo1')
print(cookie1)
print(cookie2)

2.4、點擊

driver.find_element(By.ID, "su").click()

2.4、發送鍵位

driver.find_element(By.ID, "su").send_keys("webdriver" + Keys.ENTER)

2.5、清除

driver.find_element(By.ID, "su").clear()

2.6、查詢元素

我們一共有這么幾種查詢方式

class By(object):
    """
    Set of supported locator strategies.
    """

    ID = "id"
    XPATH = "xpath"
    LINK_TEXT = "link text"
    PARTIAL_LINK_TEXT = "partial link text"
    NAME = "name"
    TAG_NAME = "tag name"
    CLASS_NAME = "class name"
    CSS_SELECTOR = "css selector"
res = driver.find_element(By.ID, "su")
print(res.text)

原文鏈接:https://blog.csdn.net/weixin_43903639/article/details/122723390

欄目分類
最近更新