一、xpath选择器

XPath 是一门在 XML 文档中查找信息的语言

/： ——># 从根节点选取：

//： ——># 不管位置，直接找

/@属性名 ——># 获取对应属性值

/text() ——># 获取文本内容

使用方式：

from lxml import etree

html = etree.HTML(html_doc) # html_doc 指的是HTML文档内容

# 1.所有节点
html.xpath(\'//*\')

# 2.指定节点
html.xpath(\'//head\')

# 3.子节点，子孙节点
html.xpath(\'//body/a\')
html.xpath(\'//body//a\')

# 4.父节点
html.xpath(\'//body//a[@href=\"image.html\"]/..\')

# 5.属性匹配
html.xpath(\'//body//a[@href=\"image.html\"]\')

# 6.文本获取
html.xpath(\'//body//a[@href=\"image.html\"]/text()\')

# 7.获取属性
html.xpath(\'//body//a/@href\')

# 8.属性多值匹配
html.xpath(\'//body//a[contains(@class,\"li\")]/text()\')

# 9.多属性匹配
html.xpath(\'//body//a[contains(@class,\"li\") and @name=\"items\"]/text()\')

# 10.按序匹配（从1开始）
html.xpath(\'//a[2]/text()\')

二、Selenium

Selenium 是为了解决 requests 无法直接执行 JavaScript 代码的问题。

本质是通过驱动浏览器，完全模拟浏览器的操作，输入、点击、下拉等。

安装：pip install selenium

使用需要下载浏览器驱动：http://npm.taobao.org/mirrors/chromedriver/

并且驱动要跟浏览器版本对应

简单使用模拟百度搜索：

import time

from selenium import webdriver

bro = webdriver.Chrome(executable_path=\'./chromedriver.exe\') # 得到一个谷歌浏览器对象，并指定使用那个驱动

bro.implicitly_wait(5) # 隐士等待：找一个控件，如果控件没有加载出来，就等待5S，只需要写着一句，以后所有控件都按照这个操作来

bro.get(\'https://www.baidu.com\') # 在地址栏里输入百度

input_k = bro.find_element_by_id(\'kw\') # 找到百度输入框对应的控件

input_k.send_keys(\'python\') # 框里面输入python

sou = bro.find_element_by_id(\'su\') # 找到搜索按钮

sou.click() # 点击搜索按钮

time.sleep(3)

bro.close() # 关闭浏览器

find选择器

Selenium 中有内置的选择器对 html 文件内容进行选择处理

选择方法：

1、find_element_by_id # 通过id查找控件
2、find_element_by_link_text # 通过a标签内容找
3、find_element_by_partial_link_text # 通过a标签内容找，模糊匹配
4、find_element_by_tag_name # 标签名
5、find_element_by_class_name # 类名
6、find_element_by_name # name属性
7、find_element_by_css_selector # 通过css选择器
8、find_element_by_xpath # 通过xpaht选择器

# 注意：
find_elements_by_xxx 的形式是查找到多个元素，结果为列表

使用方法示例：

from selenium import webdriver

bro = webdriver.Chrome(executable_path=\'./chromedriver.exe\')

bro.implicitly_wait(5)

bro.get(\'https://www.cnblogs.com/XiaoYang-sir/p/15077518.html\')

tag = bro.find_element_by_id(\'_label1\') # 找到id=_label1的标签
print(tag.text) # 获取文本内容

bro.close()

其他操作：

tag.get_attribute(\'href\') # 找当前控件 的href属性对的值
tag.text # 获取文本内容

tag.id # 当前控件id号
tag.location # 当前控件在页面位置
tag.tag_name # 标签名
tag.size # 标签的大小

bro.delete_all_cookies() # 获取cookie

元素交互

tag.send_keys() # 往里面写内容
tag.click() # 点击控件
tag.clear() # 清空控件内容

执行 JS 代码

bro.execute_script(\'window.open()\') # 打开浏览器后执行js代码

无界面浏览器

谷歌浏览器支持不打开页面进行操作

from selenium.webdriver.chrome.options import Options
from selenium import webdriver

chrome_options = Options()
chrome_options.add_argument(\'window-size=1920x3000\') # 指定浏览器分辨率
chrome_options.add_argument(\'--disable-gpu\') # 谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument(\'--hide-scrollbars\') # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument(\'blink-settings=imagesEnabled=false\') # 不加载图片, 提升速度
chrome_options.add_argument(\'--headless\') # 浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败

bro = webdriver.Chrome(chrome_options=chrome_options,executable_path=\'./chromedriver.exe\')

bro.get(\'https://www.baidu.com/\')
print(bro.page_source)
bro.close()

来源：https://www.cnblogs.com/XiaoYang-sir/p/15173174.html
图文来源于网络，如有侵权请联系删除。