BS4解析HTML

BS4是一个外部的工具，需要通过pip引入使用，具体操作可百度

BS4使用前需要进行的操作

from bs4 import BeautifulSoup
def get_bs(url,timeout):#请求一个网页，以HTML的格式返回，如果超时或者网页我无法访问，则返回一个None
    header={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35"}
    request = urllib.request.Request(url=url,headers=header)
    try:
        response = urllib.request.urlopen(request,timeout=timeout)
        html = response.read().decode("utf-8")
    except Exception:
        return None
    bs= BeautifulSoup(html,"html.parser")#bs就是已经初始化好的对象

经过这一步是，我们已经得到了一个BeautifulSoup的对象了。

BS4抓取数据

父子元素直接访问

html经过解析后形成了一个树状结构。例如：

bs.title就可以直接获取HTML中的标题。也就是获取了