无码av一区二区三区无码,在线观看老湿视频福利,日韩经典三级片,成 人色 网 站 欧美大片在线观看

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

2021年最新Python爬蟲教程+實戰(zhàn)項目案例(新增scarpy部分+分布式爬

2023-02-16 15:43 作者:qjqjj  | 我要投稿

p31 去除爬取子頁面的代碼直接爬取圖片。 精簡了代碼,減少了requests的請求。

import requests
from bs4 import BeautifulSoup
import os

os.mkdir(r"D:\\python_homework\\src\\爬取內(nèi)容\\")

url = 'https://www.umei.cc/weimeitupian/xiaoqingxintupian/'
url_2 = 'https://www.umei.cc'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.9071 SLBChan/105'
}

response = requests.get(url)
response.encoding = 'utf-8'
mian_page = BeautifulSoup(response.text, "html.parser")
imglist = mian_page.find("div", class_='item_list infinite_scroll').find_all("img", class_="lazy")

for i in imglist:
    img = requests.get(i.get("data-original"), headers=headers).content
    name = i.get("data-original").split("/")[-1]
    with open('D:\\python_homework\\src\\爬取內(nèi)容\\plcture\\{}'.format(name), 'wb')as fp:
        fp.write(img)
        print(name + "下載完成!")
fp.close()


2021年最新Python爬蟲教程+實戰(zhàn)項目案例(新增scarpy部分+分布式爬的評論 (共 條)

分享到微博請遵守國家法律
安西县| 纳雍县| 柏乡县| 邵阳市| 高州市| 彭州市| 新乐市| 尼勒克县| 当涂县| 东阳市| 浙江省| 桦川县| 襄汾县| 彰化市| 舟曲县| 华阴市| 鄂温| 壤塘县| 大姚县| 西乌珠穆沁旗| 乌鲁木齐市| 旺苍县| 札达县| 贵德县| 江津市| 资阳市| 阆中市| 东兰县| 上虞市| 镇安县| 安塞县| 赤水市| 临桂县| 怀柔区| 黄冈市| 江华| 榕江县| 孟州市| 银川市| 讷河市| 四会市|