无码av一区二区三区无码,在线观看老湿视频福利,日韩经典三级片,成 人色 网 站 欧美大片在线观看

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

使用Faraday庫采集微博圖片

2023-11-03 17:08 作者:華科云商小彭  | 我要投稿


之前我們寫過一個微博采集程序,不是特別難,那么有朋友想讓我用Faraday庫來寫一個微博的爬蟲程序,還要用Ruby來采集微博的圖片。果然,不費吹灰之力,它來了,一起來學習一下吧。

```ruby

require 'faraday'

require 'nokogiri'

proxy_host = 'https://www.duoip.cn/get_proxy'

proxy_port = 8000

# 創(chuàng)建一個Faraday實例,設(shè)置代理

faraday = Faraday.new do |faraday|

faraday.request :proxy, proxy_host, proxy_port

end

# 構(gòu)建請求URL

url = 'https://weibo.com/'

# 發(fā)送GET請求

response = faraday.get url

# 使用Nokogiri解析響應內(nèi)容

doc = Nokogiri::HTML(response.body)

# 遍歷文檔中的所有img標簽

doc.css('img').each do |img|

# 獲取img標簽的src屬性

src = img['src']


# 如果src屬性不為空,則打印該圖片的URL

puts src if src

end

```

那么上面的代碼呢,首先引入了Faraday和Nokogiri庫,然后創(chuàng)建了一個Faraday實例,并設(shè)置了代理。接著構(gòu)建了請求的URL,發(fā)送了GET請求,并使用Nokogiri解析了相應內(nèi)容。最后,遍歷了文檔中的所有img標簽,并打印出了img標簽的src屬性(即圖片的URL)。注意,如果src屬性為空,則不會打印任何內(nèi)容。希望這個程序能幫助你完成任務(wù)!


使用Faraday庫采集微博圖片的評論 (共 條)

分享到微博請遵守國家法律
专栏| 湾仔区| 台北市| 溆浦县| 故城县| 阿图什市| 蕲春县| 桐乡市| 武功县| 嘉黎县| 连云港市| 拜城县| 武夷山市| 六安市| 安化县| 长兴县| 会昌县| 藁城市| 康保县| 乌拉特后旗| 藁城市| 无锡市| 秭归县| 南开区| 武陟县| 富源县| 万源市| 朝阳区| 确山县| 仁布县| 泾源县| 喜德县| 庆阳市| 德庆县| 长汀县| 辽中县| 正宁县| 抚顺市| 宁德市| 富源县| 保定市|