課程特價中
什麼是網頁爬蟲？
假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。
為什麼是 LXML 而不是 BeautifulSoup？
LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。
https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/
python xpath 在 [問題] 新手xpath問題- 看板Python - 批踢踢實業坊 的推薦與評價
目前看udemy免費課程學scrapy
就照個操作
試著看看抓租屋網價格跟標題,
不過我用的是台灣的租屋網頁,結果就卡關了XD
目前我的問題是
我想抓每個價格出來
使用
response.xpath('.//*[@id="content"]/ul[1]/div/i/text()').extract()
可以抓出價格沒問題
查看一下房價xpath規律
//*[@id="content"]/ul[3]/div/i
//*[@id="content"]/ul[7]/div/i
//*[@id="content"]/ul[13]/div/i
都是同一個id (也是同一個class="price"),不同的ul
可是用下面兩個xpath路徑都抓不到全部的價格
response.xpath('.//ul[@id="content"]/ul[1]/div/i/text()').extract()
response.xpath('.//ul[@class="price"]/ul[1]/div/i/text()').extract()
不知道邏輯上是哪裡有問題
預期結果大概是下面這樣
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.162.245
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1540394647.A.F5B.html
上次有簡單看一下,不過其實還是不太懂
為何明明是在i裡面 可是前面是放div
會再慢慢摸索了解 先謝謝大家!>"<
※ 編輯: wavek (1.169.155.38), 10/29/2018 18:48:49
... <看更多>