web-dev-qa-db-ja.com

無限スクロールでウェブサイトをこする

スクレイパーをたくさん書いてきましたが、無限スクローラーの扱い方がよくわかりません。最近のほとんどのウェブサイトなど、Facebook、Pinterestには無限のスクローラーがあります。

pythonscreen-scrapingscraper
28
add-semi-colons

Seleniumを使用して、TwitterやFacebookなどの無限スクロールWebサイトをスクラップできます。

ステップ1：pipを使用してSeleniumをインストールする

pip install Selenium

手順2：以下のコードを使用して無限スクロールを自動化し、ソースコードを抽出します

from Selenium import webdriver
from Selenium.webdriver.common.by import By
from Selenium.webdriver.common.keys import Keys
from Selenium.webdriver.support.ui import Select
from Selenium.webdriver.support.ui import WebDriverWait
from Selenium.common.exceptions import TimeoutException
from Selenium.webdriver.support import expected_conditions as EC
from Selenium.common.exceptions import NoSuchElementException
from Selenium.common.exceptions import NoAlertPresentException
import sys

import unittest, time, re

class Sel(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.implicitly_wait(30)
        self.base_url = "https://Twitter.com"
        self.verificationErrors = []
        self.accept_next_alert = True
    def test_sel(self):
        driver = self.driver
        delay = 3
        driver.get(self.base_url + "/search?q=stckoverflow&src=typd")
        driver.find_element_by_link_text("All").click()
        for i in range(1,100):
            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(4)
        html_source = driver.page_source
        data = html_source.encode('utf-8')


if __name__ == "__main__":
    unittest.main()

ステップ3：必要に応じてデータを印刷します。

27
Pawan Kumar

無限スクロール機能を備えたほとんどのサイトは（Lattywareのように）適切なAPIも備えており、スクレイピングではなく、これを使用するほうがサービスが向上する可能性があります。

しかし、あなたがこする必要がある場合...

このようなサイトは、ページの下部に到達すると、JavaScriptを使用してサイトに追加のコンテンツを要求します。あなたがする必要があるのはその追加コンテンツのURLを理解することだけであり、あなたはそれを取得することができます。必要なURLを把握するには、スクリプトを検査するか、Firefox Webコンソールを使用するか、または debug proxy を使用します。

たとえば、Firefox Webコンソールを開き、Netを除くすべてのフィルターボタンをオフにして、スクレイピングするサイトをロードします。ロードされると、すべてのファイルが表示されます。 Webコンソールを見ながらページをスクロールすると、追加のリクエストに使用されているURLが表示されます。次に、そのURLを自分で要求し、データの形式（おそらくJSON）を確認して、それをPythonスクリプトに取り込みます。

22
kindall

AjaxソースのURLを見つけることは最良のオプションですが、特定のサイトでは扱いにくい場合があります。または、QWebKitのPyQtのようなヘッドレスブラウザを使用して、DOMツリーからデータを読み取るときにキーボードイベントを送信することもできます。 QWebKitには、素晴らしくシンプルなAPIがあります。

1
prabu