web-dev-qa-db-ja.com

Python Scrapyモジュールを使用してWebサイトのすべてのURLを一覧表示するにはどうすればよいですか？

Python Scrapy module を使用して、WebサイトからすべてのURLを取得し、リストをファイルに書き込みたいです。例を調べましたが、表示されませんでした。これを行うための簡単な例。

pythonweb-crawlerscrapy
21
Adam F

これが私のために働いたpythonプログラムです：

from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request

DOMAIN = 'example.com'
URL = 'http://%s' % DOMAIN

class MySpider(BaseSpider):
    name = DOMAIN
    allowed_domains = [DOMAIN]
    start_urls = [
        URL
    ]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        for url in hxs.select('//a/@href').extract():
            if not ( url.startswith('http://') or url.startswith('https://') ):
                url= URL + url 
            print url
            yield Request(url, callback=self.parse)

これをspider.pyというファイルに保存します。

次に、シェルパイプラインを使用して、このテキストを後処理できます。

bash$ scrapy runspider spider.py > urls.out
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls

これにより、私のサイトにあるすべての一意のURLのリストが表示されます。

47
Adam F

よりクリーンな（そしておそらくもっと便利な）何かが使用されているでしょう LinkExtractor

from scrapy.linkextractors import LinkExtractor

    def parse(self, response):
        le = LinkExtractor() # empty for getting everything, check different options on documentation
        for link in le.extract_links(response):
            yield Request(link.url, callback=self.parse)
13
eLRuLL