web-dev-qa-db-ja.com

Scrapyおよび応答ステータスコード：それをチェックする方法は？

私はscrapyを使用してサイトマップをクロールし、404、302、200ページをチェックしています。しかし、応答コードを取得できないようです。これはこれまでの私のコードです：

from scrapy.contrib.spiders import SitemapSpider


class TothegoSitemapHomesSpider(SitemapSpider):
    name ='tothego_homes_spider'

    ## robe che ci servono per tothego ##
   sitemap_urls = []
   ok_log_file =       '/opt/Workspace/myapp/crawler/valid_output/ok_homes'
   bad_log_file =      '/opt/Workspace/myapp/crawler/bad_homes'
   fourohfour =        '/opt/Workspace/myapp/crawler/404/404_homes'

   def __init__(self, **kwargs):
        SitemapSpider.__init__(self)

        if len(kwargs) > 1:
            if 'domain' in kwargs:
                self.sitemap_urls = ['http://url_to_sitemap%s/sitemap.xml' % kwargs['domain']]

            if 'country' in kwargs:
                self.ok_log_file += "_%s.txt" % kwargs['country']
                self.bad_log_file += "_%s.txt" % kwargs['country']
                self.fourohfour += "_%s.txt" % kwargs['country']

        else:
            print "USAGE: scrapy [crawler_name] -a country=[country] -a domain=[domain] \nWith [crawler_name]:\n- tothego_homes_spider\n- tothego_cars_spider\n- tothego_jobs_spider\n"
            exit(1)

    def parse(self, response):
        try:
            if response.status == 404:
                ## 404 tracciate anche separatamente
                self.append(self.bad_log_file, response.url)
                self.append(self.fourohfour, response.url)

            Elif response.status == 200:
                ## printa su ok_log_file
                self.append(self.ok_log_file, response.url)
            else:
                self.append(self.bad_log_file, response.url)

        except Exception, e:
            self.log('[eccezione] : %s' % e)
            pass

    def append(self, file, string):
        file = open(file, 'a')
        file.write(string+"\n")
        file.close()

スクラピーズのドキュメントから、response.statusパラメーターは応答のステータスコードに対応する整数であると彼らは言いました。これまでのところ、200のステータスURLのみがログに記録され、302は出力ファイルに書き込まれません（ただし、リダイレクトはcrawl.logで確認できます）。では、302リクエストを「トラップ」してそれらのURLを保存するにはどうすればよいですか？

pythonscrapyhttp-status-codes
19
Samuele Mattiuzzo

http://readthedocs.org/docs/scrapy/en/latest/topics/spider-middleware.html#module-scrapy.contrib.spidermiddleware.httperror

デフォルトのスパイダーミドルウェアが有効になっていると仮定すると、200〜300の範囲外の応答コードはHttpErrorMiddlewareによって除外されます。スパイダーにhandle_httpstatus_list属性を設定することで、404を処理するミドルウェアを指定できます。

class TothegoSitemapHomesSpider(SitemapSpider):
    handle_httpstatus_list = [404]
25
njbooher

ここで完全な応答を得るだ​​けです：

  • _Handle_httpstatus_list = [302];_を設定します

  • リクエストに応じて、dont_redirectをTrue on metaに設定します。

例：Request(URL, meta={'dont_redirect': True});

2
Ricardo Lucca