web-dev-qa-db-ja.com

PrivoxyとTorでスクレイピー：IPを更新する方法

Scrapy、Privoxy、Torを扱っています。私はすべてインストールされ、適切に動作しています。しかし、Torは毎回同じIPに接続するため、簡単に禁止されます。 X秒または接続ごとに再接続するようTorに指示することは可能ですか？

ありがとう！

構成に関する編集：ユーザーエージェントプールの場合、これを行いました： http://tangww.com/2013/06/UsingRandomAgent/ （私は_init_.pyファイル（コメントに記載されているとおり）、およびPrivoxyとTor Iの場合は http://www.andrewwatters.com/privoxy/ =（端末でプライベートユーザーとプライベートグループを手動で作成する必要がありました）。動いた ：）

私のクモはこれです：

from scrapy.contrib.spiders import CrawlSpider
from scrapy.selector import Selector
from scrapy.http import Request

class YourCrawler(CrawlSpider):
    name = "spider_name"
    start_urls = [
    'https://example.com/listviews/titles.php',
    ]
    allowed_domains = ["example.com"]

    def parse(self, response):
        # go to the urls in the list
        s = Selector(response)
        page_list_urls = s.xpath('///*[@id="tab7"]/article/header/h2/a/@href').extract()
        for url in page_list_urls:
            yield Request(response.urljoin(url), callback=self.parse_following_urls, dont_filter=True)

        # Return back and go to bext page in div#paginat ul li.next a::attr(href) and begin again
        next_page = response.css('ul.pagin li.presente ~ li a::attr(href)').extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield Request(next_page, callback=self.parse)

    # For the urls in the list, go inside, and in div#main, take the div.ficha > div.caracteristicas > ul > li
    def parse_following_urls(self, response):
        #Parsing rules go here
        for each_book in response.css('main#main'):
            yield {
                'editor': each_book.css('header.datos1 > ul > li > h5 > a::text').extract(),
            }

Settings.pyには、ユーザーエージェントのローテーションとprivoxyがあります：

DOWNLOADER_MIDDLEWARES = {
        #user agent
        'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
        'spider_name.comm.rotate_useragent.RotateUserAgentMiddleware' :400,
        #privoxy
        'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
        'spider_name.middlewares.ProxyMiddleware': 100
    }

Middlewares.pyに追加しました：

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])

それがすべてだと思います…

編集II ---

OK、ブログ@TomášLinhartが次のように言っているように、middlewares.pyファイルを変更しました。

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])

に

from stem import Signal
from stem.control import Controller

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])

    def set_new_ip():
        with Controller.from_port(port=9051) as controller:
            controller.authenticate(password='tor_password')
            controller.signal(Signal.NEWNYM)

しかし、今は本当に遅く、IPを変更するようには見えません…私はそれを大丈夫でしたか、何か間違っていますか？

pythonweb-scrapingscrapytor
16
user7499416

この ブログ投稿 は同じ問題に対処するのに少し役立つかもしれません。

EDIT：具体的な要件に基づきます（各リクエストまたはその後の新しいIP[〜＃〜] n [〜＃〜] リクエスト）、ミドルウェアのset_new_ipメソッドにprocess_requestを適切に呼び出します。ただし、set_new_ip関数の呼び出しでは、常に新しいIPを確認する必要はありません（FAQ説明付き）へのリンクがあります）。

EDIT2：ProxyMiddlewareクラスを持つモジュールは次のようになります。

from stem import Signal
from stem.control import Controller

def _set_new_ip():
    with Controller.from_port(port=9051) as controller:
        controller.authenticate(password='tor_password')
        controller.signal(Signal.NEWNYM)

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        _set_new_ip()
        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])
9
Tomáš Linhart

しかし、Torは毎回同じIPで接続します

文書化されたTor機能 ：

注意すべき重要なことは、新しい回線が必ずしも新しいIPアドレスを意味するわけではないということです。パスは、速度や安定性などのヒューリスティックに基づいてランダムに選択されます。 Torネットワークには非常に多くの大きな出口がありますので、以前持っていた出口を再利用することは珍しくありません。

これが、以下のコードを使用すると、同じIPアドレスを再利用することになりかねない理由です。

from stem import Signal
from stem.control import Controller


with Controller.from_port(port=9051) as controller:
    controller.authenticate(password='tor_password')
    controller.signal(Signal.NEWNYM)


https://github.com/DusanMadar/TorIpChanger は、この動作を管理するのに役立ちます。入場料-TorIpChangerと書きました。

また、Pythonを使用する方法に関するガイドをまとめました： https://Gist.github.com/DusanMadar/8d11026b7ce0bce6a67f7dd87b999f6b 。


ここに、TorIpChanger（pip install toripchanger）ProxyMiddlewareで。

from toripchanger import TorIpChanger


# A Tor IP will be reused only after 10 different IPs were used.
ip_changer = TorIpChanger(reuse_threshold=10)


class ProxyMiddleware(object):
    def process_request(self, request, spider):
        ip_changer.get_new_ip()
        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])

または、10回のリクエストの後に別のIPを使用する場合は、次のようなことができます。

from toripchanger import TorIpChanger


# A Tor IP will be reused only after 10 different IPs were used.
ip_changer = TorIpChanger(reuse_threshold=10)


class ProxyMiddleware(object):
    _requests_count = 0

    def process_request(self, request, spider):
        self._requests_count += 1
        if self._requests_count > 10:
            self._requests_count = 0 
            ip_changer.get_new_ip()

        request.meta['proxy'] = 'http://127.0.0.1:8118'
        spider.log('Proxy : %s' % request.meta['proxy'])
7
Dušan Maďar