web-dev-qa-db-ja.com

Phantomjs SeleniumWebDriverのカスタムヘッダー

this によると、ヘッダーを変更できるようになりました。 Atm PhantomJSwebdriverでAccept-Languageを変更する必要があります。このコードは機能しません

DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.Accept-Language'] = 'ru-RU'
driver = webdriver.PhantomJS()

ヘッダーを送信するようにPhantomjsを構成することはどういうわけか可能ですか？私はどこを気にしません：ghostdriver、phantomjsまたはphantomjs-webdriverの内部。

pythonseleniumselenium-webdriverphantomjsghostdriver
17
dimazubrik

PhantomJSの最新バージョン（ 1.9.1 ）は2013年6月5日にリリースされます。プルリクエストがマージされます 2013年6月23日 。

PhantomJSの1.9.1バージョンを使用している場合、カスタムヘッダーは機能しません。

自分でphantomjsをビルドするか、phantomjsがghostdriverの変更をマージして新しいバージョンをリリースするまで待つ必要があります。

  • PhantomJSリポジトリのクローンを作成します
  • Ghostdriverリポジトリのクローンを作成する
  • ghostdriver/src/*をphantomjs/src/ghostdriverに再帰的にコピーします
  • phantomjsを構築する

新しくビルドされたphantomjsを使用すると、次の結果が得られました。

from Selenium import webdriver

webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.Accept-Language'] = 'ru-RU'
driver = webdriver.PhantomJS()
driver.get('http://httpbin.org/headers')
print(driver.page_source)

...
{
  "headers": {
    "Connection": "close",
    "Host": "httpbin.org",
    "Accept-Encoding": "gzip",
    "Accept-Language": "ru-RU",
    "User-Agent": "Mozilla/5.0 (Unknown; Linux i686) AppleWebKit/534.34 (KHTML, like Gecko) PhantomJS/1.10.0 (development) Safari/534.34",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
  }
 ...

更新

PhantomJS1.9.2 +を使用します。

32
falsetru

Selenium phantomjsですべてのヘッダー、ウィンドウサイズ、プロキシを設定する完全な例を作成します。

from Selenium import webdriver

def init_phantomjs_driver(*args, **kwargs):

    headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0',
        'Connection': 'keep-alive'
    }

    for key, value in headers.iteritems():
        webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value

    webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.settings.userAgent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'

    driver =  webdriver.PhantomJS(*args, **kwargs)
    driver.set_window_size(1400,1000)

    return driver


def main():
    service_args = [
        '--proxy=127.0.0.1:9999',
        '--proxy-type=http',
        '--ignore-ssl-errors=true'
        ]

    driver = init_phantomjs_driver(service_args=service_args)

    driver.get('http://cn.bing.com')

注意：

userAgentはphantomjs.page.settings.userAgentではなくphantomjs.page.customHeadersに設定されます

2
Mithril