スクレイプシェルリクエストのヘッダーを設定する
私はあなたができることを知っていますscrapy Shell -s USER_AGENT='custom user agent' 'http://www.example.com'を変更するにはUSER_AGENTしかし、どのようにリクエストヘッダーを追加しますか？
cliに直接ヘッダーを追加する現在の方法はありませんが、次のようなことができます。
$ scrapy Shell
...
...
>>> from scrapy import Request
>>> req = Request('yoururl.com', headers={"header1":"value1"})
>>> fetch(req)
これにより、現在のシェル情報がその新しいリクエストで更新されます。