web-dev-qa-db-ja.com

TypeError：re.findall（）のバイトのようなオブジェクトで文字列パターンを使用できません

ページからURLを自動的に取得する方法を学習しようとしています。次のコードでは、Webページのタイトルを取得しようとしています。

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

そして、私はこの予期しないエラーを受け取ります：

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

何が間違っていますか？

pythonpython-3.xweb-crawler
77
Inspired_Blue

.decodeを使用して、html（バイトのようなオブジェクト）を文字列に変換したい場合、 html = response.read().decode('utf-8')。

バイトをPython文字列に変換する を参照してください

125
rocky

問題は、正規表現は文字列ですが、htmlは bytes であるということです。

>>> type(html)
<class 'bytes'>

pythonはこれらのバイトがどのようにエンコードされるかを知らないため、文字列の正規表現を使用しようとすると例外をスローします。

decode 文字列のバイト：

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

または、バイト正規表現を使用します。

regex = rb'<title>(,+?)</title>'
#        ^

この特定のコンテキストでは、応答ヘッダーからエンコードを取得できます。

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

詳細については、 urlopen documentation を参照してください。

14
Aran-Fey