问答中心分类: PYTHONTypeError:无法在re中的类似字节的对象上使用字符串模式。findall()
0
匿名用户 提问 1小时 前

我正在尝试学习如何从页面自动获取URL。在以下代码中,我试图获取网页的标题:

import urllib.request
import re

url = "http://www.google.com"
regex = r'(,+?)'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

我得到了一个意想不到的错误:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in 
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

我做错了什么?

1 Answers
0
Aran-Fey 回答 1小时 前

问题是正则表达式是一个字符串,但是html字节数:

>>> type(html)

由于python不知道这些字节是如何编码的,因此当您尝试对它们使用字符串正则表达式时,它会引发异常。
你也可以decode将字节转换为字符串:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

或使用字节正则表达式:

regex = rb'(,+?)'
#        ^

在此特定上下文中,您可以从响应头中获取编码:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

请参阅urlopen文档了解更多详细信息。