python3的web开发中出现UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid star

本文全部是转载的：

#--------------------------------------------下面是转载内容---------------------------------------------------------------------------------------

场景：使用Python进行斗鱼直播页面的爬取，爬取的url：https://www.douyu.com/ 当使用str(爬取的html字节码,encoding='utf-8')进行一个编码转换的时候报UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte这个错误。
代码示例:

from urllib import requestclass Spilder():#斗鱼urlurl='https://www.douyu.com/'def __fetch_content(self):r = request.urlopen(Spilder.url)htmls = r.read()    #获取字节码（html）print(htmls)htmls = str(htmls, encoding='utf-8')   print(htmls)def go(self):self.__fetch_content()spilder=Spilder() spilder.go()

首先我们观察第一个print输出的字节码可以看到它是以"b’\x1f\x8b\x08"开头的 ，说明它是gzip压缩过的数据，这也是报错的原因，所以我们需要对我们接收的字节码进行一个解码操作。修改如下：

from urllib import request from io import BytesIO import gzipclass Spilder():url='https://www.douyu.com/'def __fetch_content(self):r = request.urlopen(Spilder.url)htmls = r.read()buff = BytesIO(htmls)f = gzip.GzipFile(fileobj=buff)htmls = f.read().decode('utf-8')print(htmls)def go(self):self.__fetch_content()spilder=Spilder() spilder.go()

#--------------------------------------------上面是转载内容---------------------------------------------------------------------------------------

以上转载内容最终被应用于:

Tornado同步api和异步api混写一例

创作挑战赛新人创作奖励来咯，坚持创作打卡瓜分现金大奖

总结

以上是生活随笔为你收集整理的python3的web开发中出现UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid star的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。