Python爬取链家成都二手房源信息 asyncio + aiohttp 异步爬虫实战

本文先熟悉并发与并行、阻塞与非阻塞、同步与异步、多线程、多线程、协程的基本概念。再实现asyncio + aiohttp爬取链家成都二手房源信息的异步爬虫，爬取效率与多线程版进行简单测试和比较。

原文链接：https://yetingyun.blog.csdn.net/article/details/107921563
创作不易，未经作者允许，禁止转载，更勿做其他用途，违者必究。

1. 基本概念

并发与并行

• 并发： 指在同一时刻只能有一条指令执行，但多个进程指令被快速的轮换执行，使得在宏观上具有多个进程同时执行的效果，但在微观上并不是同时执行的，只是把时间分成若干段，使多个进程快速交替的执行。
• 并行： 指在同一时刻，有多条指令在多个处理器上同时执行。所以无论从微观还是从宏观来看，二者都是一起执行的。

阻塞与非阻塞

• 阻塞状态指程序未得到所需计算资源时被挂起的状态。程序在等待某个操作完成期间，自身无法继续处理其他的事情，则称该程序在该操作上是阻塞的。
• 非阻塞：程序在等待某操作过程中，自身不被阻塞，可以继续处理其他的事情，则称该程序在该操作上是非阻塞的。

同步与异步

• 同步：不同程序单元为了完成某个任务，在执行过程中需靠某种通信方式以协调一致，我们称这些程序单元是同步执行的。
• 异步：为完成某个任务&#

总结

以上是生活随笔为你收集整理的Python爬取链家成都二手房源信息 asyncio + aiohttp 异步爬虫实战的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。