@Author：Runsen

文章目录

• Pyspider框架介绍
• Pyspider框架安装
• pypsider入门
• 爬取目标（链家网）

Pyspider框架介绍

Pyspider 是个强大的由python实现的爬虫系统。

• 纯python的
• 强大的webui，支持脚本编辑，任务监控，项目管理和结果查看
• 数据后台支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息队列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任务优先级，定时，失败重试等调度方案
• 分布式架构，抓取js页面
• 支持Python2和3

Pyspider框架安装

• ubuntu

如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev

总结

以上是生活随笔为你收集整理的二十八、Pyspider 爬取链家网的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。