Ruia:基于 asyncio 和 aiohttp 的异步爬虫框架(Python)

Ruia 中文文档

Ruia是一个基于asyncio和aiohttp的异步爬虫框架,它的目标是让你更加方便且迅速地编写出属于自己的爬虫

很高兴你能使用Ruia来实现爬虫程序,不过在编码之前,希望你能通读此文档,因为它包含了Ruia的使用方法以及一些基础概念介绍

First steps

Topics

  • Item:定义爬虫的目标字段
  • Selector:从HTML中提取出目标字段
  • Request:请求并抓取目标网站资源
  • Response:进一步封装响应内容
  • Middleware:使爬虫支持第三方扩展
  • Spider:爬虫程序的入口

Getting help

如果在使用过程中遇到了困难,随时欢迎提Issue

也随时欢迎加我微信拉您进群交流,备注(Ruia):

sanic_group


为您推荐了相关的技术文章:

  1. NSA如何定位泄密女临时工?E安全为您还原追踪全貌! | E安全
  2. gotunnel.org 网站简介 - imlonghao
  3. 使用Gulp构建网站小白教程 - 奇舞团博客
  4. CVE-2017-0199漏洞复现过程 | 浮萍的个人空间
  5. 简介 · burp_suite_doc_zh_cn

原文链接: toutiao.io