tinyCrawl Documentation

tinyCrawl 是一个微型轻量的爬虫框架，具有以下特点：

• 简单轻巧，没有任何第三方包的依赖

• checkpoint断点续爬

• 支持多线程爬取

• 内置日志功能

• 使用简单

项目地址

使用指南

• 安装Installation
  • 通过pip
• How to use 如何使用
  • 函数式
  • 继承式
• Main parameters主要参数说明
  • iter_url 可传递参数的链接
  • iter_num_range 迭代参数
  • thread_num 线程数
• Configurable parameters 可配置参数说明

API

• API Reference
  • base Module
  • Config