package
0.0.0-20200613035304-c4769b55a45c
Repository: https://github.com/safeie/spider.git
Documentation: pkg.go.dev

# Functions

Errorf 抛出错误.
New 创建新的任务,参数为:任务编号,名称,域名,脚本目录 configDir 可为空,默认值是代码目录中的 config 目录.
NewFetcherPool 创建一个新的抓取器池子.

# Constants

MethodGET GET方法获取.
MethodPOST POST方法获取.

# Variables

ErrFetchDuplicated 抓取重复.

# Structs

FetcherPool 抓取器池.
Rule 任务的一个规则,不同的规则对应不同的处理流程.
Task 任务.

# Type aliases

AfterFetchFunc 获取后置方法.
AfterRuleFunc 规则处理后置方法.
AfterSaveFunc 存储后置方法.
AntiSpiderFunc 判断是否触发了反作弊策略.
BeforeFetchFunc 获取前置方法.
BeforeQuitFunc 退出前置方法.
BeforeRuleFunc 规则处理前置方法.
BeforeSaveFunc 存储前置方法.
CheckRepeatFunc 检测重复方法.
PrepareFunc 任务预处理函数.
SaveFunc 存储方法.