package
0.0.0-20200613035304-c4769b55a45c
Repository: https://github.com/safeie/spider.git
Documentation: pkg.go.dev
# Functions
Errorf 抛出错误.
New 创建新的任务,参数为:任务编号,名称,域名,脚本目录
configDir 可为空,默认值是代码目录中的 config 目录.
NewFetcherPool 创建一个新的抓取器池子.
# Variables
ErrFetchDuplicated 抓取重复.
# Type aliases
AfterFetchFunc 获取后置方法.
AfterRuleFunc 规则处理后置方法.
AfterSaveFunc 存储后置方法.
AntiSpiderFunc 判断是否触发了反作弊策略.
BeforeFetchFunc 获取前置方法.
BeforeQuitFunc 退出前置方法.
BeforeRuleFunc 规则处理前置方法.
BeforeSaveFunc 存储前置方法.
CheckRepeatFunc 检测重复方法.
PrepareFunc 任务预处理函数.
SaveFunc 存储方法.