Categorygithub.com/dong1hang/go-reptile
repository
0.0.0-20240722081737-66a1fce1c802
Repository: https://github.com/dong1hang/go-reptile.git
Documentation: pkg.go.dev

# Packages

No description provided by the author

# README

golang

xiaoyaojp 爬虫获取小姐姐照片

练手用(必须吐槽下,go的爬虫还是没有Python封装的好啊)

未完成

  1. 下午自己本地跑了没问题,晚上上传时再跑一次发现所有最底层url加入了随机参数[_dsign=*******],后来连F12都不让用了。。卧槽 我被防爬了
  2. 页面抓取照片仅做了一下部分的,不是所有的都能匹配
  3. 点击下一页这个功能没有做

完成

  1. 登录免验证 完成
  2. 页面迁移(带cookie) 完成
  3. 抓取各店铺的url,name 完成
  4. 抓取各店铺所发的贴子url,name 完成

故障分析して、リーターに報告しました。 以下の内容を返事しました。 「比較的、修正時の対応不備によりデグレードなどが発生したことで二次災害に繋がっている(発生率25%)ようですが、E列にそれを防ぐ手立てが全く見受けられないです 発生したことを次回確認するではなく、発生させないための対策が必要不可欠です 例えば、アウトプットファイルであれば、対応前後でwinmergeで比較して確認するとか、具体的な対策が必要です」 この故障でどうやって分析しますか? 原因:製造BUG、製造する時、空行の設定ロジックを誤って削除しまいました。 根本原因:該当バッチのみ 作成されたCSVファイルに該当空行観点がないため、PDFファイル比べないと確認にくいが原因であると特定しました。 改善:結合環境でPDFファイル作成できるのがほうしいです。