Commit e9a74aa2 authored by 李康's avatar 李康

add some comment

parent 84dc06c7
...@@ -24,6 +24,7 @@ data_clean.py: ...@@ -24,6 +24,7 @@ data_clean.py:
product.py: product.py:
用于提取所有产品信息 用于提取所有产品信息
需要预先提供一个done.txt文件,该文件记录了哪些品牌已经被爬取,爬虫会跳过这些品牌防止重复爬取
执行方式为,将app翻到品牌列表页,然后执行python product.py 品牌名,这样会爬取对应品牌下的所有产品信息 执行方式为,将app翻到品牌列表页,然后执行python product.py 品牌名,这样会爬取对应品牌下的所有产品信息
或者将app翻到某品牌的产品列表页,执行python product.py,也会爬取该品牌的所有产品 或者将app翻到某品牌的产品列表页,执行python product.py,也会爬取该品牌的所有产品
在长时间爬取时,以息app可能会crash,爬虫提供了自动检测重启功能,但是该功能不是完全有效,有些时候手机会死机,有些时候重启逻辑会出bug, 在长时间爬取时,以息app可能会crash,爬虫提供了自动检测重启功能,但是该功能不是完全有效,有些时候手机会死机,有些时候重启逻辑会出bug,
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment