 |
timliu22322266V2EX member #360160, joined on 2018-11-01 14:46:09 +08:00 |
 |
Per timliu22322266's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
timliu22322266's recent replies
Nov 8, 2018 Replied to a topic by timliu22322266 › Java › PornHub 爬蟲心得 |
Pornhub 用页面的 javascript 计算出下一次请求的 cookie 值，
所以无法单纯使用请求拿到这组键
目前用 java 读取该页面的公式及参数运算，再放进 cookie 中
429 的错误已解决，目前稳定爬资料一晚.
所以无法单纯使用请求拿到这组键
目前用 java 读取该页面的公式及参数运算，再放进 cookie 中
429 的错误已解决，目前稳定爬资料一晚.
Nov 8, 2018 Replied to a topic by timliu22322266 › 程序员 › PornHub 爬蟲 |
Pornhub 用页面的 javascript 计算出下一次请求的 cookie 值，
所以无法单纯使用请求拿到这组键
目前用 java 读取该页面的公式及参数运算，再放进 cookie 中
429 的错误已解决，目前稳定爬资料一晚。
所以无法单纯使用请求拿到这组键
目前用 java 读取该页面的公式及参数运算，再放进 cookie 中
429 的错误已解决，目前稳定爬资料一晚。
Nov 8, 2018 Replied to a topic by timliu22322266 › 程序员 › PornHub 爬蟲 |
@shenxgan 老司机~ 够专业 XD.
Nov 3, 2018 Replied to a topic by timliu22322266 › Java › PornHub 爬蟲心得 |
增加了 spring boot - H2 DB 增加了 config 讓使用者可選擇是否下載(僅蒐集已爬過的資料)
啟動 jar 後 在瀏覽器打 http://localhost:8000/h2-console/ 會出現 DB 管理頁面
啟動 jar 後 在瀏覽器打 http://localhost:8000/h2-console/ 會出現 DB 管理頁面
Nov 2, 2018 Replied to a topic by timliu22322266 › Java › PornHub 爬蟲心得 |
Nov 2, 2018 Replied to a topic by timliu22322266 › Java › PornHub 爬蟲心得 |
今日在公司有了新想法，
1.预计会增加 h2xSpirngDB 纪录已攀过的网站
2.增加 config.properties 可选择不进行下载
3.增加搜寻页面可查看数据库资料
4.Java Deep 对一些资料做出分析整理（这里完全没有概念...预计要 2~3 周时间才能做到了）
喜欢的朋友可帮点星代表对我的支持:)
1.预计会增加 h2xSpirngDB 纪录已攀过的网站
2.增加 config.properties 可选择不进行下载
3.增加搜寻页面可查看数据库资料
4.Java Deep 对一些资料做出分析整理（这里完全没有概念...预计要 2~3 周时间才能做到了）
喜欢的朋友可帮点星代表对我的支持:)
Select Language