问个 curl 循环请求的问题,折腾好几天了...

2017-04-28 15:59:47 +08:00
 grey5659

大概的流程是:模拟登录网站,然后获取到指定时间所有订单号 billId,然后用 billId 去批量请求获得相应订单下面的数据,例如 www.xxx.com/getOrderDetailInfo.action?billId=00001 (比如到 00009 ),但是总是只能得到其中几条(不定数量),这到底是为什么额,折腾好几天了。。。。哪位大大能指点我下。。

3375 次点击
所在节点    PHP
10 条回复
wellhome
2017-04-28 16:07:30 +08:00
加日志,加断点,以后问问题把信息提供全了,你讲的太范
sunulin
2017-04-28 16:09:56 +08:00
又见 xxx
grey5659
2017-04-28 16:23:32 +08:00
@sunulin 不是公开的网站嘛。。。
Light3
2017-04-28 16:30:58 +08:00
你先一步步来 打断点也好加日志也好 你看看究竟为何 你这什么信息也不提供 猜不出来阿
grey5659
2017-04-28 16:38:32 +08:00
@Light3 嗯,也就是说 post10 个请求,有些是返回的空,怎么把返回为空的原因找出来呢?日志怎么加呢?请指点一下了,谢谢
vjnjc
2017-04-28 16:40:44 +08:00
把 url 和 response 的 pair 打在日志里!!!然后对返回空的 url 手动访问调试!!!
yfl168648
2017-04-29 09:16:12 +08:00
有没有可能人家有反爬虫
grey5659
2017-05-02 18:11:31 +08:00
https://segmentfault.com/img/bVM2u0?w=472&h=436
把 http 头打印出来,分别是返回数据的和没有返回数据的
登录后把 cookie 存在 cookie.txt 里的,后面的 post 请求都是把这个文件传进去的,为什么这里 cookie 会变成这样呢?
@wellhome
@sunulin
@Light3
@vjnjc
@yfl168648
Light3
2017-05-03 10:38:58 +08:00
@grey5659 应该是 cookie 存的不对..那个上面不写的你 session 状态不对么..
grey5659
2017-05-03 12:01:57 +08:00
@Light3
要被这鬼机制弄晕了....
https://segmentfault.com/img/bVM4Bl?w=1342&h=574
下面是保存为 cookie.txt 的 cookie 信息
https://segmentfault.com/img/bVM4c3?w=773&h=111

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/357974

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX