python 模拟登陆 Github

[SakuraSa]

最近在学习python，想要用python爬一点Github上的数据
可是第一步模拟登陆就失败了
能请各位看看是什么问题么？

https://gist.github.com/SakuraSa/36ddbfc4ffb331eb2eae

环境：
python==2.7
BeautifulSoup==3.2.1
requests==2.4.0

[keithellis]

csrf-token

[kslr]

@keithellis 和我上一个头像是一样的。

[SakuraSa]

@keithellis
请问是这样么？
https://gist.github.com/SakuraSa/bbfd422c56b69991cf2c
我这里似乎还是不行……

[keithellis]

先访问 https://github.com/login
取出 <input name="authenticity_token" type="hidden" value="mMDKe49Tbw7EEaPHkiQHdCngXvRt7QWKAOPn/AQrgmbYJBZqNETMq6thgWSXvusWvPje+zzrzpXR6pX7aq+uTA==" /> 中 authenticity_token 的值。

[SakuraSa]

嗯，这个值在代码中已经取出了
这是当前代码的 payload 的值：
{'password': 'password', u'utf8': u'\u2713', 'login': 'username', u'commit': u'Sign in', u'authenticity_token': u'4+XkNAr6ZmwCakFtTT8I/+mSowYHW4OfFGYlOMnDMN05a1taSwKicHTQ4KdR5XDM0k0WwHLEcx/B+IEtQyZUpQ=='}

[keithellis]

u'utf8': u'\u2713' 可以不要

[SakuraSa]

@keithellis
结果还是不行的样子，不论加不加 u'utf8': u'\u2713'

[oott123]

诶，GitHub 有 API 的呀，没必要自己模拟嘛，多麻烦。
https://developer.github.com/v3/

[SakuraSa]

@oott123
还有这么方便的API，之前都不知道呢~

不过，我的目的主要是要熟悉一下怎么用python爬数据
所以，还是希望问题能够得到解答

[keithellis]

@SakuraSa POST 到 https://github.com/session 这个 URL。

[SakuraSa]

@keithellis
rsp = session.post('https://github.com/session', data=payload, headers=headers)
的确是post到这个地址的……

[keithellis]

@SakuraSa http://imgur.com/R7rZE3R

[SakuraSa]

我也得到了200的代码
但是并没有得到cookie
正确的cookie应该有：
logged_in=yes
user_session=xxxxxxxx
但是我的返回结果中没有（而且从内容看，似乎返回了首页的内容

[SakuraSa]

@keithellis
摸不到头绪，哪里错了呢 (✖﹏✖)↷

[keithellis]

@SakuraSa https://gist.github.com/keithellis/fcf6ae40c28b88cb1dc1 我试了没问题的。

[keithellis]

@SakuraSa http://imgur.com/PSykyOv

[SakuraSa]

@keithellis
是的呢，我也得到了同样的页面，状态200
但是似乎没有得到cookie
我把您例子的代码最后稍作修改：
https://gist.github.com/SakuraSa/3f1095cb0e98e6a0c59c
结果是这样的：
<Cookie logged_in=no for .github.com/>
<Cookie _gh_sess=eyJsYXN0X3dyaXRlIjoxNDExNDgxNjIxNzUxLCJzZXNzaW9uX2lkIjoiZWZiYWMzYzcyNjdkMTg5NDMwY2IxYTEwZTQ5MWM3NTIiLCJfY3NyZl90b2tlbiI6IjBNV0JEbkIxZWhuaUsrb3NmVndFTGk2MGpMTmFtbVRjUWVnYXptYlVZbUk9In0%3D--cf3681efff227b7b20789487548f5609b492f320 for github.com/>
--------------------
logged_in: no
[Finished in 5.1s]

似乎是没有登陆成功呢（顺请教一下，如何贴gist的代码呢？

[keithellis]

@SakuraSa 不好意思，多问一句，有替换 USER = 'USER' 和 PASSWORD = 'PASSWORD'为自己的用户名和密码吗。

[keithellis]

@SakuraSa 我就忘记替换了!

[SakuraSa]

@keithellis
的确很容易忘记呢，一开始我也忘记过（还差点把自己的账户贴出去了……
但是，现在这几次我没忘记呢
<a href="http://imgur.com/97TmB6o"><img src="?2" title="Hosted by imgur.com" /></a>