像 36 氪网站这样的帖子，该如何采集？

[joetao123]

比如 https://www.36kr.com/p/1932814869170564 ，通过访问获取的是 js 和一些编码信息，没法通过 jsoup 这样的工具去解析 html 内容。

[xiao109]

跟豆瓣一样执行他的解码 js 文件获取实际的编码信息，不然就用无头浏览器然浏览器去执行 js 渲染一次。

[raphaell2e]

https://github.com/RaphaelL2e/tech_platform/blob/master/server/pkg/reptile/reptile.py 两年前 爬过他

[SleepyRaven]

研究了一下，Sources 面板打开 app.[hash].js 可以看到 window.initialState.state 的 AES.decrypt 信息