首页   注册   登录
 wqzjk393 最近的时间轴更新

wqzjk393

V2EX 第 202111 号会员,加入于 2016-11-19 23:13:27 +08:00
wqzjk393 最近回复了
看来大家还是挺反感简书 csdn 的 2333333
6 天前
回复了 orbwalker 创建的主题 程序员 ---- 你们是如何学英语的?
靠时间磨出来的。。我薄荷阅读现在显示的阅读量 40 万词,也就是说连续阅读 400 天了。。另外前一阵子看 Michael Nielsen 的 Neural Networks and Deep Learning 原文,花了几星期硬是看了下来,算是读的第一本英语专业书了。所以你看没什么途径的,只有忍着最初的抵抗情绪看下去,才能有进步
9 天前
回复了 mushokumunou 创建的主题 程序员 教练,我想学 web 前端。
少看 3cschool 菜鸟学院之类的语法教学,都太零碎了跟个 menu 一样。建议直接找个网站页面做仿站,学习时候用来填充的数据就全部自己造一点就好了,毕竟项目里数据都是后端 api 给你的你考虑数据的来源是没太大意思的。
基本上就是 html 写个骨架,然后通过样式类 class 到 css 里去定义样式,然后通过 js 去处理数据。前端其实就是这个逻辑,前期不要纠结于 css 那么多样式 html 那么多标签要怎么学怎么记,你只要理解了 html、css、js 在前端里的作用,然后需要什么查什么就好了。
例如 v 站,上面一个导航栏,下面一个 bottom,中间主体框架。你 html 就在 body 里直接分三个 div,然后中间的 div 可以看到有帖子内容主体,右边的广告栏、右上的个人信息,然后你一样跟着分 div。然后在主题内容里面又用许多个 div 包裹了每一条回复信息,这每一个 div 里面有个人头像 img 标签、有个人信息链接的 a 标签,有回复时间对应的 span 文本标签等等,简单说就是用你的设计稿把框架搭起来。
然后你需要修改样式吧,就像头像显示的大小,文字的大小。这就要通过 css 来分别确定了。其实简单的写写 css 并不难,难的是各种布局和样式的叠加经常会出现奇奇怪怪的 bug,不过样式这种东西慢慢调总是能调出来的
最后是 js,如果你是自己创建的数据拿来学习那 js 就没啥太大的作用。但是实际上项目中你的数据是从 api 拿到的,你需要做 request 请求获取数据,也需要做 post 提交表单等等。api 的数据是后端通过数据库查询返回来的,因此不同地方的数据格式和请求方式也会有区别,例如内容详情可能就是 title、content、comments、userid、username、userimg 等等这几个字段,主页的请求结果可能就是 title、url、comment_count 等等。不同格式的数据就需要不同的处理方式,因此就有了前端经典的 mvc 结构,model(m)就是起到了这个对不同格式数据不同需求进行统一处理的作用。js 基本上就是做这个用的,处理请求,格式化数据,然后 html 通过 src 等指定到这个格式化好的数据就可以显示页面了。

我没仔细学过 vue,但是学的是小程序开发,估计差不多。这些都是组件化编程,其实说白了还是包装,把各个部分进行抽象包装,然后在 html 里和原生组件(例如 img)一样调用这个组件,这样能让 html 结构更加简介清晰,但是实际的前端逻辑还是那一套
我会找个天使好好去爱你。。
北方:青岛、北京
南方:三亚、珠海,可能会考虑深圳
未来还是 java/html/js/css/php 等主导 web,c/c++/汇编 dsp 相关的主导芯片开发底层算法开发游戏开发等等,go 可能会在 web 有些发展,但是 python 基本上除了数据科学以外其他领域只能做为玩具
19 天前
回复了 wqzjk393 创建的主题 Python 问一个关于 scrapy 爬虫遇到反扒的问题
@RicardoY 对的,后来自己有研究了一下就是应该处理 request 的。我之前是不知道 scrapy 会首先请求 domain 下的 robot 做检测,然后第二次才会发送真正 url 的请求。所以在我中间件处理时候没有检测 url 是不是 domain+robot.txt 直接提取出来 request.url 丢给 selenium 了,所以就出错了,问题不在于 request.url 这个东西,而是我没有想到 robot 的问题
19 天前
回复了 wqzjk393 创建的主题 Python 问一个关于 scrapy 爬虫遇到反扒的问题
@GPU selenium 其实我也只是需要它动态加载和手动执行 js 脚本的功能,其他的 xpath 啊 selector 之类的有很多可以替代的东西。scrapy-splash 好像也可以做动态加载,改天试一下~

@skinny 嗯,robot 和 start_urls、request 那些差不多弄明白了。其实我自己写爬虫的话大部分时候都是 request+xpath。只是作为一个学爬虫的 scrapy 都不会用感觉有点说不过去。而且异步这方面 aiohttp 这些真的是不想自己研究了。。。
19 天前
回复了 wqzjk393 创建的主题 Python 问一个关于 scrapy 爬虫遇到反扒的问题
@locoz 嗯。。试了一下,scrapy 会先产生一个 robot 的 request 然后再产生一个真正 url 的 request。就是因为首先产生了 robot 请求,然后我中间件没有判断 url 是不是 xxx/robot.txt 就直接拿去做自定义 request_process 了,那第二次真正的 url 请求自然就不会传到中间件了。用 request.url 是没问题的。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   985 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 17ms · UTC 21:51 · PVG 05:51 · LAX 13:51 · JFK 16:51
♥ Do have faith in what you're doing.