@icyalala 如果买回来一样不就更亏了。

@swsh007 这种方式不能太好判断吧，给人的感觉似乎过于主观。

@westoy

> 据我所知， 当年卓越(亚马逊)和当当、蔚蓝、china-pub 都是北京那边同一个上游渠道供的货， 不存在一个平台卖盗版， 其他几个大平台卖正版的情况的

对于这方面，我并不了解。人总是容易产生偏见。我稍微叙述一下我自己买过的情况。卓越没退出前，我买实体书多数在这些平台上面买，可能在卓越买的更多。我在当当仅买过几次，但是其中有一次买到缺字少页的，从那次过后基本就没在当当买过了。印象中在卓越买的相当多次之中，好像还没买过让我觉得是盗版的。即便是有，次数少到无法在脑海中留下印象，姑且以没有论之。我无法反驳你的说法，因为我对这方面并不了解。

另外，当年卓越那边的购买评论更像现在的豆瓣读书。而不像现在各个电商书店下面那种几乎清一色如何刷的那些评论了。

我不知道各位是否有这种情况——有一些书你刚买回来的时候，打开之后就不曾怀疑这本书是盗版。一些书看上去怀疑是盗版的种子一开始就不曾在心里出现过。

当然，也有可能仅仅只是这一批次的品控的原因。

最好有一种手段杜绝这种开盲盒一般的性质。品控不行的话或许也就认了。

@westoy 是个人就可能说错话做错事。

> 原则上没理由卖盗版啊。

理论上没有书店想卖盗版，但是否存在出现这种情况的可能性？但这种没有可以核实的手段存在，那买正版书不就如同开盲盒一般？有点怀念亚马逊还在国内卖实体书的时候......

2022-10-14 16:20:40 刚试了一下，headers 写全可以信息爬出来。

@wxf666 确实如此。一开始的时候我还喜欢用正则去抓取某些不是很规则的数据，感觉还有那么一丢丢的方便。但随着使用次数的增多，发现直接使用提取器更加简单直接，节省去测试正则的时间。

Pandas 倒省事一些，openpyxl 思路应该也大同小异吧。

```python
import pandas as pd

data1 = [11, 22]
data2 = [33, 44]
data3 = [55, 66, 77, 88]

df = pd.DataFrame([data1, data2, data3])
df = df.T
df.to_excel('test.xlsx', index=False, header=False)
```

def format_text(obj):
if not obj:
return None
return obj.text.strip()

直接搞个函数套上就行了。用 find 应该是 BeautifulSoup 的，find 本身找不到表达式会返回 None ，所以出问题的部分是你获取数值时没有考虑空的情况造成的异常。

如果我自己在写可能会考虑这种方式，感觉方便但是没有点语法雅观。但相比去改变模块里面的数据格式，可能这种来得更简单直接一些。印象中以前写 xpath 时就是这么弄的。

一个有 tbody 一个没有，所以找不到。
这么深层数的筛选器加上那么多的位置 index ，简直是独木桥中的独木桥啊。

刚试了一下，图片链接的话 data-src ，爬取的时候加个 referer 就不会 403

很多 Python 书函数部分都会提到，**参数尽量不要用可变对象**。函数参数部分的可变对象在内存中使用了相同的地址，导致实例化后的操作会产生意料之外的行为。

我觉得说是 bug 有点过，至少是可以理解的行为。只是在一开始不知道的时候容易被坑。

```python
class Foo:
def __init__(self, s=None):
self.s = s if s else set()
```

argparse 之类的。

直接用 queue 不就完事了吗？

多写，多看。
觉得老师的话没道理，就不要听。

我平时的打包方式：

Window10, python 3.8

pyinstaller -D 多文件
+ nsis 如果有必要的话。

确实，自己写的时候舒服，打包给别人用的时候麻烦。体态臃肿多少感觉丑陋...但考虑到节省了自己很多时间——不管是 code 还是别的——也就不去多想了。

@chengxiao |合理合规的使用爬虫技术有什么问题么？ 怕是连你自己也不信。你自己写爬虫的时候可看过 robots.txt ？搜索引擎在这里不好做为对比吧。robots.txt 里面，搜索引擎多数(基本上都是)不受限的。如果要遵守君子协议的话，多少网站自己写的爬虫将寸步难行。也因为 robots.txt 是君子协议，写爬虫者可不遵守，才有那么多参数加密的东西出现。硬要提升到法律层面的话，自己写的爬虫强过 robots.txt 就说不过去了。

@eudore 是啊，昨天在 Linux 试过，除了界面可能能显示之外其他都不行。如果想适配得检测系统分用不同命令。

@kaiger 好