sillydaddy

我支持 OP 做出来。虽然名叫对线，但它暗含了很深刻的道理。/doge
什么道理呢？那就是 Roam Research 想要达成的那个目标：每个观点都有对应的支撑，论据层层叠叠，直到最底层的某个事实。
把对线想象成一棵树（一棵表达引用关系的树），最上层的观点一直延伸，直到被最下面的事实支撑。
而对线的过程就是挖对方的树，可以挖中间部位（指出逻辑推导错误），也可以挖根部（指出事实错误）。

我看了原文，说的是「研究者为了短期性能提升，会倾向于注入自己对领域的人类知识；但从长期来看，真正重要的只有利用大量计算」，意思是倾向于通用计算的。而你自己的是“反向苦涩教训”吧。

潮退了，谁在裸泳？你抓到了几个趴在沙滩上扑棱的？ talk is cheap, show me your photo!

@newtype0092 也就是说，对于「「北京的糖葫芦是不是很有名？」」这个问题，如果模型的第一个字是「不」，那么你试验 1 亿次，也得不到「不对」、「不是」这样的答案。

@newtype0092
或者换个说法，当输入「北京的糖葫芦是不是很有名？」之后，模型回答的第一个字是「不」，然后，后续模型该选择什么呢？「不对」？「不是」？「不错」？后续字的选择是按照 LLM 的理解来选择的，而不是说此时「对」、「是」、「错」这 3 个字的概率分别是 1%，1%，98%。我敢说，「不」字后面「对」、「是」这 2 个字的概率，肯定是 0 ！

@newtype0092 #24
「 LLM 的数学模型就是个概率模型，不存在对意思的逻辑判断」你的意思是 LLM 无法进行逻辑判断吗？
「长上下文没有偏离是因为 Attention 机制」，我反驳的是有人简单的认为 LLM 的概率，是对下一个 token 的概率选择！比如在糖葫芦的例子中，他们认为 LLM 就是在用概率在“没”，“不”，“是”，“对”，“说”，“你”这些字中选择下一个字，所以，他们认为 LLM 就是概率机器，没有理解。 而恰恰是这个例子，说明了 LLM 是在对“北京的糖葫芦很有名”表达肯定的回答，无论它以概率选择哪个字，都是如此。