 |
kaichenStart your Crypto Life from imToken Wallet V2EX 第 1320 号会员，加入于 2010-09-02 10:59:27 +08:00今日活跃度排名 6443 |
_kaichen
token.im
Metaverse
kaichen
kaichen 最近回复了
2 天前 回复了 liujigang 创建的主题 › Apple › 有什么途径购买 macbook 比较实惠 |
2 天前 回复了 liujigang 创建的主题 › Apple › 有什么途径购买 macbook 比较实惠 |
咸鱼员工 85 折再分期去买官翻，折上折+分期
M3 对比 M2 进化不多，现在买 M2 炒鸡实惠
M3 对比 M2 进化不多，现在买 M2 炒鸡实惠
6 天前 回复了 dzdh 创建的主题 › Docker › OrbStack 是不是也 G 了 |
跟 orbstack 本身没有关系，你可以打开选项，设置 proxy ，或者在 docker 选项里把 hub mirror 或者 proxy 给配置上
26 天前 回复了 coderpwh 创建的主题 › Twitter › 推特上面的撸空投是假的吗 |
不需要你花钱的，大概率是假的
这和当初 o2o 一样，他找 vc 要钱，然后给终端用户发钱发优惠，把数据做起来，再去拉更多投资
在 galxe 或者 layer3 上去做交互任务的，大概率是有空投预期
这和当初 o2o 一样，他找 vc 要钱，然后给终端用户发钱发优惠，把数据做起来，再去拉更多投资
在 galxe 或者 layer3 上去做交互任务的，大概率是有空投预期
108 天前 回复了 huzhikuizainali 创建的主题 › 以太坊 › 为什么以太坊的 Uncle rewards 比 block rewards 少那么多？ |
uncle block 数量上肯定比正常的要少一个量级，另外以太坊早就已经不是 pow ，而是 pos ，没有 uncle 这一说
最后的一个叔块已经是一年多前 https://etherscan.io/uncles
最后的一个叔块已经是一年多前 https://etherscan.io/uncles
108 天前 回复了 keepRun 创建的主题 › 程序员 › 推荐各位利用 ollama 在自有电脑上跑大模型，使用非常方便 |
@Rrrrrr #6
到 https://lmstudio.ai/ 下载个客户端，搜索对应大小的模型（ apple silicon 是内存的 3/4 可以作为显存），可以先搜索 qwen gguf 找个合适大小的玩玩看
然后可以直接对话，或者启动一个与 openai api 兼容的 api server
到 https://lmstudio.ai/ 下载个客户端，搜索对应大小的模型（ apple silicon 是内存的 3/4 可以作为显存），可以先搜索 qwen gguf 找个合适大小的玩玩看
然后可以直接对话，或者启动一个与 openai api 兼容的 api server
112 天前 回复了 coinbase 创建的主题 › 硬件 › M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何？ |
在 reddit 的 local llama 上，比较推崇的是买两块 3090 组 nvlink ，这样有 48G ，可以刚刚好跑个 70b 的 q5 量化版
112 天前 回复了 coinbase 创建的主题 › 硬件 › M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何？ |
那你可以对比 96G 的价格，从推理来说，能效方面 apple silicon 比较高，并且买回来就能用，买个 A100 还要组个主机
但是推理速度会被吊打，基本上差一个量级
- https://towardsdatascience.com/how-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0
- https://owehrens.com/whisper-nvidia-rtx-4090-vs-m1pro-with-mlx/
但是推理速度会被吊打，基本上差一个量级
- https://towardsdatascience.com/how-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0
- https://owehrens.com/whisper-nvidia-rtx-4090-vs-m1pro-with-mlx/
129 天前 回复了 cmonkey 创建的主题 › 硬件 › 运行 LM Studio 的电脑硬件配置 |
129 天前 回复了 cmonkey 创建的主题 › 硬件 › 运行 LM Studio 的电脑硬件配置 |
推理最重要的是有足够的显存可以把模型权重加载进来。
要么是搞个内存高一些的 mac ，要么是选个实惠一些的大显存显卡（去咸鱼淘二手）
7b 的 4bit 量化在 ~4G ，13b 的 4bit 在 ~8G ，34b 的 4bit 在 ~25GB ，70b 的 4bit 在 ~23GB
要么是搞个内存高一些的 mac ，要么是选个实惠一些的大显存显卡（去咸鱼淘二手）
7b 的 4bit 量化在 ~4G ，13b 的 4bit 在 ~8G ，34b 的 4bit 在 ~25GB ，70b 的 4bit 在 ~23GB
Select Language