kaichen

kaichen

Start your Crypto Life from imToken Wallet
V2EX 第 1320 号会员,加入于 2010-09-02 10:59:27 +08:00
今日活跃度排名 15826
根据 kaichen 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
kaichen 最近回复了
uncle block 数量上肯定比正常的要少一个量级,另外以太坊早就已经不是 pow ,而是 pos ,没有 uncle 这一说

最后的一个叔块已经是一年多前 https://etherscan.io/uncles
@Rrrrrr #6

https://lmstudio.ai/ 下载个客户端,搜索对应大小的模型( apple silicon 是内存的 3/4 可以作为显存),可以先搜索 qwen gguf 找个合适大小的玩玩看

然后可以直接对话,或者启动一个与 openai api 兼容的 api server
23 天前
回复了 coinbase 创建的主题 硬件 M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何?
在 reddit 的 local llama 上,比较推崇的是买两块 3090 组 nvlink ,这样有 48G ,可以刚刚好跑个 70b 的 q5 量化版
23 天前
回复了 coinbase 创建的主题 硬件 M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何?
那你可以对比 96G 的价格,从推理来说,能效方面 apple silicon 比较高,并且买回来就能用,买个 A100 还要组个主机

但是推理速度会被吊打,基本上差一个量级

- https://towardsdatascience.com/how-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0
- https://owehrens.com/whisper-nvidia-rtx-4090-vs-m1pro-with-mlx/
40 天前
回复了 cmonkey 创建的主题 硬件 运行 LM Studio 的电脑硬件配置
@kaichen #2

上面 70b 写错了,4bit 在 ~ 40G 占用左右
40 天前
回复了 cmonkey 创建的主题 硬件 运行 LM Studio 的电脑硬件配置
推理最重要的是有足够的显存可以把模型权重加载进来。

要么是搞个内存高一些的 mac ,要么是选个实惠一些的大显存显卡(去咸鱼淘二手)

7b 的 4bit 量化在 ~4G ,13b 的 4bit 在 ~8G ,34b 的 4bit 在 ~25GB ,70b 的 4bit 在 ~23GB
51 天前
回复了 jintaoxx 创建的主题 MacBook Pro MBA15 寸和 MBP14 寸如何选择?
air 和 pro 实际续航差距蛮大,air 基本上一天不充电不是问题,但 pro 消耗蛮大用一段时间后可能会只有半天(比如视频会议,和协同办公工具)

如果只是屏幕大小影响,真的建议,在工作的地方自己买个红米 4k 显示器,比起笔记本屏幕多一两寸提升更大更明显,花费也更少
本地跑个 mixtral 替代 chatgpt-3.5 问题不大,可以拿来替代 Immersive Translate 的翻译引擎,用 LM Studio 启动假扮 openai 接口

还有对一些无规则文本的处理,可以用 7b mistral 给 prompt 处理得到结果,比如分类,提取关键信息
62 天前
回复了 jackey115 创建的主题 Bitcoin 比特币、闪电网络智能合约 rust 开发
这是招聘去直接做 RGB 协议本身的开发?还是 RGB 其上的应用开发?
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3779 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 05:04 · PVG 13:04 · LAX 22:04 · JFK 01:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.