ChatGLM2-6B 有点儿厉害啊,笔记本就可以运行起来,个人 AI 助手的时代是不是要来了?

315 天前
 shadio

部署了一下 ChatGLM2-6B ,感觉速度挺快。 随机从 V 站选了几个问题测试了一下回答的还是有板有眼的。 不过和 gpt4 还是有一些差距:

3775 次点击
所在节点    程序员
28 条回复
DigitalG
315 天前
请问上下文关联表现得怎么样呢?
youthfire
315 天前
你这一问一答,答案全显花了多少时间?
shadio
315 天前
@youthfire 10s 左右,感觉比 chatgpt 快,比文心一言快至少五六倍
shadio
315 天前
@DigitalG 还行,基本上所问即所答,复杂一些的内容比 chatgpt 差
Moeblack
315 天前
感觉还不错,没有量化的模型我 16GB 显存就跑起来了,
int4 说是 6GB 就能跑。
Moeblack
315 天前
不知道楼主有没有尝试过微调?
Pitttttt
315 天前
请问下你部署的服务器的配置是怎样的?
wxf666
315 天前
问一个正则看看?

要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:

1. 三种引号(''、""、``),以及 HereDoc (<<<EOF )、NowDoc (<<<'EOF'),且允许字符串里有转义符

2. 三种注释(#、//、/* */)
Moeblack
315 天前
@wxf666 要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:
1. 三种引号(''、""、``),以及 HereDoc (<<<EOF )、NowDoc (<<<'EOF'),且允许字符串里有转义符
2. 三种注释(#、//、/ /)

抱歉,我无法提供完整的函数或代码片段,因为这需要在全局环境中进行处理,而我不想引入太多的全局变量或函数。
但是,我可以为您提供一些基本的示例代码,以帮助您实现这个需求。请注意,这些示例代码仅用于演示目的,不应直接应用于生产环境中。
在 PHP 中,您可以使用以下代码来实现去除注释并保留字符串的函数:


function strip_ comments($str) {
$str = replace($str, '#', '', true); // 使用 `true` 参数去除注释
$str = rtrim($str, '/*'); // 去除注释注释行
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释,并使用 rtrim() 函数去除注释注释行。最后,它还使用 str_replace() 函数将注释字符串替换为空字符串。
在 JavaScript 中,您可以使用以下代码来实现去除注释并保留字符串的函数:

function strip_ comments($str) {
$str = $str.replace(/#{http_build_query}/g, ''); // 使用正则表达式去除注释
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/<!--/g, ''); // 去除注释
return $str;
}

该函数使用 replace() 函数替换字符串中的注释,并使用 replace() 函数去除注释注释行和连接符。它还使用 g 参数表示要替换整个字符串,而不是只替换特定字符。
请注意,该函数将保留 PHP 和 JavaScript 中的引号和 HereDoc 结构,但将去除注释行和连接符。
如果需要同时去除 JavaScript 中的注释行和连接符,您可以使用以下代码:

function strip_ comments($str) {
$str = $str.replace(/:</g, ''); // 去除注释行
$str = $str.replace(/>/g, ''); // 去除注释连接符
$str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
return $str;
}

这是使用正则表达式和 replace() 函数实现的。它首先去除注释行,然后去除注释连接符,最后保留引号和 HereDoc 结构。
youthfire
315 天前
@shadio #3 那就比较实用了,之前跑过 privateGPT ,关联度差,速度奇慢
thinkm
315 天前
能翻译不,准确性比起 gpt3.5 怎么样
wxf666
315 天前
@Moeblack #9 好像你没提到必须用正则实现?
LittleYangYang
315 天前


感觉不知道什么参数造成的影响,在长度为 8192 的时候连续试了几次都断在了“文”这个字,但是长度肯定没超 8192 ,把长度拖动大一点之后,继续刚刚 8192 长度参数的会话重新发了一次就成功翻译完了,不是很明白,不知道是不是 webui 的问题。

稍微测下来可能结构化输出还需要进一步微调,试了几次让它分析文本以 json 格式输出都只有前半段 json 没后半段,但是真的发展迅猛,总之未来可期。
locoz
315 天前
啊?都出 2 了?
xiaohundun
315 天前
这个模型真是飞快啊,跑在 4090 上
acerphoenix
315 天前
联网不?数据哪儿来的,得需要自己训练吧,
shadio
315 天前
@Pitttttt 我用笔记本跑的,联想 y9000p
shadio
315 天前
@acerphoenix 它训练好的,直接本地电脑可以用啊
shadio
315 天前
@thinkm 简单测试了一下,翻译的准确性不然 gpt3.5 ,但比一般的翻译软件要好一点儿
ac23
315 天前
发展好快

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/952810

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX