V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
huzhikuizainali
V2EX  ›  Python

苹果 M1 芯片的并发运算能力强么?能在数据科学领域应用么?

  •  
  •   huzhikuizainali · 2021-03-12 20:04:08 +08:00 · 4282 次点击
    这是一个创建于 1112 天前的主题,其中的信息可能已经有所发展或是发生改变。
    N 卡有 cuda 库( python 上有 pycuda )可以用于做并发运算。在处理大数据是性能优于 cpu 。新出的 M1 芯片里面也集成的神经网络引擎和图像处理器 isp (以我粗浅的理解,神经网络的训练和图形图像处理都需要比较强的并行运算能力。如有错请指出)。那么:
    1 、M1 芯片的并行运算能力强么?适合应用在数据挖掘领域么?并行运算能力和目前的主流 N 卡比怎么样?为什么?
    2 、如果要应用 M1 芯片的并发运算能力有什么类似 cuda 这样的官方库可以用么?在 python 上能用么?
    3 、有人在 M1 芯片的 MB air 上运行过 pandas 和 numpy 么?速度怎么样?温度怎么样?有 bug 么?和 x86 芯片相比有什么不同?
    -------------有亲身使用经历或芯片从业人员指教还请不吝赐教!

    数据挖掘领域的从业人员考虑入手苹果 ARM 芯片的笔记本做生产工具么?
    26 条回复    2021-03-15 11:35:12 +08:00
    shenfu1991
        1
    shenfu1991  
       2021-03-12 20:21:57 +08:00 via iPhone
    不是有 m1 的 tensinflow 机器学习?可以搜索一下
    loliordie
        2
    loliordie  
       2021-03-12 20:23:31 +08:00 via Android
    各种基础库兼容性差到哭 搞个免费额度的云炼丹不香么……
    elonmask
        3
    elonmask  
       2021-03-12 20:26:27 +08:00 via Android
    挖矿能力是我的 1080ti 的 25 分之一倍
    hello2060
        4
    hello2060  
       2021-03-12 20:27:39 +08:00 via iPhone
    cpu 的运算能力应该无论如何赶不上显卡吧,显卡那是几千个核啊。

    10 个大学教授和 2000 个中学生比谁做加减乘除快,教授再牛逼也挡不住人少啊
    BingoXuan
        5
    BingoXuan  
       2021-03-12 20:32:02 +08:00 via Android
    @elonmask
    功耗比估计也是那么多
    wateryessence
        6
    wateryessence  
       2021-03-12 20:35:35 +08:00
    炼丹不都是直接用服务器吗
    huzhikuizainali
        7
    huzhikuizainali  
    OP
       2021-03-12 20:39:17 +08:00
    @loliordie 谢谢回复。请问你在 M1 的笔记本上用过哪些库,出现了什么问题。而可否分享一下。excel 用起来如何。例如在 excel 上做回归分析,规划求解
    xcstream
        8
    xcstream  
       2021-03-12 21:17:24 +08:00
    续航很强 哈哈哈
    YUX
        9
    YUX  
       2021-03-12 21:25:05 +08:00
    1 、并行能力不强,m1 相当于 4 和 8 线程,如果要占满 cpu 就一定不能买没风扇的 air 。和 cuda 没法比。
    2 、没有类似 cuda 的东西,这个领域唯一能用上 gpu 的就是 tensorflow,但是 bug 非常非常多,经常是计算结果错的离谱
    3 、m1 的 numpy 速度参考 /t/733777 numpy 没什么 bug
    4 、这个领域来讲 m1 是一个非常好的 terminal
    liprais
        10
    liprais  
       2021-03-12 21:25:23 +08:00
    "N 卡有 cuda 库( python 上有 pycuda )可以用于做并发运算。在处理大数据是性能优于 cpu 。"
    认真的么.....
    liprais
        12
    liprais  
       2021-03-12 21:31:25 +08:00
    @YUX 你这跟处理数据八杆子打不着好么
    vopin
        13
    vopin  
       2021-03-12 21:34:49 +08:00 via iPhone
    软件都没,想跑个 demo 都折腾半天不成功
    YUX
        14
    YUX  
       2021-03-12 21:40:33 +08:00
    @liprais #12 数据处理已经不流行 pandas numpy 这些了么
    huzhikuizainali
        15
    huzhikuizainali  
    OP
       2021-03-12 21:50:52 +08:00
    @YUX 谢谢针对性的回复。特别是 3 、推荐的链接。关于 4 、并行能力不强在数据领域应该是个短板吧(排除掉需要用服务器跑的数据)。然后说是非常好的 terminal,那么推荐的理由有哪些呢?
    huzhikuizainali
        16
    huzhikuizainali  
    OP
       2021-03-12 21:52:44 +08:00
    @liprais 哪里说的不对,还请指教。
    huzhikuizainali
        17
    huzhikuizainali  
    OP
       2021-03-12 21:53:59 +08:00
    @YUX 请问现在有哪些接班 pandas 和 numpy 的库?
    YUX
        18
    YUX  
       2021-03-12 22:04:31 +08:00
    @huzhikuizainali #15 如果大规模数据在现在 m1 上跑体验不会很好,cpu 占满 2 个核温度就起飞了。正如你所说的并行能力不强是一个处理数据的时候很大的问题。所以我的 m1 只会在正式处理全部数据前小范围跑一跑。同时一些用到 cuda 的库你在 m1 上就只能干瞪眼了。

    但是作为一个 terminal,无论你用 iterm2 还是 vscode 远程到服务器,高性能本地主机,树莓派集群……都没有问题,或者 colab 。续航长,安静,稳定都是非常好的使用体验。如果主机上有 n 卡,你想用的各种加速库都能用上。

    没有接班 pandas numpy 的 只有一些加速库 但是实际使用上各有各的限制,目前还是要老老实实用这俩 这俩在 m1 上都很完美
    huzhikuizainali
        19
    huzhikuizainali  
    OP
       2021-03-12 23:36:22 +08:00
    @YUX #17 谢谢回复。你的回复对我很有帮助。
    jeeyong
        20
    jeeyong  
       2021-03-12 23:49:56 +08:00
    @shenfu1991 #1 有...不过使用的是 apple 的神经网络库.貌似还解决了一个 TF 的小 bug..
    janxin
        21
    janxin  
       2021-03-13 13:31:13 +08:00 via iPhone
    m1 只有 cpu,tf,pytorch 什么的放弃吧,我研究了一下没抱太大希望。cuda 就更不用想了。

    pandas 和 numpy 实际使用下来还是可以的,不过他们本来有 intel 优化所以具体没对比过速度,bug 也没遇到什么大 bug
    huzhikuizainali
        22
    huzhikuizainali  
    OP
       2021-03-13 13:53:46 +08:00
    @janxin 谢谢回复。所以你现在工作是 M1+intel 两个笔记本? M1 上的 excel 在做一些回归,规划求解,数据--获取外部数据时,稳定性如何 bug 多么?另外,M1 上的 office 不便宜吧。
    janxin
        23
    janxin  
       2021-03-13 14:58:59 +08:00
    @huzhikuizainali 我主力 M1,Excel 用的少不是很熟,所以没什么参考价值,用的基本基础功能,大部分还是直接写代码了
    huzhikuizainali
        24
    huzhikuizainali  
    OP
       2021-03-13 22:47:26 +08:00 via iPad
    @janxin 谢谢回复
    Junzhou
        25
    Junzhou  
       2021-03-14 01:39:49 +08:00 via iPhone
    @huzhikuizainali 我这家庭版 Office365 的订阅还一位,拼吗?
    一年 48 元,买的京东微软自营的 Office 家庭版订阅。
    elonmask
        26
    elonmask  
       2021-03-15 11:35:12 +08:00
    @BingoXuan 我的台式机电源 750w,能带两个 1080ti,挖矿是 mac M1 50 倍,mac 挖矿能做到功耗 15w 吗?事实是 mac 挖矿功耗 30 多瓦,而且我的台式机挖矿时又不需要使用屏幕,挖矿的时候 600 多瓦,算力功耗比是 mac 的 2 倍以上,这还是 16nm 跟 M1 的 5nm 的比较。如果现在英伟达显卡是 5nm 的话,那就更牛逼了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5382 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 08:39 · PVG 16:39 · LAX 01:39 · JFK 04:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.