首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

对百万量级的数据如何快速聚类?

  •  
  •   gazhang · 62 天前 · 523 次点击
    这是一个创建于 62 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我有 100 万条数据,每个数据是一个 200 维的向量,考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法,但是半天没有结果。 计算平台是 windows 7,内存 16G。

    5 回复  |  直到 2019-08-23 17:33:49 +08:00
        1
    xxxy   62 天前
    有 gpu 的话可以用 tensorflow 的 k means,应该会快十几倍吧
        3
    pwrliang   62 天前 via Android
    上分布式吧,用 Spark 写个 K-means
        4
    shidenggui   62 天前
    pca 降维,再聚类
        5
    gazhang   53 天前
    最后还是在好点的机器上跑了,大概半小时。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4224 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 106ms · UTC 08:32 · PVG 16:32 · LAX 01:32 · JFK 04:32
    ♥ Do have faith in what you're doing.