腾讯云的事,是不是很多人以为三副本就是备份,不应该丢数据,很靠谱....

2018-08-06 21:12:27 +08:00
 void1900

希望这些人不是后端或运维…

三副本都是同步的,一般只能避免磁盘损坏问题…

并不是你们以为的备份功能…


阿里云有云盘三副本的技术介绍

https://www.alibabacloud.com/help/zh/doc-detail/35108.htm

如果你还要咬着不放,我希望你转前端、客户端 ^_^

19111 次点击
所在节点    程序员
151 条回复
wdd2007
2018-08-06 22:15:34 +08:00
三副本能避免硬件故障导致的数据丢失么?
lfzyx
2018-08-06 22:17:18 +08:00
腾讯云 p7 专家来洗地了?
type
2018-08-06 22:17:19 +08:00
想想那得多可怕,三份副本的硬件都挂了
type
2018-08-06 22:18:54 +08:00
腾讯云:云硬盘服务等级协议(SLA),第 2.1.4 章节: 数据知情权,最后一句:并定期进行数据冷备操作。

哦,对了,连“数据冷备”的那个硬件也挂了
hanru
2018-08-06 22:22:58 +08:00
希望腾讯云能公布问题硬盘的型号和固件版本。
void1900
2018-08-06 22:24:33 +08:00
@lfzyx 我不是腾讯的让你失望了
likuku
2018-08-06 22:27:05 +08:00
有机会玩下 hadoop 的 hdfs 就会对 “多副本” 有比较直观的认识,

“避免硬件故障导致数据丢失”,
这得看故障的硬件数量占受影响的存储池所组成的硬件总量里的份额高低了,
若超出带冗余功能的存储系统的容错上限,那么数据丢失是不可避免的。

另外,ZFS 也有 副本的概念,即便一个 ZFS 存储池是仅仅建立在 1 块物理硬盘上,
也可以给这个池设定使用多个数据副本,当然那块唯一的物理盘挂了,存储池也一样完蛋了,
虽然你让一个鸡蛋必须克隆多个分别放在多个筐里,但载那些筐子的船翻了,结局是一样完蛋的。
mhycy
2018-08-06 22:46:45 +08:00
高可用磁盘底层架构为非同批次、非同固件的等容量、等架构磁盘组建硬件 /软件 RAID
此磁盘柜应配合巡检定期校验数据是否可用,并尽早踢出异常磁盘
三备份应是基于此磁盘架构的冗余备份架构,无论是实时互备还是定时冷备

一般云 VPS 服务的自动迁移依赖独立的磁盘柜与计算集群实现
那么在腾讯的这个案例上,可能存在三台阵列柜、一套磁盘阵列网关与若干计算节点组成的计算机群
丢失数据的范围为一个集群(假定整个集群都出现静默错误,且真的存在三备份架构)

那么问题来了
1、为什么现在只有一家公司发声?
2、如果真的是三备份架构,为什么会三套存储设备同时故障?
3、为何阵列损坏后没有任何警告、通知直接就是静默错误?

假设现在的信息都为真实信息,没有人为修饰掩盖
有以下推断:
1、不存在三套设备互备的磁盘架构
2、这个软件 BUG 不在硬盘而在软件分布式上面
3、假设 2 推断为假,软件 BUG 位于磁盘,则阵列架设没有严格遵守高可用原则进行设计
4、假设 2 推断为真,那么更有可能的情况是 BUG 位于阵列卡,数据位于单一母机,丢失范围为一台母机
5、假设 2 推断为真,数据存在集群上面,且 BUG 位于自研的分布式存储平台上,那么...不多说了

说实在,怎么想都想不出来为什么一个成熟的云平台能搞到数据全丢
甚至有点怀疑是不是有人手动的“ rm -rf ”然后后续业务直接写花了集群
rrfeng
2018-08-06 22:53:25 +08:00
@mhycy
一直懒的打那么多字,我看法相同。使用方的文章只会扯皮,没有提供实质信息。腾讯云的声明提供的技术细节一点都不充分。

希望腾讯云能再公开更多的细节。
void1900
2018-08-06 23:10:46 +08:00
@mhycy

静默错误(写入数据和读取出来的不一致)

我理解的是,因为读写不一致导致镜像磁盘以为镜像内的数据是对的,然而其实并不一致,最后所有磁盘数据都乱了。
jadec0der
2018-08-06 23:10:49 +08:00
lz 的意思是腾讯云的三副本用了同样的硬盘,同样的固件,而且这个 bug 是只要写特定数据就会导致损坏?你咋知道这么多
void1900
2018-08-06 23:12:23 +08:00
@jadec0der raid 丢数据并不是只有全部磁盘损坏了才会丢的
mhycy
2018-08-06 23:17:36 +08:00
@void1900
构建磁盘阵列的时候,静默错误是个必然需要考虑的异常情况
(事实上依据观察 V 站的各位似乎考虑到这个问题的并不多)

针对的是单个磁盘回报不正确数据的情况,该如何尽早的发现尽早的排除
在支持静默错误发现的阵列系统例如:ZFS
静默翻转 /静默写入读出不一致是不可能导致整个磁盘阵列丢失数据的
因为软件层面上会实时的校验读取到的数据与元数据是否一致(显然元数据也是冗余的)
对于异常磁盘一次读出就尽早修正并且抛出警告了
如果问题出自硬盘底层固件,那么问题范围也仅仅可能局限在一个磁盘阵列节点也不可能全存储系统的崩溃
void1900
2018-08-06 23:19:16 +08:00
murmur
2018-08-06 23:21:58 +08:00
3 副本如果不是 raid 还能同时炸
mhycy
2018-08-06 23:23:31 +08:00
@void1900
重新阅读回复,你会知道为什么同时损坏理应概率极低
void1900
2018-08-06 23:26:43 +08:00
@mhycy

zfs 是 bsd 那边的 一般的云基本都是硬件 raid

我想说的是像一般 raid1 raid5 raid10 等 在这种情况下我觉得都是有可能丢数据的

各种云的三副本其实也只是 raid1 3 镜像而已
1762628386
2018-08-06 23:32:26 +08:00
CVM 提供达 99.95 %的服务可用性和 99.9999999% 的数据可靠性。CVM 搭载的云硬盘提供三副本存储策略,保证了数据在任一副本出现故障时快速进行迁移和恢复。CVM 搭载稳定的网络架构,采用成熟的网络虚拟化技术和网卡绑定技术,在 T3 级以上数据中心中运行,保证网络高可用性。
kappa
2018-08-06 23:33:56 +08:00
@lfzyx 腾讯 P 是产品,等级 7 不存在,为了黑而黑你活的累不累
1762628386
2018-08-06 23:34:46 +08:00
腾讯云 CVM 产品详细信息
腾讯云 CVM 提供了在云中的可扩展的虚拟计算资源,允许您选择多种操作系统来启动 CVM 实例,并加载到您自定义的应用环境。后续随着业务量的变化,您还可以随时调整您的 CVM 规格。

您可以使用控制台、命令行或 SDK 等多种管理工具来启动、监控或终止您的实例。

腾讯云 CVM 提供按量计费和包年包月两种计费模式,您可以灵活选择付费方式,按量计费只需为您实际消耗的资源付费,按小时结算;包年包月适合业务量稳定的场景,费用更低廉。

功能
腾讯云 CVM 提供多种强大功能,用于构建可扩展、能够故障恢复的企业级应用程序。

实例类型
实例类型决定了用于实例的主机硬件配置。每一个实例类型提供不同的计算和存储能力,用户可以基于需要提供的服务规模而选择实例计算能力、存储空间和网络访问方式。有关每种实例类型的更多信息,请参阅 CVM 实例配置。实例启动后,用户即可像使用传统计算机一样使用它,用户对启动的实例有完全的控制权。

最新一代云服务器
腾讯云在国内率先使用英特尔下一代至强®处理器 Skylake,推出国内最新一代云服务器。与过往采用至强系列处理器的云服务器相比,使用 Skylake 处理器的新一代云服务器具有更高计算性能、更大内存带宽、更强存储 IO 性能、更低网络时延等优势,能满足游戏行业、视频行业、金融行业等领域的更高计算需求。
最新一代云服务器火热申请中 >
第二代云服务器
我们最新推出硬件升级的第二代云服务器,采用英特尔®至强® V4 处理器,整数和浮点运算性能相比以往提升 40%;搭配 DDR4 内存,性能提升 30%;全面搭配网络增强,包转发率( PPS )最高可达 30W。
丰富的机型配置
云服务器 CVM 提供多种适用于不同使用场景的实例类型供您选择,这些实例类型由 CPU、内存、存储和网络容量组成不同的组合,您可灵活地为您的应用程序选择适当的资源组合。每种实例类型都包括多种实例大小,从而使您能够将您的资源扩展到符合目标工作负载的要求。
了解实例类型详情 >
灵活的配置调整
云服务器 CVM 提供丰富的计算、网络和磁盘的配置及容量扩展,支持不关机随时调整网络,支持关机状态下基于云盘的硬件调整和磁盘扩容。
对于突发性业务高峰,您可以使用按量计费的计费模式,随时开通 /销毁计算实例,按实例的实际使用量付费。计费精确到秒,最大程度降低成本。
您可在页面上通过鼠标点击操作,一键升级到更高性能和容量的实例规格。升级过程中不影响您业务正常访问和使用,实现快速、平滑扩容,满足业务快速发展需要。
多地域与多可用区
腾讯云服务器托管机房分布在全球多个地域,您可以选择靠近您目标客户的地域来部署 CVM,从而大幅降低访问时延,提升业务体验。
每个地域内有多个互相隔离的可用区,如果您的业务需要较高的容灾能力,可以将 CVM 实例部署在同一地域内的不同可用区,保护应用程序不受单一可用区故障的影响。
了解地域及可用区详情 >
镜像
用户可以使用同一个镜像启动不同类型的实例,镜像是一种云服务器软件配置(操作系统、预安装程序等)的模板。腾讯云要求用户通过镜像启动实例。镜像可以启动多个实例,供用户反复多次使用。镜像是腾讯云 CVM 实例的操作环境模板,通常包含操作系统和预先部署的软件。镜像功能可以帮助您快速部署环境。
您可以将已经部署好环境的 CVM 实例制作为镜像,在新创建 CVM 实例时加载此镜像,从而极大提升部署效率。
您可以将自定义的镜像通过控制台、API 或 CLI 与其他用户共享。
腾讯云官方提供公共镜像供您选择,腾讯云市场中也提供第三方镜像(多种操作系统及应用程序)。
支持跨地域镜像复制功能,您可以在不同地域下快速部署相同的云服务器实例,提高应用程序的健壮性。
除了 CVM 实例和存储的标准使用费外,镜像服务不需要其他任何费用。
了解镜像详情 >
云硬盘
高可靠性
云硬盘是数据块级别的持久存储设备,具有高可用性、高可靠性的特点,数据可靠性达 99.999999%,领先业内水平。云硬盘采用三副本存储机制,在任何一个副本故障时快速进行数据迁移恢复,时刻保证用户数据 3 份副本可用,为您提供安全放心的数据存储服务。
高性能
支持三种类型的云硬盘:普通云硬盘,高性能云硬盘和 SSD 云硬盘,满足不同场景下的需求。其中 SSD 云硬盘采用 NVMe 标准高性能 SSD,单盘提供 24000 随机 IOPS,260MB/s 吞吐,同时实现了超强性能与超高可靠性。
了解三种云硬盘的详细对比 >
快照备份
通过对云硬盘创建快照来保留数据的备份副本,您可以随时从快照创建新的云硬盘,并将其连接到另一个实例,提高业务的灵活性。
了解快照详情 >
扩展性
您可以自由配置云硬盘的存储容量,按需扩容,且无须中断业务。
单磁盘容量为 10-16000GB,单 CVM 累计可挂载 160TB 的存储,单 CBS 集群存储容量无上限,高效应对 TB/PB 级数据的大数据处理场景。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477408

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX