关于 C++读取大小为 2.51 GB (2,701,131,776 字节)到 char* yuanshuju 数组中去

[SmartTom]

如题，现在想实现将这个大文件(大小超过 int 最大范围)的文件放入到 char* yuanshuju = new char[2,701,131,776]中
现在就卡在第一步定义 yuanshuju 这一步，qt 一直提示"terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc"，本人没太做过 c++，这个提示是代表不能定义那么大的数组吗？还有别的可行方案吗。
系统：win11 64 位
QT: 5.12.12

[yougg]

先把变量名改为 metadata 吧, 看到这里就难受无法继续阅读了......

[proxytoworld]

同意一楼的

[iOCZS]

是 rawdata ，不是 metadata
@yougg

[deplives]

这个 yuanshuju 血压升高

[Mithril]

用 memory mapping ，不要手动去读它。

[silentx]

是啥东西要一次性读到内存里处理？不考虑分段读吗？不是每个人的机器都是 32G 内存起步的啊。。。

[maokg]

不知道一次性读 2.51GB 数据的应用场景是什么

[SmartTom]

@deplives 哈哈 我也是接手别人的项目，这不是我的风格。

[geelaw]

new char[2,701,131,776] 会分配长度是 776 个元素的 char 数组，不是你期待的 2.51 GB 。

int main() { new char[2701131776] { }; }

这个程序在我的电脑上编译为 64 位的话可以正常运行，并且确实占用了 2.51 GB 内存，如果用 32 位编译器则编译失败，因为分配的数组规模超过了 size_t 。

抛出 std::bad_alloc 的意思就是分配失败，或许你的页面文件和实体内存不够大。

如果数据来自于文件，可以用内存映射文件，Windows 的文档是 https://learn.microsoft.com/en-us/windows/win32/memory/file-mapping
POSIX 的文档是 https://pubs.opengroup.org/onlinepubs/9699919799/functions/mmap.html

[SmartTom]

@maokg 光谱数据处理，体谅挺大的

[Crawping]

理论 64 位程序的寻址空间是可以到 2'64 次字节
```C++
//你是真的这么写的 还是手写拷贝的? 中间为啥会有 ',' 逗号
char* yuanshuju = new char[2,701,131,776]
```
学其他语言问 GPT 比发帖要来得快

[geelaw]

@geelaw #9 没有超过 size_t (((φ(◎ロ◎;)φ))) 是 MSVC 只支持至多 2147483647 个元素。

[SmartTom]

@Crawping 这个我的问题，我是手动在编辑标题的时候赋值计算器里面的值，实际是去掉','的

[yougg]

@iOCZS #3 "元数据"不是"原始数据"

[tool2d]

我用 malloc ，别说是 malloc(2701131776)可以, 就算 malloc(4701131776)也行。

应该只是你内存不够的原因。”不够“不是说总剩余内存不够，而是无法分配一块巨大内存。

[shuax]

改成 64 位轻轻松松。

[greycell]

笑死，元数据 2 个 g ，还在嘴硬。

[MoYi123]

建议发一下编译器的版本

或者试试看这样写
auto alloc = vector<int64_t>(2701131776 / 8 + 1);
char* yuanshuju = reinterpret_cast<char*>(alloc.data());

[clue]

能流式处理不? 为什么一定要全读到内存里?

[royking930911]

从原数据着手吧 一次申请几个 G 的内存就算这次运行不出问题 下次也会崩
修改方法：1,分段读取 分段解析
2,优化算法 保存分段前后缓存数据和状态