您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

从磁盘加载大型json文件时出现内存不足异常

从磁盘加载大型json文件时出现内存不足异常

问题在于您正在将整个大文件读入内存,然后尝试一次将其全部反序列化为一个大列表。您应该使用StreamReader来逐步处理文件。即使您在其中使用StreamReader,问题中的示例(b)也不会删除它,因为您仍在通过读取整个文件ReadToEnd()。您应该改为执行以下操作:

using (StreamReader sr = new StreamReader("D:\\Hun\\enplays.json"))
using (JsonTextReader reader = new JsonTextReader(sr))
{
    var serializer = new JsonSerializer();

    while (reader.Read())
    {
        if (reader.TokenType == JsonToken.StartObject)
        {
            // Deserialize each object from the stream individually and process it
            var playdata = serializer.Deserialize<playdata>(reader);

            ProcessPlayData(playdata);
        }
    }
}

ProcessPlayData方法应该处理单个playdata对象,然后理想地将结果写入文件数据库,而不是内存中列表(否则,您可能会再次回到相同的情况)。如果必须将处理每个项目的结果存储到内存列表中,则可能需要考虑使用链接列表或类似的结构,该结构不会尝试在一个连续的块中分配内存,并且不需要重新分配和复制需要扩展时。

其他 2022/1/1 18:17:02 有535人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶