您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

使用Java API将Parquet格式写入HDFS,而无需使用Avro和MR

使用Java API将Parquet格式写入HDFS,而无需使用Avro和MR

实际上,没有外部框架的帮助,没有太多可用于读取/写入Apache Parquet文件的示例。

镶木地板库的核心是镶木地板列,您可以在其中找到一些直接读取/写入的测试文件https ://github.com/apache/parquet-mr/blob/master/parquet-column/src/test/java/org/ apache / parquet / io / TestColumnIO.java

更新:响应API弃用的部分:应将AvroWriteSupport替换为AvroParquetWriter,我检查ParquetWriter是否已弃用并且可以安全使用。

问候

java 2022/1/1 18:16:24 有780人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶