用 datasets 库读取 .json.gz 的数据集
使用的是 Amazon Review Data (2018) 作为演示,很标准的
.json.gz数据集。这个数据集里面,每一行都是一个 json object,具体有什么 key 可以去网站查看. 这里主要 focus on 如何把非 HuggingFace 数据集用
DatasetAPI 进行导入,以及面对数据缺 key 的处理方式.
datasets 库读取 .json.gz 的数据集使用的是 Amazon Review Data (2018) 作为演示,很标准的
.json.gz数据集。这个数据集里面,每一行都是一个 json object,具体有什么 key 可以去网站查看. 这里主要 focus on 如何把非 HuggingFace 数据集用
DatasetAPI 进行导入,以及面对数据缺 key 的处理方式.