R - write_parquet v slučky

0

Otázka

fwrite je opakovanie v priebehu mnohých .csv súbory v pracovnom adresáry, ale keď som sa napísať .parquet to prepíše každý čas.

Snažil som sa niekoľko prístupov, v podstate som sa snažia používať názov súboru som udržať .csv názov súboru, ako je uvedené nižšie, bez prepísanie.

rm(list = ls())
gc()

# Set up environment #
require("data.table")
require("arrow")

# Set directory to data, define files #
setwd("E:/TransferComplete/07/")

files <- list.files(pattern = "csv")

for (i in files){  setwd("E:/TransferComplete/07/")
loopStart <- Sys.time()
  
  bb <- fread(i,header = TRUE,sep = ",", data.table = FALSE, stringsAsFactors = FALSE,
                select = c("x","y","z"))
  gc()
  
  
  write_parquet(bb,
  'E:/P/i.parquet')
  
  
  loopEnd <- Sys.time()
  loopTime <- round(as.numeric(loopEnd) - as.numeric(loopStart), 0)
}
csv loops parquet r
2021-11-23 23:08:00
2

Najlepšiu odpoveď

1

Nahraďte tento

write_parquet(bb,
  'E:/P/i.parquet')

na tento

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:31:37
1

Boli ste veľmi blízko na vašu otázku. Keď budete písať .parquetpotrebujete oddeliť i pri písaní súbor alebo slučky bude pokračovať v písaní súbor s názvom i.parquet.

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:40:17

V iných jazykoch

Táto stránka je v iných jazykoch

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................