Download de todos os arquivos do Google Cloud Platform

dúvidas
1

Oi, pessoal. Tudo bem?

Eu preciso baixar todos os arquivos do Google Cloud Platform para uma pasta e, em vez seguida, rodar o meu script de R. Porém, como usuária, eu só vejo a opção de baixar um arquivo de cada vez. Só que são mais de 100 arquivos referentes a apenas hoje.

Por isso, eu pesquisei no Google alguma forma de baixar todos os arquivos de uma vez, preferencialmente usando o R e o RStudio. Encontrei apenas comandos de Python e terminal. Eu prefiro continuar lidando apenas com o R. Alguém me recomenda alguma forma de fazer isso?

Obrigada!

bucket
bucket1627×981 109 KB

2

Gabriela,

Você pode tentar usar o pacote googleCloudStorageR. Você precisa criar um projeto no console do GCP, coletar suas credenciais e fazer alguma coisa do tipo:

library(tidyverse)

## get your project name from the API console
proj <- "your-project"

## get bucket info
buckets <- gcs_list_buckets(proj)
bucket <- "your-bucket"
bucket_info <- gcs_get_bucket(bucket)
bucket_info

==Google Cloud Storage Bucket==
Bucket:          your-bucket 
Project Number:  1123123123 
Location:        EU 
Class:           STANDARD 
Created:         2016-04-28 11:39:06 
Updated:         2016-04-28 11:39:06 
Meta-generation: 1 
eTag:            Cxx=


## get object info in the default bucket
objects <- gcs_list_objects()

## save directly to an R object (warning, don't run out of RAM if its a big object)
## the download type is guessed into an appropriate R object
parsed_download <- gcs_get_object(objects$name[[1]])

## if you want to do your own parsing, set parseObject to FALSE
## use httr::content() to parse afterwards
raw_download <- gcs_get_object(objects$name[[1]], 
                               parseObject = FALSE)

## save directly to a file in your working directory
## parseObject has no effect, it is a httr::content(req, "raw") download
gcs_get_object(objects$name[[1]], saveToDisk = "csv_downloaded.csv")

## save several files 
for (i in seq_along(objects$name)){
gcs_get_object(objects$name[[i]], saveToDisk = str_glue("csv_downloaded_{i}.csv"))
}

No site do pacote tem um tutorial mais detalhado: http://code.markedmondson.me/googleCloudStorageR/articles/googleCloudStorageR.html

1 curtida