Erro bq_parse_files() ao coletar tabelas na Base dos Dados

Oi, povo R!
Tenho baixado algumas tabelas em conjuntos diferentes na Base dos Dados, mas tenho me deparado com um mesmo erro:

> despesas_candidato <- bdplyr("basedosdados.br_tse_eleicoes.despesas_candidato")
Successfully connected to table `basedosdados.br_tse_eleicoes.despesas_candidato`.
> despesas_candidato_ce <- despesas_candidato |>
+   filter(sigla_uf == "CE")
> despesas_candidato_ce <- bd_collect(despesas_candidato_ce)
Running job 'ceara-politica.job_pbP2Qd4SxPg43jgaQ8XtYyfxAnuY....
Complete
Billed: 263.19 MB
Downloading first chunk of data.
Received 30,227 rows in the first chunk.
Downloading the remaining 620,254 rows in 28 chunks of (up to) 22,670 rows.
Error in bq_parse_files(schema_path, c(path_first_chunk, chunk_plan$dat$path),  : 
  650481 rows were requested, but only 570766 rows were received.
  Leave `page_size` unspecified or use an even smaller value.

Para implementar essa solução que o R propoôs, tentei o seguinte código:

table <- bq_table(
  project = "basedosdados",
  dataset = "br_tse_eleicoes",
  table = "despesas_candidato"
)

despesas_candidato <- bq_table_download(
  x = table,
  page_size = 100000
)

O resultado foi a criação de uma tibble com as 46 colunas, mas com zero observações…

No canal da Base dos Dados no Discord, vi alguns relatos de que pode ser um problema em alguma linha da tabela, ou talvez na plataforma da BD mesmo. Cheguei a postar lá, uns dias atrás, mas ainda não tive resposta. Na ocasião, tentei utilizar esse outro código para uma base que também deu o mesmo problema:

conexao <- bigrquery::dbConnect(
  bigrquery::bigquery(),
  project = "basedosdados",
  dataset = "br_me_siconfi",
  billing = "ceara-financas"
)

bigrquery::bq_auth("<meu email>")

mun_rec_orc_ce <- tbl(conexao, "municipio_receitas_orcamentarias") |>
  select(everything()) |>
  filter(sigla_uf == "CE")

mun_rec_orc_ce <- collect(mun_rec_orc_ce)

Alguém já se deparou com um erro assim?
E em relação ao bq_table_download(), que resultou em zero observações?

Obrigado!!

Não sei se alguém do projeto basedosdados frequenta esse fórum.
Talvez seja interessante abrir um issue no repositório do projeto no github.

https://github.com/basedosdados/mais/issues

1 curtida

Boa! Valeu, Wilson.
Sou bem iniciante ainda, às vezes é difícil até avaliar se o problema tá no meu código (e portanto eu poderia resolver) ou se tá em outros lugares.
Vou abrir lá. Assim que descobrir compartilho aqui no que deu.
Obrigado!

https://discord.com/channels/787841210433536010/1171770601837445200 (tava empacada com essa mesma dúvida agorinha haha vai que ajuda alguém. esse link é do fórum de dúvidas da Base dos Dados)