Csv de 20gb é 40MM de linhas

Pessoal tenho um arquivo csv com 37 colunas ~ 40 milhões de linhas

Tá complicado importar ele e depois filtrar para um país específico

Vocês poderiam me ajudar? Qual o pacote vcs usam?

Estou usando o vroom e ele está lendo. Mas ao fazer o filter tá demorando muito.

Qual as boas práticas nesse caso?

Você já tentou usar o arrow? R for Data Science (2e) - 22  Arrow

Outra opção usar esses dados em um banco de dados. R for Data Science (2e) - 21  Databases

1 curtida