Web Scrapping - Bloqueio do site

No ponto atual do meu trabalho, tenho uma lista de links de usuário de uma plataforma.

Fiz um loop, para ir de link em link raspando as informações necessárias.
O acesso é aberto (não preciso fazer login para visualizar o site), as informações são públicas.

Porém geralmente depois de 70 links. O site bloqueia e todo link de usuário que coloco ele retorna como página não achada.
Porém a página existe (procuro em outro navegador e ela está lá.)

Acredito que o site tenha rastreado o meu IP e por ter consultado muitas páginas tenha o bloqueado.

Tem alguma forma de eu alterar meu IP a cada x links para que o site não bloqueia ? ou alguma outra técnica ?

Boa noite Israel, conseguiu resolver essa demanda? Estou com o mesmo problema, quando faço a consulta o site já bloqueia. Até gostaria de saber se no curso aqui da @curso-r, eles ensinam técnicas de acessar esses sites.

A solução que usei foi bastante rudimentar.

Criei um break no código para quando ele me bloqueasse e fiquei trocando a VPN manualmente através do Urban VPN.
Não sei se vai funcionar para você que ele já bloqueia de primeira

No curso que fiz de Web-Scraping deles não foi tratado sobre isso.

1 curtida