Webscraping de comentários com webdriver

dúvidas
1

Oi, boa noite.

Eu estou trabalhando em uma raspagem de comentários em um site. Fiz o workshop de webscraping 1 em 2019 e agora, na versão online, o de webscraping 2.

Eu usei o pacote webdriver com phantomjs para acessar o site, clicar no elemento do HTML e ver todos os comentários. Nas capturas de tela, tudo deu certo.

Mas, após baixar o HTML da página, eu vi que os comentários não carregaram. Eles apareciam na captura de tela, mas não estão no HTML.

Eu usei o seguinte código para salvar e baixar o HTML:
html <- ses$getSource()
readr::write_file(html, “xvideos-comments.html”)

Existe alguma forma de eu pedir para ele baixar a página mais devagar?
Apesar de ser só uma função e não haver loop, eu consigo incluir algo como Sys.sleep()?

2 curtidas
2

Eu tentaria o que é proposto aqui

remDr$navigate("<webpage url>")
webElem <-NULL
while(is.null(webElem)){
  webElem <- tryCatch({remDr$findElement(using = 'name', value = "<value>")},
  error = function(e){NULL})
 #loop until element with name <value> is found in <webpage url>
}

A ideia é ficar tentando achar o elemento dentro de um while até ele aparecer na página. quando aparecer ele sai do while e vc pode salvar.

2 curtidas