Eu estou tentando raspar um site que requer autenticação para obter um elemento em uma página com um id de #cellTotal . Agora, usando o Mechanize, entrei na página que quero acessar, mas usando funções básicas do Nokogiri como: @selector = page.css(“#cellTotal”).text Me dá esse erro: undefined method `css’ for # Aqui está o que […]
Quando eu tento isso: item.css(“a”).each do |a| if !a.starts_with? ‘http://’ a.replace a.content end end Eu recebo: NoMethodError: undefined method ‘starts_with?’ for # EDITAR: Claro que há um caminho mais limpo, mas isso parece estar funcionando. item.css(“a”).each do |a| unless a[“href”].blank? if !a[“href”].starts_with? ‘http://’ a.replace a.content end end end
Então eu atualizei um aplicativo Rails do 3.0 para o 4.0 na semana passada, e desde então eu tenho recebido erros estranhos que parecem apontar para lugares randoms que eu não mudei, e eu não posso reproduzi-los. Um desses erros é assim: NoMethodError: undefined method `global_endpoint?’ for AWS::S3:Class [GEM_ROOT]/gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:441 /gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:441 in “block in add_service” /gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:361 […]
Eu tenho um rastreador que corre bem localmente, mas quando eu executá-lo em uma instância do XL EC2, estou recebendo um MemoryError: negative re-allocation size erro de MemoryError: negative re-allocation size . Pesquisei na Web, mas não encontrei nada de útil. Qualquer pensamento sobre o que poderia estar errado?
Tentando descobrir como exibir o texto e imagens que eu tenho raspado no meu aplicativo / html. Aqui está o meu arquivo app / scrape2.rb require ‘nokogiri’ require ‘open-uri’ url = “https://marketplace.asos.com/boutiques/independent-label” doc = Nokogiri::HTML(open(url)) label = doc.css(‘#boutiqueList’) @label = label.css(‘#boutiqueList img’).map { |l| p l.attr(‘src’) } @title = label.css(“#boutiqueList .notranslate”).map { |o| p o.text […]
Em um Ubuntu 12.04 eu recebo o abaixo. sudo apt-get install libxml2 libxml2-dev libxslt libxslt-dev sudo gem install nokogiri Building native extensions. This could take a while… ERROR: Error installing nokogiri: ERROR: Failed to build gem native extension. /usr/bin/ruby1.9.1 extconf.rb /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require’: cannot load such file — mkmf (LoadError) from /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require’ from extconf.rb:5:in `’ […]
Estou logado em uma página da Web / servlet usando o Mechanize. Eu tenho um object de página jobShortListPg = agent.get(addressOfPage) Quando eu uso o seguinte puts jobShortListPg Eu recebo a versão “mecanizada” da página que eu não quero, por exemplo # Como obtenho a fonte html da página?
Eu tenho um nó que tem dois filhos: um texto HTML e um elemento HTML. Installation on server¶ Nesse caso, o texto HTML é: Installation on server e o elemento HTML: anchor; Eu então crio um nó assim: span_node = Nokogiri::HTML::Node.new(‘span’,doc) span_node[‘class’] = ‘edit-section’ link_node = Nokogiri::HTML::Node.new(‘a’,doc) link_node[‘href’] = “/wiki/#{page_id}/#{@page.title}/edit?section=#{section_index}” link_node[‘class’] = ‘icon icon-edit’ link_node.content […]
Eu estou tentando analisar alguns HTML com Nokogiri, mas não estou recebendo nada de volta dos methods css ou xpath . require ‘rubygems’ require ‘open-uri’ require ‘nokogiri’ doc = Nokogiri::HTML(open(“http://www.google.com”)) doc.css(‘div’).each do |div| puts div.content end doc.xpath(‘//div’).each do |div| puts div.content end Nada é impresso na canvas, então css e xpath estão retornando matrizes vazias. […]
Eu estou tendo um demônio de instalar o Nokogiri no Ubuntu 12.04. Eu uso rbenv. $ gem install nokogiri -v ‘1.6.1’ ERROR: While executing gem … (Errno::EACCES) Permission denied – /home/deploy/.rbenv/versions/2.0.0-p353/lib/ruby/gems/2.0.0/gems/nokogiri-1.6.1/.autotest $ sudo gem install nokogiri -v ‘1.6.1’ ERROR: Error installing nokogiri: nokogiri requires Ruby version >= 1.9.2. $ rbenv sudo gem install nokogiri -v […]