Articles of nokogiri

Usando a gema Mechanize com a gema Nokogirl?

Eu estou tentando raspar um site que requer autenticação para obter um elemento em uma página com um id de #cellTotal . Agora, usando o Mechanize, entrei na página que quero acessar, mas usando funções básicas do Nokogiri como: @selector = page.css(“#cellTotal”).text Me dá esse erro: undefined method `css’ for # Aqui está o que […]

Como faço para remover links HTTP com o “starts_with” do ActiveSupport usando o Nokogiri?

Quando eu tento isso: item.css(“a”).each do |a| if !a.starts_with? ‘http://’ a.replace a.content end end Eu recebo: NoMethodError: undefined method ‘starts_with?’ for # EDITAR: Claro que há um caminho mais limpo, mas isso parece estar funcionando. item.css(“a”).each do |a| unless a[“href”].blank? if !a[“href”].starts_with? ‘http://’ a.replace a.content end end end

Erros misteriosos Rails / Paperclip / S3: método indefinido “global_endpoint?”

Então eu atualizei um aplicativo Rails do 3.0 para o 4.0 na semana passada, e desde então eu tenho recebido erros estranhos que parecem apontar para lugares randoms que eu não mudei, e eu não posso reproduzi-los. Um desses erros é assim: NoMethodError: undefined method `global_endpoint?’ for AWS::S3:Class [GEM_ROOT]/gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:441 /gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:441 in “block in add_service” /gems/aws-sdk-1.46.0/lib/aws/core/configuration.rb:361 […]

Por que recebo uma falha Nokogiri e MemoryError: tamanho de redistribuição negativa?

Eu tenho um rastreador que corre bem localmente, mas quando eu executá-lo em uma instância do XL EC2, estou recebendo um MemoryError: negative re-allocation size erro de MemoryError: negative re-allocation size . Pesquisei na Web, mas não encontrei nada de útil. Qualquer pensamento sobre o que poderia estar errado?

Nokogiri exibindo dados em vista

Tentando descobrir como exibir o texto e imagens que eu tenho raspado no meu aplicativo / html. Aqui está o meu arquivo app / scrape2.rb require ‘nokogiri’ require ‘open-uri’ url = “https://marketplace.asos.com/boutiques/independent-label” doc = Nokogiri::HTML(open(url)) label = doc.css(‘#boutiqueList’) @label = label.css(‘#boutiqueList img’).map { |l| p l.attr(‘src’) } @title = label.css(“#boutiqueList .notranslate”).map { |o| p o.text […]

nokogiri não instalará – ERRO: Falha ao construir extensão nativa de gem

Em um Ubuntu 12.04 eu recebo o abaixo. sudo apt-get install libxml2 libxml2-dev libxslt libxslt-dev sudo gem install nokogiri Building native extensions. This could take a while… ERROR: Error installing nokogiri: ERROR: Failed to build gem native extension. /usr/bin/ruby1.9.1 extconf.rb /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require’: cannot load such file — mkmf (LoadError) from /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require’ from extconf.rb:5:in `’ […]

Como obter a fonte da página com Mechanize / Nokogiri

Estou logado em uma página da Web / servlet usando o Mechanize. Eu tenho um object de página jobShortListPg = agent.get(addressOfPage) Quando eu uso o seguinte puts jobShortListPg Eu recebo a versão “mecanizada” da página que eu não quero, por exemplo # Como obtenho a fonte html da página?

Como posso adicionar um filho a um nó em uma posição específica?

Eu tenho um nó que tem dois filhos: um texto HTML e um elemento HTML. Installation on server¶ Nesse caso, o texto HTML é: Installation on server e o elemento HTML: anchor; Eu então crio um nó assim: span_node = Nokogiri::HTML::Node.new(‘span’,doc) span_node[‘class’] = ‘edit-section’ link_node = Nokogiri::HTML::Node.new(‘a’,doc) link_node[‘href’] = “/wiki/#{page_id}/#{@page.title}/edit?section=#{section_index}” link_node[‘class’] = ‘icon icon-edit’ link_node.content […]

Análise de HTML Nokogiri não está funcionando

Eu estou tentando analisar alguns HTML com Nokogiri, mas não estou recebendo nada de volta dos methods css ou xpath . require ‘rubygems’ require ‘open-uri’ require ‘nokogiri’ doc = Nokogiri::HTML(open(“http://www.google.com”)) doc.css(‘div’).each do |div| puts div.content end doc.xpath(‘//div’).each do |div| puts div.content end Nada é impresso na canvas, então css e xpath estão retornando matrizes vazias. […]

Por que o nokogiri não instala?

Eu estou tendo um demônio de instalar o Nokogiri no Ubuntu 12.04. Eu uso rbenv. $ gem install nokogiri -v ‘1.6.1’ ERROR: While executing gem … (Errno::EACCES) Permission denied – /home/deploy/.rbenv/versions/2.0.0-p353/lib/ruby/gems/2.0.0/gems/nokogiri-1.6.1/.autotest $ sudo gem install nokogiri -v ‘1.6.1’ ERROR: Error installing nokogiri: nokogiri requires Ruby version >= 1.9.2. $ rbenv sudo gem install nokogiri -v […]