Altere o agente do usuário com curl para obter o código-fonte da URL como navegador diferente do SO &

Anonim

Usando curl, podemos recuperar o código-fonte HTML e CSS de qualquer URL especificado e até mesmo as informações do cabeçalho http, mas alguns sites fornecem conteúdo ou HTML completamente diferente para diferentes versões de SO e navegador, isso é feito detectando seu agente de usuário. Por causa disso, podemos falsificar o agente do usuário de outra versão do navegador e sistema operacional, e isso permite que os desenvolvedores da Web tenham acesso rápido a essas variações alternativas do código-fonte de um site.Para os propósitos aqui, conseguiremos isso na linha de comando usando curl. A sintaxe básica para falsificar o agente do usuário com o comando curl é a seguinte:

"

curl -A UserAgentString>"

É claro que você substituirá UserAgentString por uma string de agente de usuário legítimo que corresponda ao navegador que deseja imitar.

Vamos ver alguns exemplos com várias strings de agente do usuário.

Uma das situações mais comuns de fontes HTML e CSS diferentes são para sites com versões móveis simplificadas, você pode recuperar o código-fonte específico do iPhone com:

"

curl -A Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 como Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, como Gecko ) Versão/5.0.2 Mobile/8J2 Safari/6533.18.5 http://www.apple.com"

"

Alguns sites também fazem isso com outros navegadores. Isso seria Chrome 12 no Mac OS X 10.6.8: curl -A Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, como Gecko) Chrome/12.0.742.112 Safari/534.30 http://microsoft.com"

Aqui está outro que falsifica a Mac App Store e Mac OS X 10.6.7 como um agente de usuário e é útil para consultar a App Store a partir de um script (mais sobre isso em TUAW):

"

curl -silent -A iMacAppStore/1.0.1 (Macintosh; U; Intel Mac OS X 10.6.7; en) AppleWebKit/533.20.25 http:// ax.search.itunes.apple.com/"

Mais uma paródia do Windows XP com o Firefox 3:

"

curl -A Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 http:/ /yahoo.com"

Você pode encontrar strings de agente de usuário em toda a web, apenas certifique-se de incluí-las entre aspas se quiser recuperar uma fonte de sites como esse agente de usuário. Se você quiser saber mais sobre os agentes do usuário, a Wikipédia tem uma boa entrada sobre o assunto.

Nota: Isso é feito intencionalmente através da linha de comando e destinado a quem gosta de trabalhar no Terminal, mas há facilidades maneiras de fazer isso por meio de aplicativos gráficos padrão e navegadores da web como Safari, Chrome e Firefox.O Safari é provavelmente o mais simples, porque você pode definir diferentes agentes de usuário diretamente no menu Desenvolvedor:

Esta captura de tela foi tirada de um artigo sobre como fazer as chamadas de bate-papo por vídeo do Facebook funcionarem no OS X Lion, o que é feito alterando o agente do usuário do navegador para uma versão que o Facebook considera compatível.

Altere o agente do usuário com curl para obter o código-fonte da URL como navegador diferente do SO &