Nosso robô
O AvisteiAuto reúne anúncios públicos de veículos de portais e sites de lojas e leva o visitante ao anúncio original. Para isso, um robô visita esses sites de tempos em tempos. Esta página é para quem administra um deles.
Como ele se identifica
Toda requisição sai com este User-Agent, na grafia padrão dos robôs que se identificam (a mesma do Googlebot e do Bingbot), com o nome do robô e o endereço desta página:
Mozilla/5.0 (compatible; CBot/0.1; +https://avisteiauto.com.br/robo)
O nome do robô é CBot. Ele nunca se passa por navegador, não usa proxies nem rotação de endereços, não resolve captchas e não contorna páginas de verificação.
O que ele faz, e o que não faz
- Lê só páginas públicas de estoque e de anúncio: título, marca, modelo, versão, ano, quilometragem, preço, câmbio, combustível, cor, cidade, foto principal e o link do anúncio.
- Faz uma requisição de cada vez por site, com pelo menos 3 segundos entre uma e outra.
- Não preenche formulários de contato, não cria conta, não envia mensagens e não recolhe dado pessoal.
- Lê e registra o
robots.txtde cada site antes de começar.
Como pedir que ele pare
- Responda
403ao user-agent acima. Diante de qualquer bloqueio (403, captcha, página de verificação) o robô para na hora, não insiste e a fonte fica suspensa até revisão humana. - Escreva para nós pelo canal de remoção e correção ou por [email protected]: desligamos a coleta do seu site e retiramos os anúncios.
Prefere nos mandar o estoque em vez de ser visitado? Veja Para lojas: aceitamos integração por arquivo ou API.