User-agent: * Allow: / Allow: /jobs Allow: /jobs/* Allow: /vagas/* Allow: /find-talent Allow: /find-talent/* Allow: /profile/* Allow: /p/* Allow: /marketplace Allow: /marketplace/* Allow: /external-jobs Allow: /external-jobs/* Allow: /academy Allow: /academy/* Allow: /subscriptions Allow: /support Allow: /how-it-works Allow: /baixe Allow: /blog Allow: /blog/* Allow: /api/seo/* Disallow: /admin/ Disallow: /api/ Disallow: /my-* Disallow: /dashboard Disallow: /messages Disallow: /settings Disallow: /wallet Disallow: /uploads/ Disallow: /objects/ # Specific rules for Googlebot User-agent: Googlebot Allow: / Allow: /jobs Allow: /jobs/* Allow: /vagas/* Allow: /find-talent Allow: /find-talent/* Allow: /profile/* Allow: /p/* Allow: /marketplace Allow: /marketplace/* Allow: /external-jobs Allow: /academy Allow: /subscriptions Allow: /baixe Allow: /api/seo/* Crawl-delay: 1 User-agent: Bingbot Allow: / Allow: /jobs Allow: /find-talent Allow: /profile/* Allow: /p/* Allow: /marketplace Allow: /academy Allow: /baixe Crawl-delay: 2 # Sitemap location # F6-002 — só o ÍNDICE. As cinco linhas de filho que existiam aqui eram uma # segunda porta de submissão, por fora do índice: por ela o Google recebia # sitemap-freelancers.xml mesmo vazio, e sitemap-marketplace.xml, que é um # aninhado e por isso descartado inteiro. O índice em # /sitemap.xml já descobre todos os filhos — e, diferente daqui, ele sabe quais # têm conteúdo hoje. # # UMA linha só, apontando para o ÍNDICE. Aqui havia seis linhas listando # sitemaps à mão enquanto o índice (sitemap.xml) já listava doze: quem lesse o # robots.txt não ficava sabendo de categorias, academy, salários, habilidades, # estudos nem concursos. Duas listas do mesmo acervo, mantidas à mão, divergem # na primeira vez que alguém acrescenta um sitemap e esquece a outra — foi # exatamente o que aconteceu. O índice é a lista; este arquivo só diz onde ela # está. Sitemap novo entra em sitemap.xml e nada aqui precisa mudar. Sitemap: https://www.ijobee.com/sitemap.xml # Host directive Host: https://www.ijobee.com