Googles indeksering af HTTPS
Sammendrag: Case story med https://seonaut.dk, hvor HTTPS i forhold til Google crawl og indeksering har givet nogle problemer. Andre bots kan også have problemer med SNI.
Antal ord: 518
Google og HTTPS
Google anbefaler i sommeren 2014 alle at benytte HTTPS (HTTP over TLS eller Transport Layer Security). Dette kræver et SSL Certifikat, som kan købes til omkring $50 pr. år.
Implementering af HTTPS eller launch af nyt website, som denne artikel drejer sig om, kan dog skabe problemer og Google er heller ikke klar til at indeksere HTTPS sider.
I denne artikel fremhæver Google sikkerhed, ikke blot på egne servere for Search, Gmail, mv., men også for alle andre websites, som ved at implementere HTTPS højner den generelle sikkerhed for Googles brugere.
HTTPS og SNI
HTTPS kræver i sin grundform et dedikeret IP nummer og det kan af gode grunde ikke lade sig gøre at have alle websites liggende på unikke IP numre. Derfor SNI (Server Name Indication) som gør det muligt at have individuelle SSL certifikater på flere forskellige domæner på samme IP nummer.
SNI skal kunne indlæses (under negotiation) af klienten (browser eller bot) så denne forstår at der er tale om en sikker forbindelse og her opstår problemet i forhold til en række bots, herunder Googlebot.
Googlebot Simulator crawl af HTTPS
Som udgangspunkt burde man kunne forvente at Google selv er klar til at understøtte SNI fuldt ud, men dette er ikke tilfældet, som illustrationen nedenfor viser, den er et screen shot af Google Webmaster Tools Googlebot-simulator.
Som udgangspunkt ser det ud til at Google slet ikke er gearet til crawl af HTTPS med SNI. Jeg har talt med Unoeuro, hvor Seonaut.dk er hostet og de bekræfter at problemet ligger i HTTPS, det var faktisk dem der påpegede SNI problematikken.
Websitet bliver dog crawlet og nu her, efter godt 14 dage, er siderne også begyndt at blive indekseret, men det går meget langsomt i forhold til http.
Eftersom siderne bliver crawlet og indekseret burde der ikke være grund til bekymring, men det virker alligevel meget underligt at følge Googles anbefalinger og så opleve at Googlebot skal omdirigeres (301 fra http til https) for at crawle websitet.
Faktisk er det først lykkedes at få siderne indekseret efter at de er indsendt manuelt, men her er en bergrænsning på 10 URLs fra samme domæne pr. måned.
Takket være John Nielsen fra OnlineSynlighed, er der nu fundet en løsning på alle disse problemer med Google.
Se kommentar #1
Skal du implementere HTTPS nu?
Nej, ikke hvis du kun tænker i forhold til Google og SEO, der er ikke nogen undersøgelser som endnu har kunne finde en sammenhæng mellem HTTPS og bedre rankings.
HTTPS skal implementeres af sikkerhedshensyn og her er det min opfattelse at alle kundeindtastede informationer, også dem der ikke er personfølsomme, bør sendes krypteret.
Der vil dog være tid nok til implementering og det burde ikke være den store opgave at få det sat op, hvis det giver bonus.
Man kan drage en parallel til Googles udmeldinger om mobiltilpassede websider, når mange nok bruger mobil, vil mobilvenlighed blive en ranking faktor. På samme måde med HTTPS, når der er nok skadeligt indhold på nettet bliver det nødvendigt med SSL, og dermed bliver dette også en del af rankingberegningerne.
Tak for en god artikel.
For at få HTTPS til at slå igennem i Google Webmasterværktøjer, har vi tilføjet sitet igen til Googles Webmasterværktøj med adressen https://
Samtidigt er indstillingerne sat til, at https://domænenavn . dk er foretrukket adresse.
I Googlebot-simulatoren er https:// nu standard for det pågældende site, og det giver vel god mening, når nu sitet er skiftet til HTTPS.
Tak for svar John!
Din kommentar er præcis hvad jeg har ledt efter.