Definition av Web Spidering och Web Crawlers

Spindlar är program (eller automatiserade skript) som "kryper" via webben och söker efter data. Spindlar reser genom webbadresser och kan dra data från webbsidor som e-postadresser. Spindlar används också för att mata information som finns på webbplatser för sökmotorer.

Spindlar, som också kallas "webbkrypter", söker på webben och inte alla är vänliga i sin avsikt.

Spammare Spindelwebbplatser att samla in information

Google, Yahoo!

och andra sökmotorer är inte de enda som är intresserade av att krypa webbplatser - det är också scammers och spammare.

Spindlar och andra automatiserade verktyg används av spammare för att hitta e-postadresser (på internet kallas denna praxis ofta som skörd) på webbplatser och använder sedan dem för att skapa skräppostlistor.

Spindlar är också ett verktyg som används av sökmotorer för att få reda på mer information om din webbplats men lämnade okontrollerade, en webbplats utan instruktioner (eller "behörigheter") om hur man kan krypa på din webbplats kan presentera större informationssäkerhetsrisker. Spindlar reser genom att följa länkar, och de är mycket skickliga att hitta länkar till databaser, programfiler och annan information som du kanske inte vill ha tillgång till.

Webbmästare kan se loggar för att se vilka spindlar och andra robotar som har besökt sina webbplatser. Den här informationen hjälper webbansvariga att veta vem som indexerar sin webbplats, och hur ofta.

Denna information är användbar eftersom den tillåter webmasters att finjustera sin SEO- och uppdateringsrobot. txt-filer för att förbjuda vissa robotar från att krypa på deras webbplats i framtiden.

Tips för att skydda din webbplats från oönskade robotsökare

Det finns ett ganska enkelt sätt att hålla oönskade sökrobotar ur din webbplats. Även om du inte är oroad över skadliga spindlar som kryper på din webbplats (förvirrande e-postadress skyddar dig inte från de flesta sökrobotar), bör du fortfarande ge sökmotorer viktiga instruktioner.

Alla webbplatser ska ha en fil i rotkatalogen som heter en robot. txt-fil. Den här filen låter dig instruera webbrobotare där du vill att de ska titta på indexsidor (om inte annat anges i en specifik sidas metadata som inte indexeras) om de är en sökmotor.

Precis som du kan berätta önskade sökrobotar där du vill att de ska bläddra, kan du också berätta för var de inte kan gå och till och med blockera specifika sökrobotar från hela din webbplats.

Det är viktigt att komma ihåg att en brunn sätter ihop robotar. Txt-filen kommer att ha enormt värde för sökmotorer och kan till och med vara ett viktigt inslag för att förbättra webbplatsens prestanda, men vissa robotsökare kommer fortfarande att ignorera dina instruktioner. Av den anledningen är det viktigt att du håller all din programvara, plugins och appar alltid uppdaterad.

Relaterade artiklar och information

På grund av förekomsten av informationshämtning användes för skrämmande (spam) ändamål godkändes lagstiftningen 2003 för att göra vissa metoder olagliga. Dessa lagar om konsumentskydd omfattas av CAN-SPAM Act från 2003.

Det är viktigt att du tar dig tid att läsa igenom CAN-SPAM Act om ditt företag engagerar sig i någon masspost eller informationshämtning.

Du kan läsa mer om antispamlagar och hur man hanterar spammare och vad du som företagsägare kanske inte gör genom att läsa följande artiklar:

• CAN-SPAM Act 2003
• CAN- SPAM Act Regler för ideella organisationer
• 5 CAN-SPAM Regler Små företagare behöver förstå