Lokissasi näkyvä botti on nimeltään Metrimato-Scanner
Se ajaa teknisen sivustotarkistuksen, jonka Metrimadon asiakkaat voivat kytkeä päälle omalle sivustolleen. Jos näet sen lokissa, tämä sivu kertoo mitä se tekee ja miten sen voi ohjata.
Metrimato-Scanner/1.0 (+https://metrimato.com/scanner)Tunnisteessa oleva osoite osoittaa tänne, joten botin tunnistaa pelkästä lokirivistä. Metrimato-Scanner ei koskaan hae sivustoa, jolle ei ole asennettu Metrimadon seurantakoodia.
Mitä se tekee ja mitä ei
Yksi ajo hakee enintään 500 sivua ja odottaa 0.3 sekuntia pyyntöjen välissä, tai pidempään jos robots.txt niin pyytää. Se lukee HTML:ää eikä mitään muuta.
- Se lukee ensin sivukartan
- Osoiteluettelo tulee robots.txt-tiedostosta ja sivukartasta. Vasta jos sivukarttaa ei ole, se seuraa linkkejä etusivulta.
- Se tottelee robots.txt-tiedostoa
- Estettyjä polkuja ei haeta, ja Crawl-delay otetaan huomioon. Botti joka ei tottele robotsia on haittaohjelma riippumatta siitä kuka sen on tilannut.
- Se hakee vain HTML:ää
- Kuvia, videoita, tyylitiedostoja tai skriptejä ei pyydetä lainkaan, ja kahta megatavua suurempi vastaus katkaistaan.
- Se ei tallenna sivun sisältöä
- Merkkaus puretaan muistissa pituuksiksi, lukumääriksi ja osoitteiksi, ja runko heitetään pois. Samat sivut tunnistetaan tiivisteestä eikä tekstiä säilyttämällä.
- Se ei lähetä lomakkeita eikä poistu sivustolta
- Vain GET-pyyntöjä ja vain sivuston omiin verkkotunnuksiin. Mukana ei kulje evästeitä eikä tunnuksia.
- Se ajetaan korkeintaan viikoittain
- Sivusto tarkistetaan kerran viikossa, ja käsin käynnistetty ajo on sen päälle rajattu.
Miten sen käännyttää pois
Botti tottelee robots.txt-tiedostoa kuten mikä tahansa muukin ryömijä, joten Metrimato-Scannerin nimeävä ryhmä riittää. Muutos astuu voimaan seuraavassa ajossa.
Jos botti hakee sivustoa jonka omistat etkä ole sitä pyytänyt, kerro meille: pysäytämme sen ja tarkistamme miten verkkotunnus on todennettu.
User-agent: Metrimato-Scanner
Disallow: /Kuka voi teettää tarkistuksen
Ei kuka tahansa. Tarkistus on liikennettä jonkun palvelimelle, joten oikeus tilata se pitää ansaita eikä kirjoittaa lomakkeelle.
- Verkkotunnuksen on kuuluttava Metrimato-sivustoon
- Osoitteet luetaan sivuston omista verkkotunnuksista, ei koskaan lomakkeen kentästä. Omistuksen todistaa kyseisellä verkkotunnuksella oleva seurantakoodi.
- Sisäverkon osoitteet hylätään
- Jokainen verkkotunnus ratkaistaan ja tarkistetaan ennen yhteydenottoa, ja uudelleen jokaisella ohjauksella. Yksityiseen tai linkkipaikalliseen osoitteeseen osoittavaa verkkotunnusta ei haeta.
- Tahti on katossa eikä neuvoteltavissa
- Yksi pyyntö kerrallaan sivustoa kohti ja viive välissä. Tarkistuksen on tarkoitus olla se botti, jota kukaan ei huomaa.