ContliaBot

Το ContliaBot διαβάζει δημόσιες σελίδες για λογαριασμό των χρηστών του Contlia, μιας πλατφόρμας παραγωγής περιεχομένου. Όταν μια εταιρεία συνδέει το δικό της site στην εφαρμογή, το ContliaBot διαβάζει τις σελίδες της ώστε τα κείμενα που παράγονται να στηρίζονται σε ό,τι λέει πραγματικά η εταιρεία για τον εαυτό της, αντί να το φαντάζεται.

Τι διαβάζει

• Το robots.txt και το /sitemap.xml, για να βρει ποιες σελίδες υπάρχουν.
• Την αρχική σελίδα και το μενού πλοήγησης.
• Μεμονωμένες σελίδες που επιλέγει ο ίδιος ο χρήστης, π.χ. τη σελίδα ενός έργου.
• Τις σελίδες του site που έχει δηλώσει η εταιρεία ως δικό της, για τη βιβλιοθήκη της στο Contlia. Κανένα άλλο site.

Μόνο δημόσιο HTML. Καμία σύνδεση, κανένα cookie, κανένα POST, καμία υποβολή φόρμας, καμία σελίδα πίσω από κωδικό.

Με ποια συχνότητα

Μία φορά την εβδομάδα διαβάζει τη λίστα σελίδων του site και ανοίγει όσες είναι νέες. Την πρώτη φορά ανοίγει έως 150 σελίδες την ώρα, δύο κάθε φορά με παύση ανάμεσά τους, μέχρι να διαβαστεί το site. Κρατά το Crawl-delay όταν το ορίζετε. Αν το site απαντήσει ότι δέχεται πολλά αιτήματα, σταματά και συνεχίζει την επόμενη ώρα. Μεμονωμένες σελίδες διαβάζονται επίσης όταν κάποιος πατά ένα κουμπί μέσα στην εφαρμογή.

Πώς να το επιτρέψετε

Αν το site σας αποκλείει αυτόματα τα bots και θέλετε να επιτρέψετε το Contlia, φτιάξτε κανόνα με βάση το User-Agent:

User-Agent: ContliaBot/1.0 (+https://contlia.com/bot)

Τα αιτήματα προέρχονται από Google Cloud Functions, περιοχή europe-west2, με δυναμικές διευθύνσεις IP. Timeout 15 δευτερολέπτων, έως 3 ανακατευθύνσεις.

Πώς να το αποκλείσετε

Στο robots.txt σας. Η εβδομαδιαία ανάγνωση το τηρεί, για όλο το site ή για όποιες διαδρομές ορίσετε:

User-agent: ContliaBot
Disallow: /

Επικοινωνία

Για οτιδήποτε αφορά το ContliaBot: support@notthesame.gr