Lai saits nonāktu katalogā, kādam tas ir jāizlasa. Tūkstošiem saitu cilvēks pats neizlasīs, tāpēc pirmo soli sper robots. Bet tikai pirmo.
Ko robots dara
Robots apmeklē saita sākumlapu. Ne visu saitu, ne katru rakstu, tikai pirmo lapu, ko redzi, ierakstot adresi.
Pirms tam tas ielūkojas robots.txt failā. Ja saita īpašnieks ir teicis “šeit nenāc”, robots nenāk. Tas piesakās savā vārdā, irkuriet-bot, nevis izliekas par parastu pārlūku.
No sākumlapas robots paņem to, kas tur ir redzams: nosaukumu, aprakstu, valodu, vai ir RSS plūsma. Vēl tas paskatās, vai sākumlapā ir saites uz lietošanas noteikumiem, privātuma politiku un sīkdatņu paziņojumu, un vai šīs lapas atveras.
Ko dara valodas modelis
To, ko robots atrada, izlasa valodas modelis. Tas uzraksta īsu aprakstu, par ko saits ir, iesaka kategoriju un tagus un pasaka, vai saitu iekļaut. Un, kas ir svarīgākais, kāpēc.
Pamatojums nav formalitāte. Tas ir tas, ko pēc tam izlasa cilvēks.
Ko robots nedara
Robots neko neizlemj. Katalogā nekas neparādās bez cilvēka apstiprinājuma. Modelis var kļūdīties: nesaprast ironiju, sajaukt veikalu ar žurnālu, neredzēt, ka saits ir pamests. Tāpēc katru ierakstu pirms publicēšanas apskata moderators.
Robots arī neapiet aizsardzību. Ja saits robotam rāda pārbaudi “vai tu esi cilvēks” vai tukšu lapu, mēs to atzīmējam kā nenolasāmu un ejam tālāk.
Ja negribi, lai nāk
Ieliec savā robots.txt:
User-agent: irkuriet-bot
Disallow: /
Un viss. Robots vairs nenāks.
Robots atrod ceļu, cilvēks pārbauda, vai tur tiešām ir kur iet.
