SākumsKatalogs vēl tikai sāk darbu, un jaunus saitus pievienojam katru dienu. Iesaki savu

Kā tas strādā1 min lasīšanai

Kā mūsu robots lasa saitu

Robots apmeklē tikai sākumlapu, ievēro robots.txt un piesakās savā vārdā. Tad cilvēks izlemj. Lūk, kas notiek pa vidu.

Mazs robots pie mājas vārtiem caur lupu lasa vienu lapu

Lai saits nonāktu katalogā, kādam tas ir jāizlasa. Tūkstošiem saitu cilvēks pats neizlasīs, tāpēc pirmo soli sper robots. Bet tikai pirmo.

Ko robots dara

Robots apmeklē saita sākumlapu. Ne visu saitu, ne katru rakstu, tikai pirmo lapu, ko redzi, ierakstot adresi.

Pirms tam tas ielūkojas robots.txt failā. Ja saita īpašnieks ir teicis “šeit nenāc”, robots nenāk. Tas piesakās savā vārdā, irkuriet-bot, nevis izliekas par parastu pārlūku.

No sākumlapas robots paņem to, kas tur ir redzams: nosaukumu, aprakstu, valodu, vai ir RSS plūsma. Vēl tas paskatās, vai sākumlapā ir saites uz lietošanas noteikumiem, privātuma politiku un sīkdatņu paziņojumu, un vai šīs lapas atveras.

Ko dara valodas modelis

To, ko robots atrada, izlasa valodas modelis. Tas uzraksta īsu aprakstu, par ko saits ir, iesaka kategoriju un tagus un pasaka, vai saitu iekļaut. Un, kas ir svarīgākais, kāpēc.

Pamatojums nav formalitāte. Tas ir tas, ko pēc tam izlasa cilvēks.

Ko robots nedara

Robots neko neizlemj. Katalogā nekas neparādās bez cilvēka apstiprinājuma. Modelis var kļūdīties: nesaprast ironiju, sajaukt veikalu ar žurnālu, neredzēt, ka saits ir pamests. Tāpēc katru ierakstu pirms publicēšanas apskata moderators.

Robots arī neapiet aizsardzību. Ja saits robotam rāda pārbaudi “vai tu esi cilvēks” vai tukšu lapu, mēs to atzīmējam kā nenolasāmu un ejam tālāk.

Ja negribi, lai nāk

Ieliec savā robots.txt:

User-agent: irkuriet-bot
Disallow: /

Un viss. Robots vairs nenāks.

Robots atrod ceļu, cilvēks pārbauda, vai tur tiešām ir kur iet.

Saņem labākos atradumus e-pastā

Reizi nedēļā: jauni un interesanti Latvijas saiti.