# Kā mūsu robots lasa saitu

2026-11-22 · [ir kur iet blogs](https://irkuriet.lv/blogs)

> Robots apmeklē tikai sākumlapu, ievēro robots.txt un piesakās savā vārdā. Tad cilvēks izlemj. Lūk, kas notiek pa vidu.

Lai saits nonāktu katalogā, kādam tas ir jāizlasa. Tūkstošiem saitu cilvēks pats neizlasīs, tāpēc pirmo soli sper robots. Bet tikai pirmo.

## Ko robots dara

Robots apmeklē saita **sākumlapu**. Ne visu saitu, ne katru rakstu, tikai pirmo lapu, ko redzi, ierakstot adresi.

Pirms tam tas ielūkojas `robots.txt` failā. Ja saita īpašnieks ir teicis "šeit nenāc", robots nenāk. Tas piesakās savā vārdā, `irkuriet-bot`, nevis izliekas par parastu pārlūku.

No sākumlapas robots paņem to, kas tur ir redzams: nosaukumu, aprakstu, valodu, vai ir RSS plūsma. Vēl tas paskatās, vai sākumlapā ir saites uz lietošanas noteikumiem, privātuma politiku un sīkdatņu paziņojumu, un vai šīs lapas atveras.

## Ko dara valodas modelis

To, ko robots atrada, izlasa valodas modelis. Tas uzraksta īsu aprakstu, par ko saits ir, iesaka kategoriju un tagus un pasaka, vai saitu iekļaut. Un, kas ir svarīgākais, **kāpēc**.

Pamatojums nav formalitāte. Tas ir tas, ko pēc tam izlasa cilvēks.

## Ko robots nedara

Robots neko neizlemj. Katalogā nekas neparādās bez cilvēka apstiprinājuma. Modelis var kļūdīties: nesaprast ironiju, sajaukt veikalu ar žurnālu, neredzēt, ka saits ir pamests. Tāpēc katru ierakstu pirms publicēšanas apskata moderators.

Robots arī neapiet aizsardzību. Ja saits robotam rāda pārbaudi "vai tu esi cilvēks" vai tukšu lapu, mēs to atzīmējam kā nenolasāmu un ejam tālāk.

## Ja negribi, lai nāk

Ieliec savā `robots.txt`:

```
User-agent: irkuriet-bot
Disallow: /
```

Un viss. Robots vairs nenāks.

Robots atrod ceļu, cilvēks pārbauda, vai tur tiešām ir kur iet.

---

HTML versija: https://irkuriet.lv/blogs/ka-robots-lasa-saitu
