Добавляем в сапу много страниц

Сен 28, 2009 Программирование

Как я уже отмечал на данный момент основную ставку я делаю на многостраничники. Первая ласточка вползла в индекс на 1600+ страниц и настало время посмотреть как он будет себя чувствовать в сапе.

Первоочередная проблема это выяснить что именно у нас в индексе (для начала нужно под 1к страниц, все не нужно, не буду искать приключений на свою задницу). Для этого используем сервис http://ya-cache.net.ru/. После жужжания сервис возвращает список урлов в индексе.

Теперь нужно сформировать карту сайта и скормить ее сапе. Как все помнят сапа жрет 500 ссылок с морды и по 150 со второго уровня. Соответственно чтобы загнать много страниц нужно несколько карт. Бить ссылки ручками мне было впадлу, поэтому вайнулся скрипт:

<?php

$links="сюда вставляем список проиндексированных страниц";

$arr=split('
',$links);

$kartnum=0;

$q=sizeof($arr);
for ($i=0; $i<$q; $i++) {
	if ($i % 140==0) { $kartnum++; echo '<a href="karta'.$kartnum.'.html">Карта сайта файл №'.$kartnum."</a><br>	"; file_put_contents('karta'.$kartnum.'.html',$data); $data='';}
	$data.="<a href='".$arr[$i]."'>".$arr[$i]."</a><br>";
}
?>

на выходе получаем текст для вставки в шаблон на экране после отработки скрипта и набор из ряда файлов, которые нужно просто выгрузить в корень. файлы генерятся в той директории где лежит скрипт под именами karta1.html, karta2.html и так далее. После индексации сайта сапой ссылки на карты с морды естественно убираем.

Рекламный блок
Кухни эконом класса для неудачливых манимейкеров и непроворных программистов на сайте www.homprojekt.ru. Планируйте помещение заранее бо после ремонта будет уже поздно.

Вот и все. Удачи.

Предыдущее сообщение: Массовое выпадение 2х белых площадок из индекса
Следующее сообщение: Русский в транслит. PHP функция

Метки: php, индексация, сапа