После опубликования финстрипа народ удивлялся, почему у меня доход с продажи ссылок больше на линкфиде, чем на сапе. Все дело в том, что на тысчу страниц в линкфиде сапа находила только 200. Ну и таки добрался я, до решения этой проблемы!!!

Но, начну по порядку!

Как вам наверно известно: сапа индексирует страницы до 3-го уровня вложенности. И с главной робот индексирует 500 страниц,

с внутренних по 150. Значит что? Значит нам нужно разместить на главной ссылки на карты сайта разбитые по 150 ссылок. Для этого нам нужен всего лишь xml файл карты сайта генерируемый цмс-кой. После чего идем к Spryt точнее к созданному им Sitemap сервису. С помощью его скрипта автоматически разбиваем наш xml-файл на хтмл странички в каждой из которых по 150 ссылок. И скачиваем полученный архив. Дальше думаю понятно!!!

В общем, все просто и легко. Но что делать, если у нас сборная цмс-ка без возможности создания карты сайта. Т.е. именно та ситуация, которая была у меня.

Итак, задача сделать (xml) карту сайта.

Если у вас меньше 1к страниц в индексе Яши, то можно тупо скопипастить линки из панели вебмасера, но это все муторно и отнимет дофига времени.

Значит воспользуемся он-лайн сервисами.

1. Вариант намбер ван: Web-технологии. Забиваем юрл, ставим нужные галочки и жмем сформировать. В принципе на этом все. Робот начнет обходить странички вашего сайта, а вы можете заниматься своими делами. Как только робот закончит свой обход, вы сможете скачать себе готовую xml-карту. Но вот один минус, который перечеркивает всю приятность работы с этим сервисом: Бесплатно можно обработать только до 1000 страниц. А у меня их на этом сайте в 7 раз больше!!! Так что для меня этот вариант не подошел.
2. Вариант намбер ту: Погуглив, я обнаружил еще один сервис (на самом деле больше, но сцуко везде ограничение в тысячу). SitemapGenerator судя по отзывам генерит нормально, но мне не удалось воспользоваться, так как говорил, что сайт не доступен. А региться на форуме, писать проблему, ждать устранения меня обломало Но, как я понял у него тоже есть ограничение по кол-ву страниц. В общем, тоже непрокатило!
3. Далее я пошел в англоязычную сферу. Нашел Free Sitemap Generator.com. Ограничений нет, но требуется залить на хостинг текстовый файл для проверки правообладания. Залил, сделал, все нормально, но чет сцуко долго! Так до сих пор и индексирует. ХЗ, может я че нетак сделал!?
4. В итоге остановился на программке GSite Crawler. Отличная бесплатная программка! Сделает Вам и xml карту и битые ссылки покажет. И если страниц дофига, то процесс индексации можно растянуть на несколько дней.

Запускаем прогу, жмем адд проджект, вводим юрл и название проекта. Убираем доп расширения. Ну и собственно финиш. Трафика конечно дофига уйдет, но счас почти у всех безлимитки)))

Вот такой вот пост!!!

З.Ы. Совершенства нет! У меня нашел всего 3,5К страниц вместо 7К проиндексированных (хотя, может дубли!? ХЗ)

З.З.Ы. Подключился на безлимитный тариф с ограничением дневного трафика!!! Скайлинк сцуко!!! Мля, безлимитка с лимитами!!!!

Popularity: 18%

Еще по теме:

• Блог. Первые шаги.