Блог → Делаем карту сайта с помощью программы gSiteCrawler

Как правило, владельцам сайтов не нужно объяснять, для чего нужна карта сайта - они и так отлично знакомы с этим инструментом, и активно им пользуются. Многие популярные CMS (да большинство, я думаю) интегрировали создание карты сайта в собственный функционал. Но всё же - как быть, если ваша CMS'ка не генерирует sitemap? Не отчаиваться, так как выход всегда есть. Ниже я о нём расскажу, но для начала - всё-таки отвлекусь на пару минут, чтобы рассказать, для чего нужен sitemap. Для тех кто не курсе.

Итак, sitemap (она же "карта сайта") - это по сути, список всех URL вашего сайта, организованный в определённом формате. Но для чего это нужно? В-первую очередь, для поисковиков. Они же, в своё время, и придумали эту фичу. С лавинообразным ростом количества страниц в Интернете, их поиск и индексация стали занимать всё больше и больше времени. Не забываем и о том, что "пауки" (от англ. spider) должны не только найти и однажды проиндексировать каждую страницу сайта, но и затем вернуться туда, по прошествии какого-то времени, чтобы отследить изменения.

Для упрощения этого процесса Google (а именно с него и пошла "мода" на sitemap) предложил владельцам сайтов самим, в автоматическом или ручном (предполагалось, что всё-же в автоматическом) режиме, выдавать ему список всех URL сайта. Таким образом, читая всего один файл, поисковая система могла понять, добавились ли новые страницы на сайт, и даже сразу внести их в список для посещения роботом. Удобно, спору нет! Внимательные вебмастера и веб-программисты быстро откликнулись на это предложение, и вскоре sitemap'ы "подхватили" и прочие поисковики, включая и российский Яндекс.

Стандартное название сайтмепа - sitemap.xml (отсюда уже можно понять, что URL там представлены в XML формате), но впрочем, никто не мешает вам использовать любое другое имя. Путь в файлу sitemap прописывается в файле robots.txt, с которым, опять же, большинство владельцев сайтов отлично знакомы. Но давайте вернёмся к сути вопроса - как быть тем, чья CMS'ка не умеет генерировать карт сайта?

Ответ очевиден - воспользоваться каким-нибудь внешним инструментом. Забив в поисковой строке Гугла или Yandex'а фразу "создание карты сайта" вы найдёте множество программ и онлайн-сервисов, которые позволяют это сделать. Как правило, все они работают правильно, генерируют валидный XML и очень просты в использовании. Выбирайте на вкус! Единственное, на что стоит обратить внимание, так это на ограничения конкретного инструмента. Кое-кто даёт сделать карту, скажем, из 500 станиц сайта, а больше - только в расширенном режиме, разумеется, за денежку. Размер вознаграждения колеблется, в зависимости от нужды автора, но скажу так - если вы хотите найти бесплатный генератор карты сайта, вы его обязательно найдёте! Выбор действительно очень велик.

Чтобы помочь вам сэкономить время, расскажу об одной, которой пользовался сам, когда попал в аналогичную ситуацию. Есть у меня сайт, который вертится на совсем уж старой CMS, и разумеется, никакого sitemap-генератора там не было. Как обычно, спас Гугл - нашлась софтина под названием gSiteCrawler авторства какого-то немецкого программиста, скачать её можно по этой же ссылке (это официальный сайт программы).



Софтина довольно старая - последняя версия 1.22 датирована 2007 годом, но всё ещё актуальная - отлично делает своё дело (скажем прямо, с 2007 года в деле создания сайтмепов мало что поменялось). Работает и на XP, и на Windows 7/8. Принцип работы - имитация поискового "паука", т.е. она входит на сайт и последовательно пробегает по всем страницам, собирая с них ссылки и складывая в базу известные урлы. Из этого следует, что программа требовательна к ширине вашего канала - чем быстрее у вас Интернет, тем быстрее она отработает. При этом делается всё по уму - умеет выдирать ссылки даже из JS и следует инструкциям robots.txt (так что если вы запретили индексацию какого-то раздела, его не будет и в sitemap). Разумеется, есть и многопоточность - до 15 одновременных соединений. На выходе вы получите то, что захотите - возможности настроек весьма широки. Это может быть стандартный сайтмеп в формате Google, обычный текстовый файл со списков урлов, RSS лента, файл для импорта в Excel и т.п. В-общем софтина быстрая, удобная, бесплатная и без ограничений на количество страниц. Рекомендую!