Как ускорить индексирование сайта поисковиками?

← →
xayam © (2010-11-30 21:37) [0]

Последнее время дм.нет стабильно держит и набирает кол-во посещений через поисковики, но кол-во проиндексированных страниц даже не приблизилось к 2% от общего числа страниц.

Что можно сделать, чтобы ускорить этот процесс?

В рейтинге мейла уже третья страница ( к концу дня ) в разделе "Интернет/Поисковые формы" http://top.mail.ru/Rating/Internet-Search_Forms/Today/Visitors/3.html
Приходят в основном с гугла и яндекса.

← →
xayam © (2010-11-30 21:45) [1]

Из того что уже есть:
1) http://www.delphimaster.net/robots.txt
2) http://www.delphimaster.net/sitemap.xml
3) регистрация/настройка в гугле и яндексе на сканирование с интервалом 0.5/1 секунда

← →
Kerk © (2010-11-30 22:01) [2]

Сделай так, чтоб до веток можно было достучаться не только через поиск.
Сделай карту сайта с ссылками на все ветки.

← →
xayam © (2010-11-30 22:08) [3]

так sitemap это же и есть карта...

← →
xayam © (2010-11-30 22:12) [4]

или ты имеешь ввиду чтобы была цепочка ссылок от корня до любой ветки?
и что будет лучше так?

← →
Kerk © (2010-11-30 22:16) [5]

> xayam © (30.11.10 22:12) [4]
>
> или ты имеешь ввиду чтобы была цепочка ссылок от корня до
> любой ветки?
> и что будет лучше так?

Практически уверен, что будет лучше. Так-то теоретически должно и sitemap.xml хватать, но сам видишь, что нифига.

← →
Leonid Troyanovsky © (2010-11-30 22:17) [6]

> xayam © (30.11.10 21:37)

> Что можно сделать, чтобы ускорить этот процесс?

Не приседай, а пальцем покажи: откель заходить.
Дай префикс ссылок - зайдем и с бубен.

--
Regards, LVT.

← →
Eraser © (2010-11-30 22:22) [7]

> [0] xayam © (30.11.10 21:37)

спросить на форуме оптимизаторов.
http://forum.searchengines.ru/

← →
xayam © (2010-11-30 22:22) [8]

так получается только на главной нужна ссылка на http://www.delphimaster.net/archive/ остальное там есть, хотя тот большой архив не открывался по-моему последний раз когда проверял...

← →
xayam © (2010-11-30 22:27) [9]

хотя в robots.txt этот раздел указан, поэтому мне кажется это не поможет

← →
xayam © (2010-11-30 22:31) [10]

а яндекс вообще xml нормально обрабатывает?

← →
Kerk © (2010-11-30 22:32) [11]

Так ты убери из robots.txt его

← →
xayam © (2010-11-30 22:36) [12]

зачем?

← →
Kerk © (2010-11-30 22:37) [13]

Ну ты логику включи
[8] + [9] = [11]

← →
xayam © (2010-11-30 22:43) [14]

> [8] + [9] = [11]

Я такую логику не очень понял. По-моему как раз наоборот [8] + [9] = ! [11]

PS
Керк, у тебя как минимум две ссылки не пашут:
http://code.progler.ru/view/678
http://code.progler.ru/view/679

← →
Kerk © (2010-11-30 22:59) [15]

> xayam © (30.11.10 22:43) [14]

А, оно у тебя там allow. Обычно в robots.txt только запреты пишут.
Ссылку все-равно поставь. Гугл же не телепат, чтоб по косвенным признакам чего-то искать.

> Керк, у тебя как минимум две ссылки не пашут:

Ага, разберусь. Там похоже не архив просто.

← →
xayam © (2010-11-30 23:05) [16]

> Обычно в robots.txt только запреты пишут.

понятно, просто там в allow указаны разделы которые готовы по наполнению информацией и по ним имеет смысл ходить...

← →
xayam © (2010-11-30 23:32) [17]

> Kerk

<offtopic>
кстати, не знаешь куда KilkennyCat исчез? У него на хостинге по его домену kilkennycat.ru опять по ходу деньги кончились...
</offtopic>

← →
Kerk © (2010-11-30 23:43) [18]

Недавно тут был в ветке про жЫвотных

← →
Дмитрий Тимохов (2010-11-30 23:43) [19]

> xayam © (30.11.10 23:05) [16]
>
>
> > Обычно в robots.txt только запреты пишут.

поддерживаю

← →
xayam © (2010-12-01 00:08) [20]

> поддерживаю

А чего плохого что allow есть?

← →
Дмитрий Белькевич (2010-12-01 01:06) [21]

http://webmaster.yandex.ru/ и http://www.google.com/webmasters/ уже изучен?

← →
xayam © (2010-12-01 01:08) [22]

да

← →
xayam © (2010-12-01 01:08) [23]

но не в плане allow :)

← →
Дмитрий Белькевич (2010-12-01 01:08) [24]

> но кол-во проиндексированных страниц даже не приблизилось
> к 2% от общего числа страниц.

Откуда это вообще известно?

Вообще, по хорошему, ко всем страницам лучше сделать линки. Так, думаю, надёжнее. Не уверен на 100% что сайтмапа достаточно.

← →
Дмитрий Белькевич (2010-12-01 01:11) [25]

> да

Гугль, вообще, пишет - сколько он нашел линков в сайтмапе и сколько в индексе. В смысле - сайтмап - нормальный?

← →
xayam © (2010-12-01 01:13) [26]

> ко всем страницам лучше сделать линки

уже сделал на главной сверху по центру над формой. Только мне кажется у яндекса с xml какая-то проблема, он тут чего-то в ошибках пишет - "Кодировка не распознана" - на кучу xml-файлов, например этот - http://www.delphimaster.net/archive/2002.01.21/main.xml хотя там utf стоит. Чего такое?

← →
Дмитрий Белькевич (2010-12-01 01:14) [27]

> и сколько в индексе.

читать: и сколько уже в индексе.

← →
Дмитрий Белькевич (2010-12-01 01:17) [28]

> уже сделал на главной сверху по центру над формой

Не вижу что-то...

сайтмеп нормальный, яндекс и гугл его загрузили и проверили - ошибок нет
в индексе гугла пишет - 1317
в индексе яндекса пишет - 1102, загружено - 9233
всего по карте 227 466 ссылок, гугл и яндекс показывают это число...

> Не вижу что-то

Delphi Master Search Archive

← →
Дмитрий Белькевич (2010-12-01 01:37) [30]

> Delphi Master Search Archive

Нашел в сырце. На самой странице линка не видно. Не понятно.

на странице

http://www.delphimaster.net/archive

более 500-та ссылок, Яндекс, как минимум, может эту страницу забраковать. Оптимальным считается не более сотни.

уникальных внутренних ссылок, если точнее... И яндексу пофиг на это?

← →
Дмитрий Белькевич (2010-12-01 01:42) [32]

> в индексе гугла пишет - 1317в индексе яндекса пишет - 1102,
> загружено - 9233

Вообще, не факт, что они всё полностью схавают и отправят в индекс. У нас, например, гугль обычно не больше 1000 ест из 60-ти тысяч. Яндекс - все.

← →
Дмитрий Белькевич (2010-12-01 01:42) [33]

> уникальных внутренних ссылок, если точнее... И яндексу пофиг
> на это?

Любых, насколько я знаю.

> На самой странице линка не видно. Не понятно.

кеш отрублен? у меня все работает

← →
Дмитрий Белькевич (2010-12-01 01:48) [35]

> кеш отрублен? у меня все работает

Кэш, наверно. На другой машине увидел.

> xayam (30.11.2010 21:37:00) [0]

Для этого надо, что бы на тебя было много ссылок.

> xayam (30.11.2010 22:08:03) [3]

Так у тебя там, для поисковых машин ерунда
http://www.delphimaster.net/sitemap1.xml.gz

> xayam (30.11.2010 22:27:09) [9]

в robots.txt только разрешение, а это не ссылка.

> xayam (01.12.2010 00:08:20) [20]

А чего хорошего?

> xayam (01.12.2010 01:13:26) [26]

Из выдачи Гугла

> Возможно, вы имели в виду: http://www.delphimaster.ru

:-)

Как ускорить индексирование сайта поисковиками? Найти похожие ветки