Как ускорить индексирование сайта поисковиками?

← →
xayam © (2010-11-30 21:37) [0]

Последнее время дм.нет стабильно держит и набирает кол-во посещений через поисковики, но кол-во проиндексированных страниц даже не приблизилось к 2% от общего числа страниц.

Что можно сделать, чтобы ускорить этот процесс?

В рейтинге мейла уже третья страница ( к концу дня ) в разделе "Интернет/Поисковые формы" http://top.mail.ru/Rating/Internet-Search_Forms/Today/Visitors/3.html
Приходят в основном с гугла и яндекса.

← →
xayam © (2010-11-30 21:45) [1]

Из того что уже есть:
1) http://www.delphimaster.net/robots.txt
2) http://www.delphimaster.net/sitemap.xml
3) регистрация/настройка в гугле и яндексе на сканирование с интервалом 0.5/1 секунда

← →
Kerk © (2010-11-30 22:01) [2]

Сделай так, чтоб до веток можно было достучаться не только через поиск.
Сделай карту сайта с ссылками на все ветки.

← →
xayam © (2010-11-30 22:08) [3]

так sitemap это же и есть карта...

← →
xayam © (2010-11-30 22:12) [4]

или ты имеешь ввиду чтобы была цепочка ссылок от корня до любой ветки?
и что будет лучше так?

← →
Kerk © (2010-11-30 22:16) [5]

> xayam © (30.11.10 22:12) [4]
>
> или ты имеешь ввиду чтобы была цепочка ссылок от корня до
> любой ветки?
> и что будет лучше так?

Практически уверен, что будет лучше. Так-то теоретически должно и sitemap.xml хватать, но сам видишь, что нифига.

← →
Leonid Troyanovsky © (2010-11-30 22:17) [6]

> xayam © (30.11.10 21:37)

> Что можно сделать, чтобы ускорить этот процесс?

Не приседай, а пальцем покажи: откель заходить.
Дай префикс ссылок - зайдем и с бубен.

--
Regards, LVT.

← →
Eraser © (2010-11-30 22:22) [7]

> [0] xayam © (30.11.10 21:37)

спросить на форуме оптимизаторов.
http://forum.searchengines.ru/

← →
xayam © (2010-11-30 22:22) [8]

так получается только на главной нужна ссылка на http://www.delphimaster.net/archive/ остальное там есть, хотя тот большой архив не открывался по-моему последний раз когда проверял...

← →
xayam © (2010-11-30 22:27) [9]

хотя в robots.txt этот раздел указан, поэтому мне кажется это не поможет

← →
xayam © (2010-11-30 22:31) [10]

а яндекс вообще xml нормально обрабатывает?

← →
Kerk © (2010-11-30 22:32) [11]

Так ты убери из robots.txt его

← →
xayam © (2010-11-30 22:36) [12]

зачем?

← →
Kerk © (2010-11-30 22:37) [13]

Ну ты логику включи
[8] + [9] = [11]

← →
xayam © (2010-11-30 22:43) [14]

> [8] + [9] = [11]

Я такую логику не очень понял. По-моему как раз наоборот [8] + [9] = ! [11]

PS
Керк, у тебя как минимум две ссылки не пашут:
http://code.progler.ru/view/678
http://code.progler.ru/view/679

← →
Kerk © (2010-11-30 22:59) [15]

> xayam © (30.11.10 22:43) [14]

А, оно у тебя там allow. Обычно в robots.txt только запреты пишут.
Ссылку все-равно поставь. Гугл же не телепат, чтоб по косвенным признакам чего-то искать.

> Керк, у тебя как минимум две ссылки не пашут:

Ага, разберусь. Там похоже не архив просто.

← →
xayam © (2010-11-30 23:05) [16]

> Обычно в robots.txt только запреты пишут.

понятно, просто там в allow указаны разделы которые готовы по наполнению информацией и по ним имеет смысл ходить...

← →
xayam © (2010-11-30 23:32) [17]

> Kerk

<offtopic>
кстати, не знаешь куда KilkennyCat исчез? У него на хостинге по его домену kilkennycat.ru опять по ходу деньги кончились...
</offtopic>

← →
Kerk © (2010-11-30 23:43) [18]

Недавно тут был в ветке про жЫвотных

← →
Дмитрий Тимохов (2010-11-30 23:43) [19]

> xayam © (30.11.10 23:05) [16]
>
>
> > Обычно в robots.txt только запреты пишут.

поддерживаю

← →
xayam © (2010-12-01 00:08) [20]

> поддерживаю

А чего плохого что allow есть?

← →
Дмитрий Белькевич (2010-12-01 01:06) [21]

http://webmaster.yandex.ru/ и http://www.google.com/webmasters/ уже изучен?

← →
xayam © (2010-12-01 01:08) [22]

да

← →
xayam © (2010-12-01 01:08) [23]

но не в плане allow :)

← →
Дмитрий Белькевич (2010-12-01 01:08) [24]

> но кол-во проиндексированных страниц даже не приблизилось
> к 2% от общего числа страниц.

Откуда это вообще известно?

Вообще, по хорошему, ко всем страницам лучше сделать линки. Так, думаю, надёжнее. Не уверен на 100% что сайтмапа достаточно.

← →
Дмитрий Белькевич (2010-12-01 01:11) [25]

> да

Гугль, вообще, пишет - сколько он нашел линков в сайтмапе и сколько в индексе. В смысле - сайтмап - нормальный?

← →
xayam © (2010-12-01 01:13) [26]

> ко всем страницам лучше сделать линки

уже сделал на главной сверху по центру над формой. Только мне кажется у яндекса с xml какая-то проблема, он тут чего-то в ошибках пишет - "Кодировка не распознана" - на кучу xml-файлов, например этот - http://www.delphimaster.net/archive/2002.01.21/main.xml хотя там utf стоит. Чего такое?

← →
Дмитрий Белькевич (2010-12-01 01:14) [27]

> и сколько в индексе.

читать: и сколько уже в индексе.

← →
Дмитрий Белькевич (2010-12-01 01:17) [28]

> уже сделал на главной сверху по центру над формой

Не вижу что-то...

← →
xayam © (2010-12-01 01:24) [29]

сайтмеп нормальный, яндекс и гугл его загрузили и проверили - ошибок нет
в индексе гугла пишет - 1317
в индексе яндекса пишет - 1102, загружено - 9233
всего по карте 227 466 ссылок, гугл и яндекс показывают это число...

> Не вижу что-то

Delphi Master Search Archive

← →
Дмитрий Белькевич (2010-12-01 01:37) [30]

> Delphi Master Search Archive

Нашел в сырце. На самой странице линка не видно. Не понятно.

на странице

http://www.delphimaster.net/archive

более 500-та ссылок, Яндекс, как минимум, может эту страницу забраковать. Оптимальным считается не более сотни.

← →
xayam © (2010-12-01 01:41) [31]

уникальных внутренних ссылок, если точнее... И яндексу пофиг на это?

← →
Дмитрий Белькевич (2010-12-01 01:42) [32]

> в индексе гугла пишет - 1317в индексе яндекса пишет - 1102,
> загружено - 9233

Вообще, не факт, что они всё полностью схавают и отправят в индекс. У нас, например, гугль обычно не больше 1000 ест из 60-ти тысяч. Яндекс - все.

← →
Дмитрий Белькевич (2010-12-01 01:42) [33]

> уникальных внутренних ссылок, если точнее... И яндексу пофиг
> на это?

Любых, насколько я знаю.

← →
xayam © (2010-12-01 01:43) [34]

> На самой странице линка не видно. Не понятно.

кеш отрублен? у меня все работает

← →
Дмитрий Белькевич (2010-12-01 01:48) [35]

> кеш отрублен? у меня все работает

Кэш, наверно. На другой машине увидел.

← →
Anatoly Podgoretsky © (2010-12-01 09:45) [36]

> xayam (30.11.2010 21:37:00) [0]

Для этого надо, что бы на тебя было много ссылок.

← →
Anatoly Podgoretsky © (2010-12-01 09:48) [37]

> xayam (30.11.2010 22:08:03) [3]

Так у тебя там, для поисковых машин ерунда
http://www.delphimaster.net/sitemap1.xml.gz

← →
Anatoly Podgoretsky © (2010-12-01 09:49) [38]

> xayam (30.11.2010 22:27:09) [9]

в robots.txt только разрешение, а это не ссылка.

← →
Anatoly Podgoretsky © (2010-12-01 09:51) [39]

> xayam (01.12.2010 00:08:20) [20]

А чего хорошего?

← →
Anatoly Podgoretsky © (2010-12-01 09:54) [40]

> xayam (01.12.2010 01:13:26) [26]

Из выдачи Гугла

> Возможно, вы имели в виду: http://www.delphimaster.ru

:-)

← →
KSergey © (2010-12-01 10:10) [41]

Надо бы ссылок по инету раскидать, по каталогам опять же
А то Тиц ваще никакой.

http://www.cy-pr.com/analysis/www.delphimaster.net

Можно так же раскидывать ссылки на результаты поиска, например
http://www.delphimaster.net/?s=Indi
Желательно чтобы текст самих ссылок при этом был сообразен (релевантен) результатам.

Ну и архив (где все ссылки) сделать постраничным, что Дмитрий Белькевич [30] говорит.

← →
KSergey © (2010-12-01 10:14) [42]

Добавил пару ссылок, правда сайт у меня нифига не данной тематики. Ну да пусть будет.

← →
Дмитрий Тимохов (2010-12-01 11:18) [43]

Как предположение )))

А может быть такое, что индекс распознает плагиат с delphimaster.ru и не хочет индексировать лишнее?

Я когда в свое время читал Ашманова (вроде авторитет), то запомнил, то поисковики не любят плагиат.

Ты эта, натрави на текст морфологию какую-нибудь )))
Ржачно будет )) И проиндексируется нормально.

← →
Kerk © (2010-12-01 11:36) [44]

> Дмитрий Тимохов (01.12.10 11:18) [43]
>
> Как предположение )))
>
> А может быть такое, что индекс распознает плагиат с delphimaster.
> ru и не хочет индексировать лишнее?

Да нет, на мастаках же нет архивов. Какой ж плагиат ветки 5тилетней давности.

← →
xayam © (2010-12-01 12:05) [45]

> Ты эта, натрави на текст морфологию какую-нибудь )))
> Ржачно будет )) И проиндексируется нормально.

а при чем тут морфология? Что имелось ввиду?

> поисковики не любят плагиат

эта информация, насколько я понял, только в архивах tar.bz2. Чего-то я сомневаюсь, что какой-то поисковик будет с bz работать, а с tar тем более...

← →
Дмитрий Тимохов (2010-12-01 12:58) [46]

> эта информация, насколько я понял, только в архивах tar.
> bz2. Чего-то я сомневаюсь, что какой-то поисковик будет
> с bz работать, а с tar тем более...

зря сомневаешься.
вернее так - знать нам не положено.
я иногда нахожу информацию в архивах.

про морфологию.
я не знаю, как там у тебя сделано - не был ни разу.
думал, что зеркальное отражение DM.ru, только без стирание истории.
я имел в виду, что пропускать текст, который был правил его, оставляя суть, но убирал формальное сходство - типичный прием спамеров. вообще я пошутил ))
представляешь, что будет из текста!

← →
xayam © (2010-12-01 13:47) [47]

Еще сделал небольшую поддержку opensearch для внешнего поиска по логину пока,
для демонстрации использования записано видео: http://www.ex.ua/load/5737872 [6.8 MB]

← →
12 © (2010-12-01 14:09) [48]

кстати, чего там ничего не работает?
пусто, по 3-4 ссылкам кликнул
http://www.delphimaster.net/about

← →
Inovet © (2010-12-01 14:14) [49]

> [48] 12 © (01.12.10 14:09)
> http://www.delphimaster.net/about

Ого 3,5 года от начала. Я как-то не заглядывал на about

← →
xayam © (2010-12-01 14:18) [50]

> пусто, по 3-4 ссылкам кликнул

opensearch.xml? работает, но это для поддерживающих эту спецификацию браузеров ( на FF3, IE8 проверял - работает )
ссылка на внешний валидатор опенседжа тоже работает... проверяй кэш :)

> Ого 3,5 года от начала

на интербейсе долго эксперементировал, потом пхп/мускул изучал...

← →
12 © (2010-12-01 14:21) [51]

точно, глюки с этими браузерами..
то капчу пройти не могу, то еще чего
с виртуалки, где чистая винда - нормально все

← →
xayam © (2010-12-01 15:18) [52]

> xayam [0]
> В рейтинге мейла уже третья страница ( к концу дня ) в разделе
> "Интернет/Поисковые формы"

держимся в конце 2-й страницы, хотя уже больше половины суток прошло!!! Когда же первая будет :)

Удалено модератором
Примечание: Создание пустых сообщений

← →
Дмитрий Белькевич (2010-12-02 13:31) [54]

Параметры, конечно, совсем никакие:

Яндекс тИЦ (CY) 0 Alexa Rank 0
Google PageRank (PR) 1

на серчэнжинсе за весьма скромную плату 10-ку хотя бы набьют - рекомендую обратиться.

Удалено модератором
Примечание: Создание пустых сообщений

Дался вам этот ТИЦ.

> xayam ©

Чтоб лучше проиндексировалось вглубь, нужно перелинковать все страницы, желательно случайным образом, например выводить блок со ссылками на случайные страницы на каждой из страниц.

хорошая идея, по-моему. Точно прокатит?

← →
Дмитрий Белькевич (2010-12-05 10:32) [60]

> Дался вам этот ТИЦ.

ТИЦ - не дался, ссылки - дались. ТИЦ зависит от ссылок, так что имеет смысл на это обратить внимание.

Удалено модератором
Примечание: Создание пустых сообщений

бьем рекорды 43-е

Удалено модератором
Примечание: Создание пустых сообщений

> 21-е, 344 посетителя... офигеть :)

и смысл?
300 из них с того же рейтинга пришло
ты смотри по каким поисковым фразам идут, и на каких позициях ты на желаемых фразах находишься

> 300 из них с того же рейтинга пришло

где это такое Вы увидели?

> где это такое Вы увидели?

может ошибаюсь, сорри
меня удивила радость от повышения в рейтинге какого-то счетчика - повышать надо кол-во целевых посетителей (счетчик тут никак не показатель)

> повышать надо кол-во целевых посетителей

хотите сказать те что есть не целевые?
хотите сказать те которые пришли по запросам получили информацию на странице, не соответствующую запросу введенному в гугле?

Вот один из запросов в гугле за 2 февраля: Delphi CheckBox цвет фона
На второй странице найденная ветка - http://delphimaster.net/view/11-1163684495

хотите сказать она не "по теме" не целевая?

> хотите сказать те которые пришли по запросам получили информацию
> на странице, не соответствующую запросу введенному в гугле?
>

Гугл часто выдает инфу по не всем заданым ключевым словам, в таком случае я почти сразу закрываю страницу найденного сайта.

Удалено модератором

Удалено модератором
Примечание: Создание пустых сообщений

> DVM
> Чтоб лучше проиндексировалось вглубь, нужно перелинковать
> все страницы, желательно случайным образом

Вот костыль такой :)
http://www.delphimaster.net/view/15-1285078090#PageDown

Плюс несколько изменений в отображении http://www.delphimaster.net/about

Боты гугла и яндекса атакуют...

Удалено модератором
Примечание: Создание пустых сообщений

...
2011.03.17 22:27:54
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
...

После этого произошло "непредвиденное"... на почту повалил китайский (!) спам :)

У кого-нибудь часто такое было, что на китайском приходило?
У меня первый раз на памяти...

Как ускорить индексирование сайта поисковиками? Найти похожие ветки