Поиск в I-нете..

← →
Пробегал2.... (2008-06-05 15:20) [40]

Anatoly Podgoretsky © (04.06.08 15:11) [8]
бедный яндекс индексировал с одной машниы, в несколько потоков. Гугл уже сотни, но с одной сети, Яху множество машин с разных сетей класса А.

о как. Оказывается теперь яху кручу всех. Совсем недавно как-то по другому было:

>Вот еще и gogle подключился, но у этих математика получше, а Яху >работает как спамбот.

Младенцы? Просто кто-то умеет работать адекватно, а кто-то нет.

ketmar © (04.06.08 15:31) [12]
и знал бы ты, как я заколебался файрволом банить этих идиотских ботов!

вот же делать кому-то нечего...

← →
Пробегал2.... (2008-06-05 15:22) [41]

Удалено модератором
Примечание: п.1 правил

← →
ketmar © (2008-06-05 15:29) [42]

>[39] Anatoly Podgoretsky © (2008-06-05 15:18:00)
к сожалению.

>[41] Пробегал2…. (2008-06-05 15:22:00)
>Если сайт открыт в интернет — значит, он уже по-умолчанию считается общественным
ЩИТО?! O_O ты формулируй-то аккуратней. а то ты щаз написал, что если я сайт в инет выставил, то это значит, что кто угодно с ним может делать что угодно. в том числе и менять контент.

а что там смогут или не смогут поисковики — это проблема поисковиков, не моя. пусть заключают с хостерами соглашения, например, а хостеры с клиентами — о том, что право индексировать сайт поисковиком дано по-дефолту. мой же ресурс хостится лично мной, я никому таких прав не давал. ну, и не даю дальше — файрволом.

---
Understanding is not required. Only obedience.

← →
Anatoly Podgoretsky © (2008-06-05 15:37) [43]

> Пробегал2.... (05.06.2008 15:20:40) [40]

Сколько там за весь Яху предложили? А стоимость Гула и Яндекса знаешь.
У Яху очень мощная аппаратная база, старые они.

← →
DrPass © (2008-06-05 15:37) [44]

> ketmar © (05.06.08 13:25) [36]
> >[34] DrPass © (2008-06-05 12:36:00)
> как ты думаешь, лично меня сильно волнуют интересы поисковика?
>

Нет. Но голова за твой сайт должна болеть только у тебя, а не у кого-либо еще в Интернете, так что не жалуйся :)

← →
Правильный_Вася (2008-06-05 15:41) [45]

> ketmar ©

увы, это принцип частной собственности
хочешь, чтоб не взяли, цепляй замок, ставь забор или хотя бы вывеску
иначе никто не знает, что оно твое

← →
ketmar © (2008-06-05 15:45) [46]

>[45] Правильный_Вася (2008-06-05 15:41:00)
вот за эти принципы и надо убивать. «не твоё» по умолчанию всё, что ты не сделал и что тебе не подарили/продали. к сожалению, подобное в черепа не вбивается, и потому анархия невозможна…

---
All Your Base Are Belong to Us

← →
ketmar © (2008-06-05 15:46) [47]

>[44] DrPass © (2008-06-05 15:37:00)
а я никого и не заставляю за меня сайт админить.

---
Understanding is not required. Only obedience.

← →
Павел Калугин © (2008-06-05 15:46) [48]

> Anatoly Podgoretsky © (05.06.08 15:18) [39]
> Ну тут твои представления с разработчиками не совпадают.
>

и с пользователями поисковика тоже...

> ketmar © (05.06.08 15:29) [42]

А вот мне всегда казалось что если сайт выставлен в тырнет от чобы его прочел любой желающий, то есть любая программа умеющая "читать сайты".
Следовательно по умолчанию читать можно всем и вся. а дальще укручивание доступа уже делается.

← →
ketmar © (2008-06-05 15:48) [49]

>[48] Павел Калугин © (2008-06-05 15:46:00)
ты посмотри выше. про «любой желающий» речи не шло, и ссылок на публичных ресурсах, по которым мог приползти бот, не было. однако ж приполз, зарза. а я его ни разу не звал. и никого не звал вообще. просто не ставил тотальный забор (уже поставил %-).

---
All Your Base Are Belong to Us

← →
Anatoly Podgoretsky © (2008-06-05 16:07) [50]

> ketmar (05.06.2008 15:45:46) [46]

Это паблик домейн, иначе ты должен явно запретить вход, техническими средствами, как минимум пароль.

← →
Anatoly Podgoretsky © (2008-06-05 16:08) [51]

> ketmar (05.06.2008 15:48:49) [49]

Представь как ты поисковика заспамишь если поставишь пароль и будешь им выдавать код ошибки 200

← →
ketmar © (2008-06-05 16:22) [52]

>[50] Anatoly Podgoretsky © (2008-06-05 16:07:00)
>Это паблик домейн
ни разу. там написано: «ботам и с ботами нельзя». я виноват, что их тупые боты читать не умеют?

>[51] Anatoly Podgoretsky © (2008-06-05 16:08:00)
ну да. уроню гугль, тут вообще ужас начнётся. и так куча народу считают, что здесь филиал, а так весь рунет ломанётся.

---
All Your Base Are Belong to Us

← →
Пробегал2.... (2008-06-05 16:27) [53]

ketmar © (05.06.08 15:29) [42]
ЩИТО?! O_O ты формулируй-то аккуратней. а то ты щаз написал, что если я сайт в инет выставил, то это значит, что кто угодно с ним может делать что угодно. в том числе и менять контент.

я все правильно сформулировал. Если хочешь точнее - общественным достоянием. Это все равно что поставить памятник в центре города и удивляться, какого хрена на него все глазеют. Но это не значит, что с этим памятником каждый может делать что угодно.

Если ты выходишь на улицу - у людей есть полное право смотреть на тебя. Если тебе не нравится - не выходи на улицу. Но разрешения посмотреть на тебя никто спрашивать не должен.

Точно также сам факт выкладывания сайта в ОБЩЕДОСТУПНУЮ сеть является согласием с тем, что с этим сайтом могут соединяться другие компьютеры. Ты ЗНАЛ, что твоим сайтом могут заинтересоваться поисковые шпионы. Но тем не менее ты ВЫЛОЖИЛ сайт. На что жалуемся?

Скажи спасибо, что поисковые роботы вообще обращают внимание на robots.txt, они этого абсолютно не должны делать.

← →
Пробегал2.... (2008-06-05 16:28) [54]

ketmar © (05.06.08 16:22) [52]
ни разу. там написано: «ботам и с ботами нельзя». я виноват, что их тупые боты читать не умеют?

они виноваты, что ты не умеешь объяснить ботам, что сюда не надо?

← →
ketmar © (2008-06-05 16:31) [55]

>[54] Пробегал2…. (2008-06-05 16:28:00)
лни виноваты, что их боты не понимают лицензий. или получается, что если на меня валят DDoS (к примеру), то я виноват в том, что не пояснил ддос-ботам, что меня ддосить не надо?

алсо, памятник не является «общественным достоянием», обычно они в ведении муниципалитета. твой пример крив. если бы он являлся «общественным достоянием», я бы мог отпилить ему какой-нибудь интересный орган. советую тебе на досуге попробовать, узнаешь много интересного. в частности тебе популярно пояснят, что никакого «общественного достояния» там и рядом не лежало.

---
All Your Base Are Belong to Us

← →
Anatoly Podgoretsky © (2008-06-05 16:36) [56]

> ketmar (05.06.2008 16:22:52) [52]

Прими как должное, а в качестве разлечения поборись с ними.
Насчет уроню, я уронил все поисковые системы, когда запустил новый сайт, все ссылки стали вести в никуда, вот тогда они как звери набросились на новый сайты, первые дни только одни боты его и читали.

← →
guav © (2008-06-05 16:39) [57]

Боты вроде юзер агент пишут, честно признаются что они не люди.

← →
ketmar © (2008-06-05 16:40) [58]

>[56] Anatoly Podgoretsky © (2008-06-05 16:36:00)
а чего там бороться? гуглонет забанил, остальных мне известных отсеиваю по юзерагенту. дальше проверки строки http-сервером они не пролазят, и в ответ получают страницу «пошёл ты на …, пятачок».

---
All Your Base Are Belong to Us

← →
ketmar © (2008-06-05 16:40) [59]

>[57] guav © (2008-06-05 16:39:00)
ога. только нигде нет списка всех «нелюдей», чтобы я регэксп скопипастил. %-)

---
All Your Base Are Belong to Us

← →
Anatoly Podgoretsky © (2008-06-05 16:46) [60]

> Пробегал2.... (05.06.2008 16:28:54) [54]

Ламер он!

← →
Anatoly Podgoretsky © (2008-06-05 16:46) [61]

> Пробегал2.... (05.06.2008 16:28:54) [54]

Как там насчет ответа о стоимости?

← →
guav © (2008-06-05 16:48) [62]

> [59] ketmar © (05.06.08 16:40)

Можно завести список известных людей + список известных нелюдей + у остальных явно спрашивать и заносить в списки по результатам ответов :)

← →
Anatoly Podgoretsky © (2008-06-05 17:03) [63]

> guav (05.06.2008 16:39:57) [57]

Не все, есть звери

← →
Пробегал2.... (2008-06-05 17:08) [64]

Удалено модератором
Примечание: п.1 правил

← →
ketmar © (2008-06-05 17:08) [65]

>[62] guav © (2008-06-05 16:48:00)
а вдруг бот кем прикинится?

---
Understanding is not required. Only obedience.

← →
ketmar © (2008-06-05 17:08) [66]

>[65] ketmar © (2008-06-05 17:08:00)
тьфу. встроеный в мозг спеллчекер глюкнул.

---
All Your Base Are Belong to Us

← →
Пробегал2.... (2008-06-05 17:08) [67]

Anatoly Podgoretsky © (05.06.08 16:46) [61]
Как там насчет ответа о стоимости?

я должен на что-то отвечать? ;)

← →
Style © (2008-06-05 17:16) [68]

> Гугл младенец по сравнению с Яху, у тех многие сотни тысяч
> компьютеров, когда меня индексировали, то это очень наглядно
> было видно, бедный яндекс индексировал с одной машниы, в
> несколько потоков. Гугл уже сотни, но с одной сети, Яху
> множество машин с разных сетей класса А.
> имена поисковых машин у них - ccdddddd
> Заодно они протестировали мой сайт на нагрузку, выдерживал
> до 800 подключений одновременно. Оно бы было и больше, но
> у меня не 100мбитная сеть.

угу а я потом голову ломаю откуда у меня на форуме 300 посетителей одновременно было )

> Пробегал2.... (05.06.2008 17:08:07) [67]

Не должен, но если захочешь, то я разрешение даю.

> Style (05.06.2008 17:16:08) [68]

Если бот зацепился, то уж проиндексирует все что возможно и возможно сотнями потоков, для некоторых это будет похоже на ДДОС атаку.

>[70] Anatoly Podgoretsky © (2008-06-05 19:20:00)
ну, гугль ещё приличный, у меня один-два потока всего было.

---
Understanding is not required. Only obedience.

← →
blackman (2008-06-05 20:40) [72]

Вообще-то эти яхи редко на русские сайты ходят. Придут и исчезают :-)
Да можно и запретить. Зачем нам Яху ? Ссылок от него не дождкшься потом. Ищут-то с ним англоязычные...
А вот Google гораздо полезнее. Лучше чем Yandex раз в 5.

> ketmar (05.06.2008 20:01:11) [71]

Приличный подтверждаю, делает запрос не более чем с 10 разных ИП, про количество потоков сказать не могу, это же надо инструмент писать, могу судить только о запросах с разных ИП, а вот Яху может сделать и 100 и 200 запросов с разных ИП и из разных сетей. Ну у меня сервер мощный, но я могу представить тех у кого слабенький как сервер, так и канал. Настоящий ДДОС, все станет колом. А если сайт большой, то на много дней.

> blackman (05.06.2008 20:40:12) [72]

Ну не знаю насчет ссылок, но только Яху и LiveSearch работаю адекватно, остальные или не находят или дают устаревшие, уже не действующие ссылки.
Насчет Гугла тоже не согласен дает много ссылок, большинство которых являются мусором, очень не релевантны и найти в том, мусоре что он выдал, нужное очень сложно.
Гугл это же хороший маркетинг и аггресивное продвижение. Видимо сказывается влияние родины одного из отцов основателей.

Яху и LiveSearch работаю адекватно
Может быть и адекватно для ангийского языка, но если сайт с русским, то заходов от них при поиске ждать не следует.
Англичане пользующиеся ими ищут английские слова как это ни страннно :)
Стало быть для нас пригодны только Google и Yandex которыми пользутся русскоязычные.
Хочу также заметить, что Google очень хорошо находит правильные ссылки в отличие от Yandex, который например путает новости с настоящим текстом.
Мусор в Google конечно есть, но в последнее время его гораздо меньше чем в Yandex.
Видимо сказывается влияние родины одного из отцов основателей
Это точно. У меня вообще такое впечатление, Yandex умирает, а Google постоянно совершенствуется и растет. Скоро станет национальным поисковиком судя по количеству запросов от него из России

> blackman (05.06.2008 21:55:15) [75]

Есть различия и конечно в этом плане Гугл лучше, понятно почему.
Но яху на месте не стояла, а гугл полез во все дыры.
Я некоторые запросы проверяю на разных поисковиках, благо в ИЕ7 это просто и пока лучшие результаты у LiveSearch
Естественно на мой взгляд.

>[76] Anatoly Podgoretsky © (2008-06-05 22:02:00)
>в ИЕ7 это просто
>лучшие результаты у LiveSearch
нет ли тут взаимосвязи?
%-)

---
All Your Base Are Belong to Us

пока лучшие результаты у LiveSearch
Может быть по качеству и хорошие, но объем индексации очень маленький. Очень мало страниц индексирует. Заходи редко. Хорош только для статических сайтов, редко изменяющихся. И придется долго ждать пока он соизволит... Раз в 100 отстает от Google

Нет. Лучше Google пока нет. Кроме того у него не плохая своя статистика. Удобно использовать его поиск на сайте и т.п.

← →
Пробегал2.... (2008-06-05 22:17) [79]

Anatoly Podgoretsky © (05.06.08 21:27) [73]
Ну у меня сервер мощный

какой же он мощный, если в своей ветке про сервер вы жаловались, что поисковые боты вешают сайт, странички с десятого раза открывались.

blackman © (05.06.08 21:55) [75]
от Yandex, который например путает новости с настоящим текстом

ух ты. А что есть "НАСТОЯЩИЙ ТЕКСТ"?

Зашел, пробегал... Ух ты... :)))

Поиск в I-нете.. Найти похожие ветки