Скачать: CL | DM;

Поиск   Найти похожие ветки 

← →
Cerberus ©   (2005-08-01 00:12) [0]

По какому принципу работаю поисковики на сайтах. Если обьём который надо обработать очень велик?

---

← →
Джо ©   (2005-08-01 00:17) [1]

> Если обьём который надо обработать очень велик?

Тогда поисковик пишет: "Не могу обработать ваш запрос. Попробуйте позже". Это если поисковик хороший. Если нет: error in search.php <lh@19u!@kh1kj > msql connect error.@!#!#!@#!@#

:^)

---

← →
Cerberus ©   (2005-08-01 00:24) [2]

Нет просто. Хочу написать поисковик который будет искать на разных сайтах. И думаю что периберать все сайты в момент поиска слишком долго. А хранить всю информацию на своём сервере слишком большой обьём.

---

← →
Джо ©   (2005-08-01 00:34) [3]

>  [2] Cerberus ©   (01.08.05 00:24)
> Нет просто. Хочу написать поисковик который будет искать
> на разных сайтах. И думаю что периберать все сайты в момент
> поиска слишком долго. А хранить всю информацию на своём
> сервере слишком большой обьём.

Ну так тут - или шашечки, или ехать. По секрету скажу: что поисковики ищут по уже готовой базе у себя на серверах. А базу пополняет, так называемый web-spider.

---

← →
DrPass ©   (2005-08-01 00:34) [4]

Да ерунда. В 1997 году поисковик Alta Vista обходился 16 двухпроцессорными Alpha-серверами. А сейчас все намного проще - купил восьмипроцессорный Оптерон с дисковым массивом на десяток терабайт, поставил себе под стол, обеспечил парой выходов в сеть на несколько мегабит каждый, через разных провайдеров. И будет тебе поисковик

---

Страницы: 1 вся ветка

Скачать: CL | DM;



Память: 0.45 MB
Время: 0.024 c