Web robots (spiders)

← →
Dimedrol © (2005-02-22 17:09) [0]

Сидел я на стуле ;-) Думу думал... А думал вот о чем.
У нас в Латвии ни одного приличного поисковика нет.
Мдаааа...
И что-то задумался о том, как вообще в принципе можно собрать
и проиндексировать content на www-страничках ?
Этим занимаются www-роботы.

А вот, как вообще фунциклирует эта вся кухня ?
www-робот, это ведь - программа.
А есть ли они в открытом доступе ?

То есть, можно ли просто поставить себе на сервак,
скажем, Linux-овый или Win (не важно)
програмулину, и пущай себе путешествует по страничкам.

А ?!

Где-то ваще можно про это узнать ?
Или собственно, spider-a такого себе взять ?

← →
Плохиш © (2005-02-22 17:43) [1]

>Dimedrol © (22.02.05 17:09)

>Сидел я на стуле ;-) Думу думал... А думал вот о чем.
>У нас в Латвии ни одного приличного поисковика нет.

А чем неграждане не устраивают?

← →
Dimedrol © (2005-02-22 17:53) [2]

Это ты к чему ?

← →
boriskb © (2005-02-22 17:59) [3]

Dimedrol © (22.02.05 17:53) [2]
Это ты к чему ?

Ты хочешь сделать поисковик лучше чем яндекс и гугль?
Зачем тебе свой?

← →
Плохиш © (2005-02-22 18:01) [4]

Разные причины создания программ/сайтов видел, но отсутствия поисковика в какой-либо стране первый раз.
Или в Латвии запрещён доступ к общественным поисковым системам (yahoo, goole, booble, yandex...)? В таком случае приношу свои извинения.

← →
Desdechado © (2005-02-22 18:02) [5]

Простейшую можно, наверно, и самому написать
А вот серьезные - за это большие бабки надо платить, имхо. Их там лицензируют и прочее, вечно в околокомпьютерной прессе что-то про какие-то новые технологии поиска пишут.
Поэтому нахаляву никто выкладывать не будет.

← →
Dimedrol © (2005-02-22 18:11) [6]

2 Плохиш ©
Я же сказал - "приличного"!

Есть у нас _в_принципе_ поисковики.
Просто в основном в своих платных(!) каталогах ищут.
То есть находят не то что ТЕБЕ нужно, а что ИМ нужно.
И это уже конкретно парит.

2 boriskb ©
см. выше.

2 Desdechado ©
Нууууу... потуги есть
Вот например -
http://j-spider.sourceforge.net/

вот я и решил пособирать инфу...

← →
Algol (2005-02-22 19:26) [7]

Есть и готовые системы. Да только, как правило, имеющие кучу ограничений (в основном на полнотекстовый поиск и на объем базы).
Можно и писать самому. Я пару лет назад сделал себе такой движок (полнотекстовая индексация, словари, хиты - все как положено). Написал где-то за неделю. За основу брал описание работы Гугла (в инете валяется, если есть желание, можно найти).
Теперь использую в некоторых программах. Например FTP поисковик сделал по украинским серверам.

← →
Dimedrol © (2005-02-22 20:10) [8]

Хммммм... интересная мысль.
Описание Гугла поискать надо! :-)

← →
__Oleg (2005-02-23 09:44) [9]

Глупость, всё есть, например, www.siets.lv достаточно приличный поисковик, кроме этого, очень хорошо по латышским страницам ищет google.

← →
Anatoly Podgoretsky © (2005-02-23 09:49) [10]

Dimedrol © (22.02.05 17:09)
У нас в Латвии ни одного приличного поисковика нет.

http://www.google.lv/

Anatoly Podgoretsky ©
http://www.google.lv/ - лишь домен! Когда у кого-то нет "заграницы", google.lv не работает.

__Oleg
Да он не плох. Но, мне он напоминает печально известный search.lv

> Как это? У меня работает.

Ну есть же сети обмена только внутренним траффиком - из серверов, реально находящихся в Латвии, к пример. В Украине точно есть. Цена такого траффика ниже.

← →
Algol (2005-02-24 11:37) [14]

> Цена такого траффика ниже.

Точнее он вообще бесплатный))

> доступ к общественным поисковым системам (yahoo, goole,
> booble, yandex...)?

Прикольный поисковик, однако :)

Web robots (spiders) Найти похожие ветки