как создать достать базу вебсайтов интернета...

← →
istok2 (2009-02-08 22:11) [0]

для функций веб филтеринга нужна база веб сайтов интернета по темам (Adult, Games, News и тд..),
размер базы – от нескольких сотен тысяч сайтов до миллионов.

прежде всего интересует база по Adult, нужен список максимального кол-ва таких сайтов.
будем рады любым предложениям (возможно нет готовых баз в доступе, но есть предложения по ее созданию или вытягиванию с каких-то источников..)

таким образом, на выходе было б здорово иметь к примеру файл adult.txt с кучей адресов доменов внутри.

создание базы ботом - самый крайний случай и самый сложный.. пока ищем нечто готовое

ps:
в курсе про Atomic Web Catalogue, но adult там нет, ибо база вроде бы дмозовская..

← →
Маэстро © (2009-02-08 22:37) [1]

мож ну его? просто разрешить только доступ к каким-то определенным?

зы. не знал что это называет «веб филтеринг»:(

← →
Torry © (2009-02-08 22:37) [2]

Посмотри на сайт www.usergate.ru, там есть в разделе Downloads что-то подобное.

← →
123-ий © (2009-02-09 06:53) [3]

можно обратиться к google/yandex/rambler/mail.ru
вдруг за нную сумму продадут? =))))))))))))))))))))))))))))

← →
Рамиль © (2009-02-09 10:43) [4]

Хотите получить бесплатно, а потом продавать? :)
rejik.ru, но придется немного заплатить или пополнить базу.

Зачем нужен список порносайтов, когда давно известно, что установка локального порносервера значительно уменьшает входящий интернет-траффик.

Dans Guardian по содержанию способен страницы банить.

как создать достать базу вебсайтов интернета... Найти похожие ветки