Скачать: CL | DM;

как создать достать базу вебсайтов интернета...   Найти похожие ветки 

← →
istok2   (2009-02-08 22:11) [0]

для функций веб филтеринга нужна база веб сайтов интернета по темам (Adult, Games, News и тд..),
размер базы – от нескольких сотен тысяч сайтов до миллионов.

прежде всего интересует база по Adult, нужен список максимального кол-ва таких сайтов.
будем рады любым предложениям (возможно нет готовых баз в доступе, но есть предложения по ее созданию или вытягиванию с каких-то источников..)

таким образом, на выходе было б здорово иметь к примеру файл adult.txt с кучей адресов доменов внутри.

создание базы ботом - самый крайний случай и самый сложный.. пока ищем нечто готовое

ps:
в курсе про Atomic Web Catalogue, но adult там нет, ибо база вроде бы дмозовская..

---

← →
Маэстро ©   (2009-02-08 22:37) [1]

мож ну его? просто разрешить только доступ к каким-то определенным?

зы. не знал что это называет «веб филтеринг»:(

---

← →
Torry ©   (2009-02-08 22:37) [2]

Посмотри на сайт www.usergate.ru, там есть в разделе Downloads что-то подобное.

---

← →
123-ий ©   (2009-02-09 06:53) [3]

можно обратиться к google/yandex/rambler/mail.ru
вдруг за нную сумму продадут? =))))))))))))))))))))))))))))

---

← →
Рамиль ©   (2009-02-09 10:43) [4]

Хотите получить бесплатно, а потом продавать? :)
rejik.ru, но придется немного заплатить или пополнить базу.

---

← →
Dimka Maslov ©   (2009-02-09 12:20) [5]

Зачем нужен список порносайтов, когда давно известно, что установка локального порносервера значительно уменьшает входящий интернет-траффик.

---

← →
tesseract ©   (2009-02-09 12:55) [6]

Dans Guardian по содержанию способен страницы банить.

---

Страницы: 1 вся ветка

Скачать: CL | DM;



Память: 0.46 MB
Время: 0.01 c