Главная страница
    Top.Mail.Ru    Яндекс.Метрика
Форум: "Прочее";
Текущий архив: 2009.04.05;
Скачать: [xml.tar.bz2];

Вниз

как создать достать базу вебсайтов интернета...   Найти похожие ветки 

 
istok2   (2009-02-08 22:11) [0]

для функций веб филтеринга нужна база веб сайтов интернета по темам (Adult, Games, News и тд..),
размер базы – от нескольких сотен тысяч сайтов до миллионов.

прежде всего интересует база по Adult, нужен список максимального кол-ва таких сайтов.
будем рады любым предложениям (возможно нет готовых баз в доступе, но есть предложения по ее созданию или вытягиванию с каких-то источников..)

таким образом, на выходе было б здорово иметь к примеру файл adult.txt с кучей адресов доменов внутри.

создание базы ботом - самый крайний случай и самый сложный.. пока ищем нечто готовое

ps:
в курсе про Atomic Web Catalogue, но adult там нет, ибо база вроде бы дмозовская..


 
Маэстро ©   (2009-02-08 22:37) [1]

мож ну его? просто разрешить только доступ к каким-то определенным?

зы. не знал что это называет «веб филтеринг»:(


 
Torry ©   (2009-02-08 22:37) [2]

Посмотри на сайт www.usergate.ru, там есть в разделе Downloads что-то подобное.


 
123-ий ©   (2009-02-09 06:53) [3]

можно обратиться к google/yandex/rambler/mail.ru
вдруг за нную сумму продадут? =))))))))))))))))))))))))))))


 
Рамиль ©   (2009-02-09 10:43) [4]

Хотите получить бесплатно, а потом продавать? :)
rejik.ru, но придется немного заплатить или пополнить базу.


 
Dimka Maslov ©   (2009-02-09 12:20) [5]

Зачем нужен список порносайтов, когда давно известно, что установка локального порносервера значительно уменьшает входящий интернет-траффик.


 
tesseract ©   (2009-02-09 12:55) [6]

Dans Guardian по содержанию способен страницы банить.



Страницы: 1 вся ветка

Форум: "Прочее";
Текущий архив: 2009.04.05;
Скачать: [xml.tar.bz2];

Наверх




Память: 0.45 MB
Время: 0.006 c
6-1201962641
Paska
2008-02-02 17:30
2009.04.05
Измнение загружаемых страниц


15-1233361254
Riply
2009-01-31 03:20
2009.04.05
Отступы в коде


2-1235034304
Alex_Y
2009-02-19 12:05
2009.04.05
gtringgrid запретить редактирование ячейки


15-1233869486
Юрий
2009-02-06 00:31
2009.04.05
С днем рождения ! 6 февраля 2009 пятница


4-1207543866
MultIfleX
2008-04-07 08:51
2009.04.05
Сервис и права доступа





Afrikaans Albanian Arabic Armenian Azerbaijani Basque Belarusian Bulgarian Catalan Chinese (Simplified) Chinese (Traditional) Croatian Czech Danish Dutch English Estonian Filipino Finnish French
Galician Georgian German Greek Haitian Creole Hebrew Hindi Hungarian Icelandic Indonesian Irish Italian Japanese Korean Latvian Lithuanian Macedonian Malay Maltese Norwegian
Persian Polish Portuguese Romanian Russian Serbian Slovak Slovenian Spanish Swahili Swedish Thai Turkish Ukrainian Urdu Vietnamese Welsh Yiddish Bengali Bosnian
Cebuano Esperanto Gujarati Hausa Hmong Igbo Javanese Kannada Khmer Lao Latin Maori Marathi Mongolian Nepali Punjabi Somali Tamil Telugu Yoruba
Zulu
Английский Французский Немецкий Итальянский Португальский Русский Испанский