Справочник или база на миллион и более записей в открытом доступе

← →
Карелин Артем © (2008-12-03 15:41) [0]

Где лежит?
Задача такая: тестировать надо производительность всякого разного и показать заказчику наглядно.
Для теста надо много данных, по которым можно придумать 5-10 отчетов. Чем больше записей, тем лучше.
Генерировать что-то случайно крайний вариант - заказчик может не понять весь сакральный смысл отчетов по рандомным данным.
Сейчас нашел классификатор адресов в инете.
Какие еще источники данных большие можно найти в нете?

← →
Ega23 © (2008-12-03 15:43) [1]

Я бы на твоём месте всё-таки генератор написал бы.

← →
Карелин Артем © (2008-12-03 15:44) [2]

Повторяю еще раз: генерировать крайний вариант. Читать как крайне неподходящий вариант.

← →
tesseract © (2008-12-03 15:46) [3]

> Читать как крайне неподходящий вариант.

KLADR скачай. Хотя не уверен, что там миллион будет.

← →
blackman © (2008-12-03 15:50) [4]

Не надо ничего тестировать, а уж тем более показывать до того как сделал свою. Результаты могут не совпасть и привести к печали...
Путь простой. Аванс и работа.

← →
Карелин Артем © (2008-12-03 15:50) [5]

> Сейчас нашел классификатор адресов в инете.

Просят что покруче. Кстати скачал с официального сайта старую версию - там таблицы с улицами нет. Скачал новую - улицы есть, населенных пунктов нет

← →
KilkennyCat © (2008-12-03 15:52) [6]

DNS скачай...

← →
Карелин Артем © (2008-12-03 15:54) [7]

> blackman © (03.12.08 15:50) [4]

Угу, ситуацию представил: ну сделали мы для огромного банка систему. Все красиво, много человек работало, нуликов еще больше.
Банк купил железки, лицензии за такие же нулики с палочками. А система не работает.
Будем говорить что blackman нам сказал что тестировать не надо

← →
Карелин Артем © (2008-12-03 15:56) [8]

> KilkennyCat © (03.12.08 15:52) [6]
> DNS скачай...

Ссылку дай откуда скачать базу тогда.

← →
Правильный$Вася (2008-12-03 15:59) [9]

сделай запрос в гугл по крайне популярным словам
собери адреса страниц из ответа
собери содержимое
строй отчеты

← →
Карелин Артем © (2008-12-03 16:01) [10]

Шутка юмора?

← →
tesseract © (2008-12-03 16:02) [11]

> Угу, ситуацию представил: ну сделали мы для огромного банка
> систему.

Систему отчетов по черт знает чему ? Да это стоит много ноликов.

← →
Карелин Артем © (2008-12-03 16:05) [12]

> tesseract © (03.12.08 16:02) [11]

Тоже шутки у тебя?

← →
Правильный$Вася (2008-12-03 16:24) [13]

> Карелин Артем © (03.12.08 16:01) [10]

нет, вполне серьезно
если ты не знаешь, чего тебе надо, спроси гугл
по крайней мере на вопрос "а что мне надо" он даст довольно много данных
вдруг тебя осенит?

← →
Anatoly Podgoretsky © (2008-12-03 16:37) [14]

> Карелин Артем (03.12.2008 15:56:08) [8]

DNS это иерархическая база, начинается с a-j серверов.

← →
Поросенок Винни-Пух © (2008-12-03 17:10) [15]

заказчик может не понять весь сакральный смысл отчетов по рандомным данным.

А типа он будет смотреть при демонстрации а не рандмные ли там у тебя эти миллион записей.

← →
blackman © (2008-12-03 17:17) [16]

Карелин Артем © (03.12.08 15:54) [7]
Дело в том, что время будет зависить не только и даже не столько от количества записей, сколько от количества одновременно работающих пользователей и их глупых запросов.
Поэтому я и сказал, что тест не нужен и даже вреден поскольку не покажет ничего. Реального времени не получить, и обнадеживающие результаты могут оказаться фальшивкой за которую потом придется отвечать перед пользователем

← →
clickmaker © (2008-12-03 17:33) [17]

> [0] Карелин Артем © (03.12.08 15:41)

а что за система? клиент-сервер или Веб?

← →
Карелин Артем (2008-12-03 19:31) [18]

> clickmaker © (03.12.08 17:33) [17]

Это имеет значение?

← →
TUser © (2008-12-03 19:37) [19]

возьми даджесты форума, если контент не важен, и загни в какую-нибудь базу

отчетов придумать можно - до гавриков

← →
c9n (2008-12-03 19:43) [20]

http://www.google.ru/search?q=where+i+can+find+huge+test+database --> http://www.mauvais.com/Publish/ZD-Northwind.htm

← →
Карелин Артем (2008-12-03 19:46) [21]

> c9n (03.12.08 19:43) [20]

Могу третий раз про бредогенератор написать

← →
c9n (2008-12-03 19:51) [22]

А как же творческий подоход, генератор сочетаний элфийских имен и фамилий, там, генерация данных по заданному распределению?

← →
Карелин Артем (2008-12-03 19:52) [23]

> TUser © (03.12.08 19:37) [19]

Не, надо будет программистов напрягать чтобы парсили и разбирали на поля. А они люди занятые текущими задачами. А так как вариант может бы и неплохо было

← →
Карелин Артем (2008-12-03 19:53) [24]

> c9n (03.12.08 19:51) [22]

Могу четвертый раз написать. Генератор бреда не ищу.

← →
c9n (2008-12-03 19:58) [25]

Хорошо, разберешься, что к чему?

http://groups.google.ru/groups?q=large+test+database --> http://forums.pentaho.org/showthread.php?t=26043 --> http://www.census.gov/Press-Release/www/2002/demoprofiles.html

Можно купить базу банковских проводок центробанка. Раньше они продавали, судя по газетам, а в кризис тем более продадут.

← →
Карелин Артем (2008-12-03 20:21) [27]

> c9n (03.12.08 19:58) [25]

Пока я там суммарные данные нашел. Это десятки колонок и сотни записей на каждый штат. Мало очень. Буду смотреть что там еще на сервере есть. Может найду.

← →
iZeqfreed (2008-12-03 20:21) [28]

Может быть http://www.geonames.org/ ? Хотя размеров базы там не знаю, но должны быть внушительные.

> Карелин Артем

На развалах базы гибдд, телефонов билайна, мтс, базы МВД и прочее купи :)

← →
c9n (2008-12-03 20:44) [30]

Карелин Артем (03.12.08 20:21) [27]

Сводные таблицы. Содержат по несколько гигабайт данных.

http://www2.census.gov/census_2000/datasets/Summary_File_1/
http://www2.census.gov/census_2000/datasets/Summary_File_3/э

Инструкции по импорту: www.census.gov/support/SF1ASCII.html

← →
Карелин Артем (2008-12-03 21:21) [31]

> iZeqfreed (03.12.08 20:21) [28]

> c9n (03.12.08 20:44) [30]

Благодарю, по первым грубым прикидкам это должно подойти :)

Справочник или база на миллион и более записей в открытом доступе Найти похожие ветки