Файловые таблицы на 1M+ записей (+)

← →
dRake © (2007-03-07 21:37) [0]

Возникла потребность сделать программку, оперировать она будет базой на несколько миллионов записей.
Из функций - фильтр, сортировка, поиск... Причем работать они должны за приемлимое время.
В качестве базы должны быть файловые таблицы.
Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)

← →
Johnmen © (2007-03-07 22:35) [1]

> должны быть файловые таблицы.

А это что такое? Какое-то новое направление в теории БД?
И почему "должны"? Кто сказал?

← →
dRake © (2007-03-07 23:15) [2]

>А это что такое? Какое-то новое направление в теории БД?

Да DBF-подобные таблицы =) тьфу )

>И почему "должны"? Кто сказал?

По многим причинам... Короче это нужно принять как данное.

← →
Johnmen © (2007-03-07 23:19) [3]

> Да DBF-подобные таблицы

Какова степень подобия?

← →
Виталий Панасенко © (2007-03-07 23:19) [4]

> dRake © (07.03.07 21:37)

БД для клиент-сервер - то же
> файловые таблицы.

...
обслуживаются по другому..

← →
MsGuns © (2007-03-07 23:37) [5]

>dRake © (07.03.07 21:37)
>Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)

Есть. Ерп называются. От $50 000.

← →
dRake © (2007-03-07 23:47) [6]

Блин пацаны не докапывайтесь до слов :)

Нужен короче инструмент (библиотека, компонент - что угодно) для работы с таблицами, обеспечивающий минимальный функционал (чтение/редактирование полей, перемещение по записям, добавление/удаление записей, в идеале - поиск, фильтрация и сортировка), обеспечивающий нормальную скорость на милионах записей (например вставка 1 милиона записей не дольше чем за 5 секунд на p4-2600, PC3200, SATA 7200RPM 8Mb Cache, i875).
Формат хранения данных этого инструмента не принципиален, но было бы хорошо чтобы поддерживалась шифровка данных и индексирование полей.

← →
Виталий Панасенко © (2007-03-07 23:51) [7]

Миллион говоришь...А ну ка, посчитай в байтах, килобайтах, мегабайтах...И сколько ты байт на 100 мБит перегонишь ? 1000000 * 64 байта(это Extended, одно поле)=64000000 ~ 64 "метра"... а если два таких поля ? 128... за 5 сек скопируешь ?

← →
Виталий Панасенко © (2007-03-07 23:53) [8]

сорри, 80 бит Extended, 10 byte... сплю уже..:-)

← →
Виталий Панасенко © (2007-03-07 23:54) [9]

а + служебные данные ? (метаданные)

> обеспечивающий нормальную скорость на милионах записей (например
> вставка 1 милиона записей не дольше чем за 5 секунд

Это примерно соответствует физической скорости записи на диск.
Посему ответ - такого "инстрУмента" не существует.

Короче всем спасибо =) Вопрос, конечно, некорректно поставил..
Буду проблему решать не в лоб а хитрее.. делая выборки с приемлимым количеством записей - и уже с ними работать..

> не в лоб а хитрее.. делая выборки с приемлимым количеством
> записей - и уже с ними работать..

С каких пор стандартнейшее правило работы с БД стало считаться хитростью?
:)

> С каких пор стандартнейшее правило работы с БД стало считаться хитростью?
видать "сидел" на файл сервере... а как столкнулся с ограничениями начал искать тоже самое без них, вместо того чтобы учить новое.
и не учит... даже начав работать по другой технологии/с клиент сервером... скоро все "велосипеды" переизобретет ;о), заодно дав им неверные толкования...

Файловые таблицы на 1M+ записей (+) Найти похожие ветки