Главная страница
Top.Mail.Ru    Яндекс.Метрика
Текущий архив: 2007.05.27;
Скачать: CL | DM;

Вниз

Файловые таблицы на 1M+ записей (+)   Найти похожие ветки 

 
dRake ©   (2007-03-07 21:37) [0]

Возникла потребность сделать программку, оперировать она будет базой на несколько миллионов записей.
Из функций - фильтр, сортировка, поиск... Причем работать они должны за приемлимое время.
В качестве базы должны быть файловые таблицы.
Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)


 
Johnmen ©   (2007-03-07 22:35) [1]


> должны быть файловые таблицы.

А это что такое? Какое-то новое направление в теории БД?
И почему "должны"? Кто сказал?


 
dRake ©   (2007-03-07 23:15) [2]

>А это что такое? Какое-то новое направление в теории БД?

Да DBF-подобные таблицы =) тьфу )

>И почему "должны"? Кто сказал?

По многим причинам... Короче это нужно принять как данное.


 
Johnmen ©   (2007-03-07 23:19) [3]


> Да DBF-подобные таблицы

Какова степень подобия?


 
Виталий Панасенко ©   (2007-03-07 23:19) [4]


> dRake ©   (07.03.07 21:37)

БД для клиент-сервер - то же
> файловые таблицы.

...
обслуживаются по другому..


 
MsGuns ©   (2007-03-07 23:37) [5]

>dRake ©   (07.03.07 21:37)  
>Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)

Есть. Ерп называются. От $50 000.


 
dRake ©   (2007-03-07 23:47) [6]

Блин пацаны не докапывайтесь до слов :)

Нужен короче инструмент (библиотека, компонент - что угодно) для работы с таблицами, обеспечивающий минимальный функционал (чтение/редактирование полей, перемещение по записям, добавление/удаление записей, в идеале - поиск, фильтрация и сортировка), обеспечивающий нормальную скорость на милионах записей (например вставка 1 милиона записей не дольше чем за 5 секунд на p4-2600, PC3200, SATA 7200RPM 8Mb Cache, i875).
Формат хранения данных этого инструмента не принципиален, но было бы хорошо чтобы поддерживалась шифровка данных и индексирование полей.


 
Виталий Панасенко ©   (2007-03-07 23:51) [7]

Миллион говоришь...А ну ка, посчитай в байтах, килобайтах, мегабайтах...И сколько ты байт на 100 мБит перегонишь ? 1000000 * 64 байта(это Extended, одно поле)=64000000 ~ 64 "метра"... а если два таких поля ? 128... за 5 сек скопируешь ?


 
Виталий Панасенко ©   (2007-03-07 23:53) [8]

сорри, 80 бит Extended, 10 byte... сплю уже..:-)


 
Виталий Панасенко ©   (2007-03-07 23:54) [9]

а + служебные данные ? (метаданные)


 
Johnmen ©   (2007-03-08 00:02) [10]


> обеспечивающий нормальную скорость на милионах записей (например
> вставка 1 милиона записей не дольше чем за 5 секунд

Это примерно соответствует физической скорости записи на диск.
Посему ответ - такого "инстрУмента" не существует.


 
dRake ©   (2007-03-08 03:18) [11]

Короче всем спасибо =) Вопрос, конечно, некорректно поставил..
Буду проблему решать не в лоб а хитрее.. делая выборки с приемлимым количеством записей - и уже с ними работать..


 
Johnmen ©   (2007-03-09 09:03) [12]


>  не в лоб а хитрее.. делая выборки с приемлимым количеством
> записей - и уже с ними работать..

С каких пор стандартнейшее правило работы  с БД стало считаться хитростью?
:)


 
sniknik ©   (2007-03-09 09:11) [13]

> С каких пор стандартнейшее правило работы  с БД стало считаться хитростью?
видать "сидел" на файл сервере... а как столкнулся с ограничениями начал искать тоже самое без них, вместо того чтобы учить новое.
и не учит... даже начав работать по другой технологии/с клиент сервером... скоро все "велосипеды" переизобретет ;о), заодно дав им неверные толкования...



Страницы: 1 вся ветка

Текущий архив: 2007.05.27;
Скачать: CL | DM;

Наверх




Память: 0.5 MB
Время: 0.075 c
15-1177628719
ЭРИКА
2007-04-27 03:05
2007.05.27
ВСЕМ ,КТО РОДИЛСЯ СЕГОДНЯ!


2-1178353083
Strate
2007-05-05 12:18
2007.05.27
Достать handle иконки 16на16


15-1177485845
Steep
2007-04-25 11:24
2007.05.27
Java


15-1177957189
GEd
2007-04-30 22:19
2007.05.27
Вопрос по C, прошу прощения что не там.


6-1163767232
Layner
2006-11-17 15:40
2007.05.27
Как грамотно отключить от IdTCPServer всех IdTCPClient