Главная страница
Top.Mail.Ru    Яндекс.Метрика
Текущий архив: 2007.05.27;
Скачать: CL | DM;

Вниз

Файловые таблицы на 1M+ записей (+)   Найти похожие ветки 

 
dRake ©   (2007-03-07 21:37) [0]

Возникла потребность сделать программку, оперировать она будет базой на несколько миллионов записей.
Из функций - фильтр, сортировка, поиск... Причем работать они должны за приемлимое время.
В качестве базы должны быть файловые таблицы.
Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)


 
Johnmen ©   (2007-03-07 22:35) [1]


> должны быть файловые таблицы.

А это что такое? Какое-то новое направление в теории БД?
И почему "должны"? Кто сказал?


 
dRake ©   (2007-03-07 23:15) [2]

>А это что такое? Какое-то новое направление в теории БД?

Да DBF-подобные таблицы =) тьфу )

>И почему "должны"? Кто сказал?

По многим причинам... Короче это нужно принять как данное.


 
Johnmen ©   (2007-03-07 23:19) [3]


> Да DBF-подобные таблицы

Какова степень подобия?


 
Виталий Панасенко ©   (2007-03-07 23:19) [4]


> dRake ©   (07.03.07 21:37)

БД для клиент-сервер - то же
> файловые таблицы.

...
обслуживаются по другому..


 
MsGuns ©   (2007-03-07 23:37) [5]

>dRake ©   (07.03.07 21:37)  
>Есть ли какието готовые решения для такой задачи, или придется писать свой велик? :)

Есть. Ерп называются. От $50 000.


 
dRake ©   (2007-03-07 23:47) [6]

Блин пацаны не докапывайтесь до слов :)

Нужен короче инструмент (библиотека, компонент - что угодно) для работы с таблицами, обеспечивающий минимальный функционал (чтение/редактирование полей, перемещение по записям, добавление/удаление записей, в идеале - поиск, фильтрация и сортировка), обеспечивающий нормальную скорость на милионах записей (например вставка 1 милиона записей не дольше чем за 5 секунд на p4-2600, PC3200, SATA 7200RPM 8Mb Cache, i875).
Формат хранения данных этого инструмента не принципиален, но было бы хорошо чтобы поддерживалась шифровка данных и индексирование полей.


 
Виталий Панасенко ©   (2007-03-07 23:51) [7]

Миллион говоришь...А ну ка, посчитай в байтах, килобайтах, мегабайтах...И сколько ты байт на 100 мБит перегонишь ? 1000000 * 64 байта(это Extended, одно поле)=64000000 ~ 64 "метра"... а если два таких поля ? 128... за 5 сек скопируешь ?


 
Виталий Панасенко ©   (2007-03-07 23:53) [8]

сорри, 80 бит Extended, 10 byte... сплю уже..:-)


 
Виталий Панасенко ©   (2007-03-07 23:54) [9]

а + служебные данные ? (метаданные)


 
Johnmen ©   (2007-03-08 00:02) [10]


> обеспечивающий нормальную скорость на милионах записей (например
> вставка 1 милиона записей не дольше чем за 5 секунд

Это примерно соответствует физической скорости записи на диск.
Посему ответ - такого "инстрУмента" не существует.


 
dRake ©   (2007-03-08 03:18) [11]

Короче всем спасибо =) Вопрос, конечно, некорректно поставил..
Буду проблему решать не в лоб а хитрее.. делая выборки с приемлимым количеством записей - и уже с ними работать..


 
Johnmen ©   (2007-03-09 09:03) [12]


>  не в лоб а хитрее.. делая выборки с приемлимым количеством
> записей - и уже с ними работать..

С каких пор стандартнейшее правило работы  с БД стало считаться хитростью?
:)


 
sniknik ©   (2007-03-09 09:11) [13]

> С каких пор стандартнейшее правило работы  с БД стало считаться хитростью?
видать "сидел" на файл сервере... а как столкнулся с ограничениями начал искать тоже самое без них, вместо того чтобы учить новое.
и не учит... даже начав работать по другой технологии/с клиент сервером... скоро все "велосипеды" переизобретет ;о), заодно дав им неверные толкования...



Страницы: 1 вся ветка

Текущий архив: 2007.05.27;
Скачать: CL | DM;

Наверх




Память: 0.5 MB
Время: 0.037 c
15-1177400793
oxffff
2007-04-24 11:46
2007.05.27
QX6800 был избит K10


2-1178806713
-Mouse-
2007-05-10 18:18
2007.05.27
Проблема с кодировкой


1-1175324163
Hro
2007-03-31 10:56
2007.05.27
Unicode


15-1177425719
NeyroSpace
2007-04-24 18:41
2007.05.27
Почему у Microsoft ничего не выйдет с .Net


15-1177467150
Slider007
2007-04-25 06:12
2007.05.27
С днем рождения ! 25 апреля