Быстродействие базы данных

← →
Сергей_77 (2008-06-26 11:46) [0]

Подскажите, какая сейчас база данных самая быстродействующая?

и еще интересует - например есть текстовая база на 2 миллиона записей, 7 полей, общим обьёмом порядка 2 Гб - сколько времени будет занимать полнотекстовый поиск и поиск по регулярному выражению на среднем компьютере (~3 ГГц)

← →
Ega23 © (2008-06-26 11:49) [1]

для FTS - ИМХО, лучше всего Postgres. Ибо возможности FTS там - ну очень богатые.

← →
tesseract © (2008-06-26 11:50) [2]

SQLite. Быстродейтсвие только от градиента кривизны рук разработчика зависит.

> сколько времени будет занимать полнотекстовый поиск и поиск
> по регулярному выражению на среднем компьютере (~3 ГГц)

Зачем такой Дзен ?

← →
Sergey13 © (2008-06-26 11:51) [3]

> [0] Сергей_77 (26.06.08 11:46)
> текстовая база на 2 миллиона записей, 7 полей

Не ври. Не в базе ни записей ни полей. Ни в тестовой ни промышленной. 8-)

← →
boriskb © (2008-06-26 11:53) [4]

> [0] Сергей_77 (26.06.08 11:46)

Еще одной ерундой занимаешься.

Какой автомобиль самый лучший?

← →
MsGuns © (2008-06-26 11:55) [5]

Нет однозначного ответа

← →
Сергей_77 (2008-06-26 11:55) [6]

> Sergey13 ©

ну по другому сказать есть данные такого обьёма:)

> Зачем такой Дзен ?

просто интересно, может кто уже сталкивался с такими задачами и поделится опытом. какое там примерно время поиска будет, приемлимое или нет( (имхо если время поиска 1-3 сек или меньше то приемлимо для работы а иначе нет и надо искать шота более быстродействуещее)

← →
DrPass © (2008-06-26 11:56) [7]

> Sergey13 © (26.06.08 11:51) [3]
> > [0] Сергей_77 (26.06.08 11:46)
> > текстовая база на 2 миллиона записей, 7 полей
>
> Не ври. Не в базе ни записей ни полей. Ни в тестовой ни
> промышленной. 8-)

Почему нет? Есть. Если в сундуке лежит заяц, в зайце утка, а в утке яйцо, разве мы не имеем права сказать, что в сундуке лежит яйцо?

← →
korneley © (2008-06-26 12:02) [8]

> Сергей_77 (26.06.08 11:55) [6]
> ...и надо искать шота более быстродействуещее)

Шот-ган у виска. Своего. Самое "приемлимое" решение. Заодно и грамота.ру порадуется.

← →
Sergey13 © (2008-06-26 12:03) [9]

> [7] DrPass © (26.06.08 11:56)

Можно. Но это не шаш метод!
Кроме того исходя из утверждения "что в сундуке лежит яйцо" сложно судить о скорости того зайца.
8-)

← →
Сергей_77 (2008-06-26 12:04) [10]

> korneley ©

ну почему, например другая структура базы, индексов и т.д.
либо разделение базы на несколько частей или даже серверов.

Вот например лично я не видел смысла в использовании индексов пока не столкнулся с большими базами, на маленьких и без них все замечательно работало

← →
MsGuns © (2008-06-26 12:04) [11]

>Sergey13 © (26.06.08 11:51) [3]
>Не ври. Не в базе ни записей ни полей. Ни в тестовой ни промышленной. 8-)

Есть в с/х ;)

← →
korneley © (2008-06-26 12:08) [12]

> DrPass © (26.06.08 11:56) [7]
> Почему нет? Есть. Если в
> сундуке лежит заяц, в зайце утка, а в утке яйцо, разве мы
> не имеем права сказать, что в сундуке лежит яйцо?

Но мы, так же, можем сказать, что это ошибка хирурга и медперсонала, ухаживающих за зайцем :) Вариантов много...

← →
wicked © (2008-06-26 12:08) [13]

> Вот например лично я не видел смысла в использовании индексов
> пока не столкнулся с большими базами, на маленьких и без
> них все замечательно работало

равноценно "я никогда не делал ничего серьезного, только лабораторки"

← →
Сергей_77 (2008-06-26 12:09) [14]

о еще интересный вопрос - резервное копирование большой базы - можно делать как я понимаю 3-мя путями - внутренними средствами базы (про это мне мало известно), экспортируя все данные куда-либо и физическим копированием файлов базы (при выключенной самой базе)

Так вот 3-тий способ намноооого быстрее как правило, чем 2-рой) но можно ли так делать и не будет ли каких-либо проблем потом?

← →
Правильный-Вася (2008-06-26 12:12) [15]

> Подскажите, какая сейчас база данных самая быстродействующая?

самая - у самого грамотного админа, если он настрополил разработчика прикладух соответствующим образом

← →
stas © (2008-06-26 12:20) [16]

Быстродействие базы данных
у гугла вроде ниче по скорости.

← →
den303 © (2008-06-26 13:52) [17]

> wicked © (26.06.08 12:08) [13]
> равноценно "я никогда не делал ничего серьезного, только лабораторки"

Твоя неправда. Я делаю сайты на MySQL и Postgre, при таких небольших объёмах данных индексы не нужны абсолютно. Однако приличный портал язык не повернётся назвать "несерьёзным".
Часовой молоточек тоже не имеет права на существование, потому как есть кувалда?

← →
tesseract © (2008-06-26 14:32) [18]

> Однако приличный портал язык не повернётся назвать "несерьёзным".

У меня язык не повернёться назвать подгонку джумлы программированием. Индексы нужны всегда. Хотя бы для ключей.

← →
den303 © (2008-06-26 14:42) [19]

> tesseract © (26.06.08 14:32) [18]
> У меня язык не повернёться назвать подгонку джумлы программированием.
> Индексы нужны всегда. Хотя бы для ключей.

Я думаю, что не стоит делать неверных выводов, т.к. про Джумлу/Мамбу/иже с ними не было сказано ни слова :o)
Пишу на собственном движке, потому как сильно специфические задачи. База обходится без индексов. Сейчас на последнем проекте сделал первичный индекс для ключей, проверил - эффекта нет вообще. Ну и зачем они нужны всегда?

← →
Сергей_77 (2008-06-26 18:30) [20]

> Ну и зачем они нужны всегда?

чтобы пхпмайадмин не ругался что нет индекса:))))

← →
Anatoly Podgoretsky © (2008-06-26 20:19) [21]

> den303 (26.06.2008 14:42:19) [19]

Нам тебя очень жалко.

← →
Игорь Шевченко © (2008-06-26 20:26) [22]

www.delphilamer.ru

← →
tesseract © (2008-06-26 20:29) [23]

> Нам тебя очень жалко.

Мне лично заказчика очень жалко.

← →
Anatoly Podgoretsky © (2008-06-26 20:41) [24]

> tesseract © (26.06.08 20:29) [23]

Заказчик ламер или исполнитель гениальный маркетолог.
В принципе обеих жалко.

← →
McSimm © (2008-06-26 20:51) [25]

> Вот например лично я не видел смысла в использовании индексов
> пока не столкнулся с большими базами, на маленьких и без
> них все замечательно работало

Дао приходит позже, когда начинаешь видеть смысл в неиспользовании индекса :)

← →
den303 © (2008-06-26 21:16) [26]

> Сергей_77 (26.06.08 18:30) [20]

Хыхы... Логично :o)

> Anatoly Podgoretsky © (26.06.08 20:19) [21]

Эта... Как бы почему?

> McSimm © (26.06.08 20:51) [25]

Дык может позже и придёт.
Я не говорю, что не пользуюсь индексами, я говорю о том, что бывают ситуации, когда они просто не нужны.
Вы считаете не так?

← →
McSimm © (2008-06-26 21:23) [27]

> бывают ситуации, когда они просто не нужны.
> Вы считаете не так?

Бывают ситуации, когда индекс не просто не нужен, но и вреден.

← →
den303 © (2008-06-26 21:35) [28]

> McSimm © (26.06.08 21:23) [27]
> Бывают ситуации, когда индекс не просто не нужен, но и вреден.

Вот и я про то же

← →
den303 © (2008-06-27 15:06) [29]

"Если начать говорить только то, что знаешь, то скоро тебе скажут, как
мало ты знаешь.
Если начать говорить только то, что думаешь, то скоро тебе скажут, как
неправильно ты думаешь.
Если начать говорить только то, что хотят от те6я слышать, то скоро тебе
скажут, как много ты знаешь и правильно думаешь."
(c) Народный афоризм с anecdot.ru
Предлагаю вынести в шапку, чтобы всяк входящий знал, что каждый на ДМ думает о себе как о единственно несущем свет.

← →
boriskb © (2008-06-27 15:55) [30]

> [29] den303 © (27.06.08 15:06)

С комплексами к психологу.

← →
Ega23 © (2008-06-27 16:00) [31]

> Так вот 3-тий способ намноооого быстрее как правило, чем
> 2-рой) но можно ли так делать и не будет ли каких-либо
> проблем потом?

> Сейчас на последнем проекте сделал первичный индекс для
> ключей, проверил - эффекта нет вообще. Ну и зачем они нужны
> всегда?

А потом эти человеки требуют по $2000++ на собеседовании...

← →
Ega23 © (2008-06-27 16:01) [32]

> Предлагаю вынести в шапку, чтобы всяк входящий знал, что
> каждый на ДМ думает о себе как о единственно несущем свет.

Предлагаю ознакомиться с основами проектирования БД, со всеми пятью нормальными формами и почитать наконец, что такое первичный ключ.
И уже после этого открывать рот.

← →
den303 © (2008-06-27 16:02) [33]

> boriskb © (27.06.08 15:55) [30]

хыхы...
Просто по RSS сёня пришло, подходит сильно к нашему диалогу :o)
Страдаю комплексами только относительно малой з/п.
Но всё равно пасип.

← →
clickmaker © (2008-06-27 16:04) [34]

> первичный индекс для ключей, проверил - эффекта нет вообще.
> Ну и зачем они нужны всегда?

"первичный индекс для ключей" - это как?
есть первичный ключ, а есть индекс - несколько разные вещи

← →
den303 © (2008-06-27 16:06) [35]

> Ega23 © (27.06.08 16:01) [32]

Боюсь, что знаю эти вещи ничуть не хуже тебя. Как и то, что индексы не всегда нужны/полезны.

> Ega23 © (27.06.08 16:00) [31]
> А потом эти человеки требуют по $2000++ на собеседовании...

Безусловно в Москву я не соберусь за меньшие деньги. Да и не собираюсь. А в Самаре аппетиты попроще :o)

← →
Anatoly Podgoretsky © (2008-06-27 16:08) [36]

> den303 (27.06.2008 16:02:33) [33]

Ну ты наверно знаешь, почему у тебя малая зарплата, а мне даже кажется, что тебе переплачивают.

← →
den303 © (2008-06-27 16:08) [37]

> clickmaker © (27.06.08 16:04) [34]

Ой, косяк, сорри

← →
Ega23 © (2008-06-27 16:09) [38]

> Боюсь, что знаю эти вещи ничуть не хуже тебя.

Судя по твоим постам - я очень сильно в этом сомневаюсь.

← →
Игорь Шевченко © (2008-06-27 16:29) [39]

индексы нужны. данные не нужны

← →
Плохиш © (2008-06-27 16:43) [40]

> индексы нужны. данные не нужны

Ни данные не нужны, ни индексы не нужны, лишь бы печение с варением не кончалось :-P

← →
Johnmen © (2008-06-27 16:48) [41]

> McSimm © (26.06.08 21:23) [27]
> Бывают ситуации, когда индекс не просто не нужен, но и вреден.

> den303 ©

Пример в студию.

← →
Игорь Шевченко © (2008-06-27 16:51) [42]

> Пример в студию.

редко используемый при выборке индекс при интенсивных обновлениях данных.

← →
McSimm © (2008-06-27 16:55) [43]

> Пример в студию.

Не хочу, это достаточно очевидно.

Индекс дает преимущество при поиске ( и то не всегда ), но требует ресурсов при изменении данных. Непродуманное использование индексов вредит не меньше чем неиспользование.

← →
Johnmen © (2008-06-27 16:56) [44]

> редко используемый при выборке индекс при интенсивных обновлениях
> данных.

По-моему, мы говорили про индекс, соответствующий ключу, а не вообще про индексы?

← →
Игорь Шевченко © (2008-06-27 16:59) [45]

> По-моему, мы говорили про индекс, соответствующий ключу,
> а не вообще про индексы?

в постах 27 и 28 на это ничего не указывает. Забавная манера уточнять точку зрения после получения ответов.

← →
McSimm © (2008-06-27 16:59) [46]

> По-моему, мы говорили про индекс, соответствующий ключу,
> а не вообще про индексы?

Я говорил про индексы вообще, в том смысле, что научится использовать индексы это первый шаг к пониманию, а научится использовать их только там где надо - второй.

Но и для этого крайнего случая пример могу привести - быстро наполняющаяся таблица с датчитков по которой раз в сутке собираются сводные данные.

← →
atruhin1 (2008-06-27 17:25) [47]

> Пример в студию.

Если о индексах, то где они не нужны знают все.
Если речь о первичных ключах, то например:
крос таблица, для отношения M:M. Первичный ключ не нужен. Обычно делается составной индекс.

← →
Johnmen © (2008-06-27 17:27) [48]

> в постах 27 и 28 на это ничего не указывает. Забавная манера
> уточнять точку зрения после получения ответов.

Забавная манера делать вид, что не читая ветки, выдрал из контекста.
Да, впрочем, ладно, мне по-барабану...

> McSimm © (27.06.08 16:59) [46]

Я прям уже боюсь уточнять после постов Игорь Шевченко.
Но всё же - этот пример, когда индексов не будет ВООБЩЕ НИКАКИХ для работы с таблицей?

← →
Johnmen © (2008-06-27 17:29) [49]

> atruhin1 (27.06.08 17:25) [47]
> Если о индексах, то где они не нужны знают все.

Это ты Игорю Шевченко и McSimm"у объясни...:)))

> Обычно делается составной индекс.

Уникальный, надеюсь?
Вот и подумай, чем в данном случае он отличается от ключа.

Но разговор то не про это, а про наличие ВООБЩЕ каких-нибудь индексов.

> крос таблица, для отношения M:M. Первичный ключ не нужен.
> Обычно делается составной индекс.

иногда можно и сделать. Для удобства обновления

> Если речь о первичных ключах, то например:
> крос таблица, для отношения M:M. Первичный ключ не нужен.
> Обычно делается составной индекс.

А чем он от первичного ключа будет отличаться???

> где они не нужны знают все.

Вот только появляются иногда индексы по полю "Пол"...

> Но всё же - этот пример, когда индексов не будет ВООБЩЕ
> НИКАКИХ для работы с таблицей?

Такие примеры в практике встречаются, не часто но есть. К тому же, повторюсь, я не это имел в виду.

> ВООБЩЕ НИКАКИХ

Если пытаешься поймать на вопросе о внутренних механизмах движков бд - то это мелко.

> Вот только появляются иногда индексы по полю "Пол"...

Ты будешь смеяться, но бывают случаи, когда двух значений пола недостаточно. :)

> McSimm © (27.06.08 17:57) [53]
> К тому же, повторюсь, я не это имел в виду.

Тогда остается
Если о индексах, то где они не нужны знают все.

> Если пытаешься поймать на вопросе о внутренних механизмах
> движков бд - то это мелко.

Ловить не пытаюсь, и даже не думал - значит это крупно?
:))

> Если о индексах, то где они не нужны знают все.

Практика собеседований показывает, что на этот вопрос отвечает один из десяти. А именно - в каких случаях применение индекса дает больше вреда чем пользы.

> Ты будешь смеяться, но бывают случаи, когда двух значений
> пола недостаточно. :)

Да хоть три, хоть пять.
Если мне нужна саггрегировать весомую часть таблицы, использование индекса дает тормоза по сравнению с последовательным чтением всех данных

По сабжу действительно PostgreSQL. Давеча 8.3.3 версия вышла. А Full Text Search вместе с регулярками там встроенный. Так ша в добрый путь.

> Давеча 8.3.3 версия вышла.

Почему в рассылке в анонсах не было???

> Почему в рассылке в анонсах не было???

Отставить, было. Невнимательно смотрел.

> Если мне нужна саггрегировать весомую часть таблицы, использование
> индекса дает тормоза по сравнению с последовательным чтением
> всех данных

Это на какой СУБД?
И что значит "последовательное чтение" в разрезе агрегирования?

Я попробую перефразировать, хотя мне кажется и так понятно, тем более тут говорят, что все и так это знают ?
Индекс по малоуникальным значениям бесполезен и поиск с его использованием будет медленнее, чем без него.
Намного дешевле последовательно просматривать всю таблицу, чем позиционироваться на половину / треть / четверть ее записей, плюс постоянные расходы на его (индекса) поддержание при модификациях данных.

> McSimm © (27.06.08 18:53) [63]

М.б. более конструктивно не повторять в сотый раз про индексы? И ответить на вполне конкретные вопросы?
Впрочем, я не настаиваю...

>[19] den303 © (2008-06-26 14:42:00)
ты это… скажи адресочки. чтобы я случайно туда не попал.

---
Do what thou wilt shall be the whole of the Law.

Считаю индекс не логичным только в одном случае:

Оператором вводятся уже отфильтрованые записи по алфавиту !

Пример:

После сортировки таблицы Екселя по ФИО !

> McSimm (27.06.2008 16:59:46) [46]

При записи любые индексы вредны, включая первичный ключ на основе кластерных индексов, при нарастающих значениях, например автоинкримент.

> Alien1769 (27.06.2008 19:50:06) [66]

А с чего ты взял, что в таблице они будут по порядку ввода?
Ты брось привычки из xBase применять к другим базам.

> А с чего ты взял, что в таблице они будут по порядку ввода?

А даже если и будут, это не будет использоваться при поиске.

> А с чего ты взял, что в таблице они будут по порядку ввода?
>
> Ты брось привычки из xBase применять к другим базам.

Сорри, про сказаное тобой чего то позабыл ! :)

Быстродействие базы данных Найти похожие ветки