Запись/чтение данных в больших количествах

← →
И. Павел © (2013-10-28 16:11) [0]

Здравствуйте!

У меня назрел вопрос, с которым, решил обратиться к вам.

30 лет назад этот вопрос был бы не актуален, ответ был бы очевиден, а как, интересно, обстоит дело сейчас?
У меня есть система «A». У нее есть БД. Средних размеров  в некоторых таблицах число строк исчисляется сотнями тысяч. Таблиц много.
Каждую ночь программа приводит данные в БД в соответствие с данными другой системы («Б»).
Весь процесс идет примерно 10-20 мин.
При этом я не проверяю, совпадают ли данные в системах «А» и «Б», я не глядя обновляю записи в системе «A» тем, что достал из системы «Б» (простые update).

Вопрос:

Подскажите, пожалуйста, имеет ли такой метод передачи данных недостатки? Может быть лучше сначала проверить (SELECT) данные в системе А, и изменить их только если данные в системе Б чем-то отличаются?

БД расположена не на флешке, а на жестком диске (где-то на сервере или виртуальном сервере).

Речь не о скорости (мои алгоритмы проверки медленнее MS SQL SERVER :), а о вреде частой перезаписи.
Вопрос скорее про современную электронику и особенности работы MS SQL SERVER, чем про программирование.

MS SQL SERVER версий 2005 и выше.

Заранее спасибо.

← →
antonn © (2013-10-28 16:14) [1]

> Речь не о скорости (мои алгоритмы проверки медленнее MS
> SQL SERVER :), а о вреде частой перезаписи.

там куча кешей-перекешей может быть, если речь про время самой записи

← →
И. Павел © (2013-10-28 16:18) [2]

> [1] antonn © (28.10.13 16:14)

Нет, вопрос скорее про то, как современные системы относятся к частым и длительным записям данных.
Сама запись действительно идет настолько быстро, что нет смысла считать наносекунды.

← →
[ВладОшин] © (2013-10-28 16:19) [3]

боюсь не понял сути вопроса,
но зеркалирование данных лучше сделать штатно :)

а суть вопроса -
насколько вредно перезаписывать конкретное место на hdd
vs
прочитать это конкретное место
?

← →
И. Павел © (2013-10-28 16:23) [4]

> но зеркалирование данных лучше сделать штатно

Данные тянутся из SAP, и входные данные сильно отличаются форматом от выходных.

> а суть вопроса 
> насколько вредно перезаписывать конкретное место на hdd
>
> vs
> прочитать это конкретное место
> ?

Да.

← →
Ega23 © (2013-10-28 16:27) [5]

бэкап-рестор?
Бэкапить-то так и так надо.

← →
И. Павел © (2013-10-28 16:31) [6]

> бэкап-рестор?
> Бэкапить-то так и так надо.

Не совсем понял.
Система «Б» это SAP, там БД Oracle. Структура данных другая (прямого соответствия поле-поле нет). Я их выдираю через RFC. Но суть вопроса не в этом.
Ясно, что hdd это не флешка и положить его записями можно разве что за десятки тысяч лет, но все же интересно, отличается ли чем-нибудь запись от чтения?

← →
Inovet © (2013-10-28 16:35) [7]

> [6] И. Павел © (28.10.13 16:31)
> отличается ли чем-нибудь запись от чтения?

Ну дык.

← →
antonn © (2013-10-28 16:41) [8]

при записи в зеркале чексумма проверяется и сравниваются блоки.
впрочем вопрос скорее - записывать 100 раз мелкими шагами или 1 раз крупными? современные рейд-контроллеры могут закешировать и записать в "один присест"

← →
[ВладОшин] © (2013-10-28 17:01) [9]

> > отличается ли чем-нибудь запись от чтения?
> Ну дык.

логично.
Во всяком, должно быть так.

А на(во) сколько раз именно запись "вреднее" - непонятно.
Особенно в современных железках

← →
Медвешонок Порожок (2013-10-28 17:04) [10]

Каждый раз, когда вы перезаписываете сектор на диске, который можно было не перезаписывать - в мире умирает один котенок.

> [9] [ВладОшин] © (28.10.13 17:01)
> А на(во) сколько раз именно запись "вреднее" - непонятно.

Писателей много, а читателей мало. Или это сейчас так, а раньше наоборот было. Короче, винту пофиг.

> А на(во) сколько раз именно запись "вреднее" - непонятно

вполне понятно. надо только определить, какое железо, происходит ли запись одного и того же значения в то же самое место и т.д.

> вполне понятно. надо только определить, какое железо, происходит
> ли запись одного и того же значения в то же самое место
> и т.д.

боюсь, получится "функция заданная таблично"
где исключений больше чем правил

т.е. про что: для А конкретного случая надо рассчитывать отдельно. А вот так просто - "в сферическом вакууме в 2,530 раза запись изнашивает больше чем чтение" - не сказать

Запись/чтение данных в больших количествах Найти похожие ветки