Как бы оптимизировать обмен данными?

← →
ПЛОВ © (2013-11-15 13:36) [0]

Программа импортирует записи из одной базы в другую. БД FireBird. Работает медленно.
Проходится стандартным first - while - next циклом по таблице БД1, текущая запись (ее данные) вставлется инсертом в аналогичную таблицу БД2. Коммит блоками по... пробовал от 1000 до 100000 записей без особых изменений скорости.
Обращение к данным поначалу было через FieldByName/ParamByName, думал в этом и затык. Переделал на индексы - результат не изменился совершенно, даже не секунду...
Как бы его чего допилить/поменять? Записей - сотни тысяч.

← →
Ega23 © (2013-11-15 13:37) [1]

insert into select from ?

← →
ПЛОВ © (2013-11-15 13:39) [2]

О! спасибо за наводку :)

← →
[ВладОшин] © (2013-11-15 13:50) [3]

Имхо, самое быстрое без привязки в БД - экпорт/импорт
с отключенными проверками
потом сюрприз будет :)

← →
RWolf © (2013-11-15 13:50) [4]

> Ega23 © (15.11.13 13:37) [1]
> insert into select from ?

запрос к двум базам FB сразу?

← →
ПЛОВ © (2013-11-15 13:53) [5]

> запрос к двум базам FB сразу?

А ведь FB действительно такое не умеет :( Хреновенько

← →
ПЛОВ © (2013-11-15 13:56) [6]

> с отключенными проверками

У меня в БД много связанных таблиц и триггеров, проверящих целостность данных. Вероятно отсюда и тормоза. Отключать проверки не могу, иначе зачем тогда вообще импортировать покалеченные данные :)

← →
[ВладОшин] © (2013-11-15 13:58) [7]

экпорт/импорт, я настаиваю!
на рябине :)
на 99% есть уверенность, что 100500 тулзов есть уже, не считая каких-нибудь стандартных команд

← →
RWolf © (2013-11-15 13:59) [8]

вставить сотни тысяч записей не должно быть проблемой.
отключаем индексы у таблицы, отключаем немедленный сброс на диск и гоним инсерты, через каждые несколько тысяч — коммит.

> А ведь FB действительно такое не умеет :( Хреновенько

http://www.firebirdsql.org/refdocs/langrefupd25-psql-execstat.html#langrefupd25-psql-execstat-on-external

> ПЛОВ © (15.11.13 13:56) [6]

ну.. надо, значит, тщательнее продумать как выгружать.
а когда включить назад
Fk|pk, поди, сразу брыкнут.
Остальное проверить руками

> insert into select from ?

select from insert into
побыстрее будет.

Как бы оптимизировать обмен данными? Найти похожие ветки