Конфигурируемый импорт данных

← →
oomneeq (2002-10-25 15:59) [0]

Добрый день !
Меня интересует ваше мнение по такому вопросу:
Есть потребность выполнять периодически импорт данных
Просто говоря, получать данные извне и распихивать по своей базе
(кстати, оракл),
с которой и работает мое приложение.
Да оракл располагает конечно утилитами и возможностями импорта, но в силу разных причин (частично упомянутых ниже) управлять этим надо самому приложению.
Для этого естественно нужно знать природу и струкктуру входных данных. Запрограммировать это в логике приложения, читай, в коде
проще всего, но это решения на один раз на один случай, ведь когда появится нужда получать те же (такие же) данные из другого источника это придется (до)программировать.
В общем случае импорт не ограничивается Select"oм и Insert"ом
во первых, потому что данные могут поступать не из BD, а из ACSII, Excel etc. а во вторых потому, что необходима некая промежуточная обработка, своего рода препроцессинг, а иногда и парсинг (в случае ASCII какой нибудь нелинейной-нереляционной структуры) как то: проверка на допустимость, аггрегирование и тп.
Было бы хорошо иметь механизм построения описания логики импорта - (описание источника, соответствия полей и таблиц, действия над данными)
Существуют конечно приложения для которых это и есть задача - описывать различные конфигурации импорта, сохранять их а затем выполнять заранее описаный процесс на основе этого описания.
Каждый новый вариант сводится таким образом к новому описанию
а движок при этом работает старый.
Список таких приложений можно глянуть например тут:
http://www.modelandmine.com/links_etl.htm
Беда в том что такие приложения как правило заточены только под
это и не предоставляют API или SDK для того чтоб их можно былобы использовать другим разработчикам в своем cофте, а те что предоставляют, опять же как правило монстры какие нибудь, умеющие еще кучу всего, что мне и не нужно и стоящие соответственно неоправданых денег.
Вот я и хочу спросить,
cталкивался ли кто из вас с такими потребностями и применяли ли вы третьи продукты для этого. А может быть это могли быть и компоненты. Использовать предполагается в Дельфи, но наличие Си-шного АPI было б тоже приемлимо.
Надеюсь изложил понятно.
Кто что присоветует?
Жду вашей реакции.

← →
dimis (2002-10-25 16:49) [1]

в Oracle есть замечательная утилита SQLLoader*
попробуй в ней разобраться, она много чего может делать и очень!! быстро.
с Excelем будет конечно сложнее, но это можно обойти.

если интересно могу выслать описание нак русском.

← →
oomneeq (2002-10-25 17:56) [2]

>dimis
Cпасибо за наводку. Я тут же заглянул в своего W.Page "Using Oracle", там есть глава про SQLLoader, а про его быстроту я и раньше слыхал.
Проглядел я эту главу. Маловато будет. Вышли плиз описаньице.
на demafo@-NOSPAM-pisem.net
-NOSPAM- только вытри из адреса.
ну и тхэнкс ин эдванс :-)

Конфигурируемый импорт данных Найти похожие ветки