Помогите с правилами XML

← →
ТНЕ картман (2014-03-11 15:25) [80]

> DevilDevil © (11.03.14 15:19) [77]
>
> > Inovet © (11.03.14 15:15) [75]
>
> Поведай свои размышления по поводу оптимизации парсинга
> XML вот этим ребятам:
> http://fias.nalog.ru/Public/DownloadPage.aspx
>
> А лучше тем, кто эти XML парсит

парсил их как-то - не заметил какой-либо проблемы(видимо, из-за стандартного мышления)

← →
DevilDevil © (2014-03-11 15:26) [81]

> ТНЕ картман (11.03.14 15:22) [78]

А какой реакции ты ждал? Всякий кто считает своим долгом наофтопить в чужой ветке - проявляет неуважение к автору ветки и форуму в целом. Надеюсь тебе не нужно объяснять, что глупо ожидать похвалы от подобного рода действий.

Проникнись вопросом, ответь на него... или вообще не пиши. В обоих случаях какашек в ответ не получишь, я гарантирую.

← →
DevilDevil © (2014-03-11 15:27) [82]

> Inovet © (11.03.14 15:24) [79]

Да, есть категория людей, у которых намёк на быдло вызывает определённую реакцию

← →
Inovet © (2014-03-11 15:28) [83]

> [77] DevilDevil © (11.03.14 15:19)
> Поведай свои размышления по поводу оптимизации парсинга
> XML вот этим ребятам:
> http://fias.nalog.ru/Public/DownloadPage.aspx

И чё там? 15 лет dbf были, теперь xml. Чего там парсить то?

← →
DevilDevil © (2014-03-11 15:29) [84]

> ТНЕ картман (11.03.14 15:25) [80]
> парсил их как-то - не заметил какой-либо проблемы(видимо,
> из-за стандартного мышления)

А никто не говорил, что в парсинге (по крайней мере SAX) есть проблемы. Есть проблемы в быстром парсинге. Сколько занимает парсинг всех XML в этом архиве у людей со стандартным мышлением?

← →
ухты (2014-03-11 15:31) [85]

а что такое парсинг?

← →
DevilDevil © (2014-03-11 15:32) [86]

> Inovet © (11.03.14 15:28) [83]
> И чё там? 15 лет dbf были, теперь xml. Чего там парсить то?

Ну дак накидай простенький тестик, который все XML там распарсит )))))))))))))
Заканчивай разглагольствовать. Слово утратило вес на просторах тырнета. Подкрепи свои аргументы делом, мужик, я в тебя верю!

← →
ТНЕ картман (2014-03-11 15:38) [87]

> Сколько занимает парсинг всех XML в этом архиве у людей
> со стандартным мышлением?

один раз за обновление их базы. Т.е. исчезающе малО. Или кому-то может придти в голову использовать хмл как БД?.. Ну, может конечно

> Всякий кто считает своим долгом наофтопить в чужой ветке
> - проявляет неуважение к автору ветки и форуму в целом.
>

Вот и не проявляй неуважение к другим.

← →
DevilDevil © (2014-03-11 15:41) [88]

> один раз за обновление их базы. Т.е. исчезающе малО. Или
> кому-то может придти в голову использовать хмл как БД?..
> Ну, может конечно

погугли XPath

> Вот и не проявляй неуважение к другим.

Человек, проявляющий неуважение ко мне - даёт полное право проявлять неуважение к нему, пока тот не извинится.

И это. Ветка не о необходимости оптимизировать XML. Блюди порядок, проявляй уважение к топик стартеру.

← →
Inovet © (2014-03-11 15:43) [89]

> [86] DevilDevil © (11.03.14 15:32)
> Ну дак накидай простенький тестик, который все XML там распарсит

Зачем? Я знаю, что раз в год, пусть даже 4 раза в год, парсинг этих файлв займеёт времени 0,0...01 от всего. Проектировать правильно надо, а не хренью заниматься.

← →
Kerk © (2014-03-11 15:44) [90]

Скачал fias_delta_xml.rar. Открытие по очереди всех XML (суммарный объем файлов - 66,1 МБ) в DOM-модели с пробегом по нодам в цикле заняло целых 3,5 секунды. Время на реализацию тестового примера - 5 минут.

← →
Inovet © (2014-03-11 15:45) [91]

> [87] ТНЕ картман (11.03.14 15:38)
> Вот и не проявляй неуважение к другим.

Детям индиго всё можно, они так нестандартно мыслят.

← →
ухты (2014-03-11 15:47) [92]

> Ветка не о необходимости оптимизировать XML.
это тоже самое что парсинг?

← →
Kerk © (2014-03-11 15:48) [93]

> Kerk © (11.03.14 15:44) [90]

SAX был бы быстрее. Но это все ерунда. Ветка-то об изобретении велосипедов с квадратными колесами.

← →
DevilDevil © (2014-03-11 15:51) [94]

> Inovet © (11.03.14 15:43) [89]

> Зачем? Я знаю, что раз в год, пусть даже 4 раза в год, парсинг
> этих файлв займеёт времени 0,0...01 от всего. Проектировать
> правильно надо, а не хренью заниматься.

Согласен. Только ты почему то решил за весь мир, что XML не нужен. И ты забываешь о таких вещах как OOXML, XHTML, XPath и прочее. Никто не заставляет тебя любить XML. Но это повсеместно используемый формат де-факто.

Вопрос, не требующий ответа. Ты никогда в своём "стандартном мировоззрениии" не задавался вопросом, почему в требовательных к производительности задачах ты стараешься избегать XML? Не из-за низкой ли скорости его парсинга?

← →
ТНЕ картман (2014-03-11 15:54) [95]

> DevilDevil © (11.03.14 15:41) [88]
>
> погугли XPath

ггы

← →
DevilDevil © (2014-03-11 15:54) [96]

> Kerk © (11.03.14 15:44) [90]
> Скачал fias_delta_xml.rar. Открытие по очереди всех XML
> (суммарный объем файлов - 66,1 МБ) в DOM-модели с пробегом
> по нодам в цикле заняло целых 3,5 секунды. Время на реализацию
> тестового примера - 5 минут.

Я благодарю господа бога за то, что в обществе Эмбаркадеры есть такие MVP

> SAX был бы быстрее. Но это все ерунда. Ветка-то об изобретении
> велосипедов с квадратными колесами.

Если бы не одно маленькое но.
Та маленькая деталь, что база ФИАС весит немного больше 66Мб.

← →
Ega23 © (2014-03-11 15:56) [97]

> Или кому-то может придти в голову использовать хмл как БД?

Кстати, о пцыцах: http://www.sedna.org/
Но это, как я понимаю, чисто исследовательский проект Кузнецова, насколько он реально коммерческий - тут есть большой вопрос. Хотя 8 лет назад на КБД он утверждал, что сей сервер вполне можно как боевой использовать.

← →
ТНЕ картман (2014-03-11 15:58) [98]

> почему в требовательных к производительности задачах ты
> стараешься избегать XML? Не из-за низкой ли скорости его
> парсинга?

хм, идея обеспечить травмобезопасность ежикам, жрущим кактус, действительно нестандартна.

← →
Kerk © (2014-03-11 15:58) [99]

> DevilDevil © (11.03.14 15:54) [96]
> Если бы не одно маленькое но.
> Та маленькая деталь, что база ФИАС весит немного больше 66Мб.

Мне лень ради тебя качать кучу мусора. Сколько бы ФИАС ни весила, ее обработка будет выражаться в чем-то порядка 10 минут раз в квартал.

Тебя к практически полезным задачам не подпускают чтоль на работе?

> ТНЕ картман (11.03.14 15:54) [95]
>
> > DevilDevil © (11.03.14 15:41) [88]
> >
> > погугли XPath
>
> ггы

Да, ждем через месяцок ветки "А расскажите про синтаксис XPath, а то документация слишком длинная" :)

← →
Inovet © (2014-03-11 16:00) [100]

> [94] DevilDevil © (11.03.14 15:51)
> не задавался вопросом, почему в требовательных к производительности
> задачах ты стараешься избегать XML? Не из-за низкой ли скорости
> его парсинга?

Что за задачи такие. Есть более удобные способы. Не, я не против онанизма, почему бы и нет.

← →
Юрий Зотов © (2014-03-11 16:00) [101]

> DevilDevil © (11.03.14 15:16) [76]
> Мой ход мыслей нестандартный (необщепринятый). Поэтому вызывает негатив.
Хорошо, подскажу - ты ошибаешься.

Во-первых, неоригинальность твоего хода мыслей - вопрос очень даже спорный.

Ну да ладно, допустим, что ты действительно мыслишь нестандартно - но есть еще и "во-вторых".

Многие люди имеют оригинальный тип мышления (только я один только за одну свою жизнь, да и то пока еще (тьфу-тьфу!) неполную) встречал таких не менее 10 человек (умножь на население планеты). Но отношение к ним других людей было вполне себе позитивным. Даже очень позитивным.

Значит, ты ошибаешься. Причина негатива не в этом. А в чем-то другом.

И чем раньше ты поймешь, в чем же другом эта причина - тем безболезненнее это осознание пройдет.

← →
Kerk © (2014-03-11 16:04) [102]

> Ega23 © (11.03.14 15:56) [97]

На прошлой работе у нас была своя реализация XPath 2.0 для работы с неXMLным деревом. Очень удобно. Вообще, ничего удобнее XPath для работы с деревьями я не видел. Но сделанное на коленке без чтения документации непонятно что я побоялся бы использовать, не зря почти все опенсорсные XML либы его реализуют весьма ограниченно.

← →
ухты (2014-03-11 16:11) [103]

Удалено модератором

← →
DevilDevil © (2014-03-11 16:13) [104]

> ТНЕ картман (11.03.14 15:58) [98]

> хм, идея обеспечить травмобезопасность ежикам, жрущим кактус,
> действительно нестандартна.

XML - распространённый формат, парсеры которого, даже в SAX медленны(особенно на больших объёмах). Я хочу сделать скорость, сравнимую с бинарной. А с учётом существующих бинарных реализаций, авторами которых являются специалисты типа местных, мой парсинг XML на ряде задач будет быстрее.

Не имеет значения, любишь ты XML или нет. Имеет значение распространённость этого формата.

> Kerk © (11.03.14 15:58) [99]
> Мне лень ради тебя качать кучу мусора.

Не нужно качать ради меня. Качай ради себя. А то так и останешься человеком, вес слова которого низок. Учись отвечать за сказанное.

> Сколько бы ФИАС ни весила, ее обработка будет выражаться
> в чем-то порядка 10 минут раз в квартал.

Кто уполномочил тебя отвечать за пользователей ФИАС и вообще за всех пользователей XML? Безусловно звание MVP Эмбаркадеры высокое, но мне кажется ты переоцениваешь степень крутости оного.

> Тебя к практически полезным задачам не подпускают чтоль
> на работе?

Поскольку компания у нас большая и концентрация нагрузки тоже - объём наших файлов, с которыми должны работать сотрудники, порой превышают Гигабайт (в формате XML разумеется). Я отвечаю за высокую производительность деятельности наших сотрудников по этому направлению. Разумеется для меня чрезвычайно важно, насколько полезной эту задачу считаешь ты.

> Да, ждем через месяцок ветки "А расскажите про синтаксис
> XPath, а то документация слишком длинная" :)

Всё может быть, увидим
Главное, чтобы уровень твоего профессионализма к этому времени возрос

← →
DevilDevil © (2014-03-11 16:16) [105]

> Юрий Зотов © (11.03.14 16:00) [101]

Не ходите же вокруг да около
Называйте вещи своими именами

← →
Ega23 © (2014-03-11 16:19) [106]

> На прошлой работе у нас была своя реализация XPath 2.0 для
> работы с неXMLным деревом. Очень удобно. Вообще, ничего
> удобнее XPath для работы с деревьями я не видел.

Если я всё правильно понимаю, то сама по себе теория РСУБД лет 10 назад зашла в тупик. Как бы нет особо ничего нового, все нормальные формы с Бойсом-Коддом давным-давно обсосаны, электроника шагает громадными расстояниями, цена хранения байта за последние 30 лет гавкнулась на несколько порядков.
Всё, что можно делать, это всякие тонкие оптимизаторы запросов, всякое кэширование данных, ну и всякие новые интересные фишечки придумывать, типа наследования таблиц в постгресе.
А вот концептуально-нового ничего и нет, всякие мозги, типа Стоунбрейкера сидят и думают, чем бы заняться.
Эта sedna была попыткой внедрения XQuery как полноценной альтернативой непосредственно SQL. Насколько удачной - хрен его знает, я что-то не очень вижу замены (правда, и не сильно слежу последнее время).

← →
ТНЕ картман (2014-03-11 16:28) [107]

> DevilDevil © (11.03.14 16:13) [104]

> Поскольку компания у нас большая и концентрация нагрузки
> тоже - объём наших файлов, с которыми должны работать сотрудники,
> порой превышают Гигабайт (в формате XML разумеется).

откуда они берутся?

← →
sniknik © (2014-03-11 16:30) [108]

> Сколько занимает парсинг всех XML в этом архиве у людей со стандартным мышлением?
от 3х до 6ти, точнее не смогли сказать (вернее первые слова были больше часа меньше суток :)... не так давно эту базу c 0 "переливали". причем дельфи не причем. для удобства был написан скрипт на VB.

← →
ухты (2014-03-11 16:31) [109]

так разнормализация идет, таблицы режут вдоль и поперек

DevilDevil © (11.03.14 16:13) [104]

У меня в процессе чтения твоих веток возник один небольшой вопрос - ты довольно регулярно ставишь под сомнение профессионализм отвечающих тебе. Но к сожалению, из твоих веток довольно трудно сделать вывод о твоем профессионализме. Может, где то-то есть источник ? Ссылки какие-нибудь...
Просто любопытно.

*ВАНГА MODE*

К: откуда они берутся? D: OEBS К: дак там же можно бинарный D: а зачем бинарный если есть XML К: ну он быстрее D: дак о чём я и говорю. у меня XML будет быстрее ))) К: ты занимаешься велосипедостроением D: нет, OEBS генерирует отчёты, которые понимает Excel. Если файлы маленькие (до 100Мб) - большую часть функционала можно реализовать в Excel, это удобно. Но есть ряд функций, которые в Excel, особенно в гигабайтном отчёте, не сделать. И никто не будет переделывать отчёты в разные форматы, тем более внутреннее содержание полей в них периодически меняется и скрипты для нас разрабатывают множество дядек из аутсорсинговой организации. И в целом правы. XML - открытый формат, для которого есть тонна парсеров К: всёравно ты дурак D: почему? К: просто так

> DevilDevil © (11.03.14 16:16) [105]
> Не ходите же вокруг да около. Называйте вещи своими именами

Могу, но сейчас еще не стоит. Рано. Что бы я ни сказал, сейчас ты будешь мои слова оспаривать. Причем, вполне искренне.

Понимаешь, тут важно, чтобы ты сам это понял. А поймешь ты это лишь после того, как набьешь себе достаточно шишек, чтобы задуматься - в чем же причина конфликтов?

Но поверь - бывает, что от таких открытий даже и крыша у людей съезжает. Поэтому и говорю: чем раньше, тем лучше.

> sniknik © (11.03.14 16:30) [108]
> от 3х до 6ти, точнее не смогли сказать (вернее первые слова
> были больше часа меньше суток :)

я хочу минуту

> Юрий Зотов © (11.03.14 16:37) [113]

Из многочисленных веток, в которых мы с Вами пересекались, мне кажется можно было сделать вывод, что со мной можно разговаривать конструктивно. Я предложил - Вы отказываетесь. Своё мнение я уже озвучил. Вы можете придерживаться другого

> я хочу минуту
ну так, хоти, кто тебе мешает?

> Игорь Шевченко © (11.03.14 16:31) [110]

https://a.fsdn.com/con/app/proj/uniconv/screenshots/UniConv.png
https://a.fsdn.com/con/app/proj/cachedbuffers/screenshots/screen_writing.png
https://a.fsdn.com/con/app/proj/cachedbuffers/screenshots/screen_reading.png
http://www.gamedev.ru/files/images/infinity.png
http://www.gamedev.ru/files/images/shitcoders_vs_google_vs_devildevil_2.png

> sniknik © (11.03.14 16:43) [116]
> > я хочу минуту
> ну так, хоти, кто тебе мешает?

мешает? нет
но отговаривают
причём явно не в той ветке :)

кстати "парс", чисто задача (типа конь в вакууме) мало кому нужен. обычно он нужен для чего то, вот у нас нужно было для заполнения mssql-ой базы. она в свою очередь для чего-то. ну так вот, супер быстрый "парс" пусть даже за 1 минуту + "внешнее" (иначе не получится с "левым" парсером) обновление базы равное например 8 часам (будет скорее всего больше), проигрывает встроенному пакетному bulk-инсерву (или чего там, не хочу смотреть) который и то и то делает за 6 часов.

это так к слову.

> это так к слову.

Лучше быть здоровым и богатым, чем бедным и больным. Быстрый XML парсер иметь лучше, чем не иметь. Конкретно в моём случае - значительно лучше. Меня зачем-то пытаются отговорить. Придумывают практические задачи - и сами же их героически решают без моего парсера :)

это так. к слову

Помогите с правилами XML Найти похожие ветки