Оценка качества моделей.

← →
Pavia © (2014-04-02 20:16) [0]

Имеется несколько математических моделей по расчёту движения космических тел.
Хочется их сравнить и оценить какая лучшая.
Вопрос простой, как это правильно сделать?

Если бы модель была бы линейной да и с ИСО, то проблем бы не было.
А вот как быть если она не линейная? Да ещё как правило все модели без ИСО. По какому критерию проверять сравнивать? В какой системе отсчёта это лучше делать? Интуиция говорит что в сферической.
На самом деле не знаю, что искать. Может кто что подскажет?

← →
RWolf © (2014-04-02 20:23) [1]

по критерию расхождения с наблюдаемыми данными?

← →
Pavia © (2014-04-02 20:38) [2]

> по критерию расхождения с наблюдаемыми данными?

Так в этом и вопрос. Есть разные метрики для вычисления ошибки. К примеру взять разность и посчитать сумму. Можно взять разность в квадрате.
Но все они имеют свои недостатки.
К примеру координаты могут совпадать, а скорость отличаться.
Тем более усреднение тоже имеет свои не достаток. Если есть систематическая ошибка, то она накопиться при усреднение и забьёт другие показатели. А при этом кривые(траектории) могут совпадать просто расходиться в масштабе или быть смещены.
А могут совпадать по координатам, но отличаться во времени. Т.е иметь разные скорости.
Относительная и абсолютная ошибка. То же имеют свои недостатки.
Расхождение в 5 м в координате 5 это большая ошибка или маленькая? А если та же самая ошибка в 5 м в координате 5000000 м это большая ошибка или маленькая?
Или просто модели могут отличаться временем. Одна проходит в момент t другая в момент t-5.

Вот и хочется понять какие есть направления и методы?

← →
Jeer © (2014-04-02 22:01) [3]

Таки придется вводить целевую функцию по интересующим параметрам.

← →
Dimka Maslov © (2014-04-03 00:45) [4]

Когда мы следим, скажем за сборкой моста, у нас имеется
а) теоретическое эталонное решение
б) реальное замеренное напряжённо-деформированное состояние (по заранее установленным критериям)
в) данные об окружающей среде
г) допустимые отклонения реального состояния от теоретического

в процесс анализа устанавливаются факт отклонения и если оно выходит за допустимые пределах делается вывод о причинах и вырабатывается план действий по исправлению ситуации.

Здесь, как я понял мы имеем дело с несколькими наборами решений дифференциальных уравнений (их систем). Причём решений, скорее всего, численных. Следовательно, теоретическое эталонное решение невозможно. Тогда я бы попытался общеизвестными методами математической статистики обработать все данные для каждого момента времени - построить "среднее" решение, его принять за эталон, а потом уже смотреть, что и насколько от этого эталона отличается, какие результаты достоверны, а какие нет...

← →
Германн © (2014-04-03 02:24) [5]

> Pavia © (02.04.14 20:16)
>
> Имеется несколько математических моделей по расчёту движения
> космических тел.
> Хочется их сравнить и оценить какая лучшая.

Боян. Которому уже более 400 лет.
http://ru.wikipedia.org/wiki/%D0%9A%D0%B5%D0%BF%D0%BB%D0%B5%D1%80,_%D0%98%D0%BE%D0%B3%D0%B0%D0%BD%D0%BD#.D0.90.D1.81.D1.82.D1.80.D0.BE.D0.BD.D0.BE.D0.BC.D0.B8.D1.8F
:)

← →
й (2014-04-03 09:27) [6]

> По какому критерию проверять сравнивать?

конечно же по критерию точности решения поставленной задачи
(если нет такой задачи - то просто нет смысла сравнивать)

← →
картман © (2014-04-03 09:46) [7]

> Имеется несколько математических моделей по расчёту движения
> космических тел.
> Хочется их сравнить и оценить какая лучшая.
> Вопрос простой, как это правильно сделать?

истина, как известно, между. Возьми среднее - и надобность сравнивать отпадет, и к верному решению станешь ближе))

← →
Inovet © (2014-04-03 10:35) [8]

> [7] картман © (03.04.14 09:46)
> Возьми среднее

вот результаты
1010, 1020, 100100, 100200
среднее есть, но какова точность?

← →
имя (2014-04-03 11:13) [9]

Удалено модератором

← →
Jeer © (2014-04-03 11:58) [10]

Для любителей "среднего":

http://f-bit.ru/406151

← →
имя (2014-04-03 12:31) [11]

Удалено модератором

← →
Юрий Зотов © (2014-04-03 14:21) [12]

> й (03.04.14 09:27) [6]

>> По какому критерию проверять сравнивать?
> конечно же по критерию точности решения поставленной задачи

Таких критериев много. Автор как раз и спрашивает, какой ему лучше использовать. А "критерий точности решения поставленной задачи" - это, извините, из серии "КО на сферическом коне в вакууме".

> сабж

Это сильно зависит от самой задачи. Например, если есть экспериментальные данные или аналитическое решение (пусть даже и для каких-то вырожденных случаев), то сравнивать надо с ними,. а если нет, то можно как в [4] (сначала отсечь сомнительные данные, потом построить среднее решение и сравнивать с ним).

А что касается критерия... для своих задач я нередко использовал минимум суммы квадратов отклонений, но не факт, что это будет лучшим и для Вашей.

Посмотрите книжку: Шенк. Теория инженерного эксперимента (гугль дает кучу ссылок). В ней много чего полезного по сабжу.

PS
Слово "эксперимент" не должно смущать, потому что каждый расчет по модели - это эксперимент и есть, только численный.

← →
Юрий Зотов © (2014-04-03 14:27) [13]

> Inovet © (03.04.14 10:35) [8]
> среднее есть, но какова точность?

Никакова. Это мусор, а не данные, с ними ничего сделать нельзя. На жаргоне - так называемое "звездное небо" (поскольку если нанести точки на график, то его и увидим).

PS
В теории эксперимента этот вопрос тоже рассматривается - почему ее и рекомендую.

← →
й (2014-04-03 15:19) [14]

Юрий Зотов ©> А "критерий точности решения поставленной задачи" - это, извините, из серии "КО на сферическом коне в вакууме".

ключевой момент в том, что некоторые т. наз. "задачи" просто нет никакого смысла решать

скорее всего, задача сформулирована расплывчато и нужно её уточнить (свести к одному показателю)
либо сама модель не подходит под хоть какую-то конкретную задачу, о чем сам ТС и намекает:

Pavia ©> Если бы модель была бы линейной да и с ИСО, то проблем бы не было.

ну вот как вы попадете по движущейся цели без ИСО, связанной с самой этой целью? (т. е. вообще без параметров её движения, хотя бы предполагаемых?)

← →
ВладОшин © (2014-04-03 15:50) [15]

ну..
если цель - рыбка в аквариуме и задача определить ее местоположение в следующие 3 сек, а из инструментов - молоток, - то элементарно, вне зависимости где она была и какие траетории выписывала
через 3 сек в любой момент времени траектория стабилизирована, местоположение на полу и не менеятся. :)

← →
ТНЕ картман (2014-04-03 15:53) [16]

> Pavia © (02.04.14 20:16)

а куда лететь собрались, если не секрет?

← →
Styx (2014-04-03 15:54) [17]

Качество модели можно оценивать по тому, насколько эта модель полезна для Ваших целей. Если цель не поставлена, то все модели равнозначны.

← →
й (2014-04-03 17:01) [18]

или тупо не хватает фактических данных по моделируемым объектам, то есть модель не на чем проверить, невозможно сравнить с реальностью
друг с другом же, без реальности, модели сравнивать бесполезно

← →
Павиа (2014-04-03 20:21) [19]

> Юрий Зотов © (03.04.14 14:21) [12]

Спасибо за книжку почитаю.

> скорее всего, задача сформулирована расплывчато и нужно
> её уточнить (свести к одному показателю)либо сама модель
> не подходит под хоть какую-то конкретную задачу, о чем сам
> ТС и намекает:

По моему задача сформулирована конкретно. Есть движение космических тел. Есть разные модель описывающая это движение. Есть исходные данные.
Каждая модель характеризуется точностью предсказания.
Вот вопрос как оценить точность предсказания?
Понятно, что результат работы должен сравниваться с исходными данными.

Вопрос в выборе метрики сравнения. Таких задач я решал много. И использовал обще известные методы(метрики). На данный момент я столкнулся с тем, что всё что я знал здесь не годится. Возможно я что-то упустил из виду, но пока что не вижу. Проблема в том что модель не является линейной и не является циклической. Короче она просто сложная и в неё входи много параметров, как на входе так и на выходе.
А вот с выбором тех которые наиболее интересны пока не определился пришлось проверять все.

← →
Павиа (2014-04-03 20:37) [20]

> Jeer © (03.04.14 11:58) [10]
> Для любителей "среднего":http://f-bit.ru/406151

Пойдёт в коллекцию, почитаю. Вроде с подобным названием видел книжку у других авторов.

← →
й (2014-04-03 20:58) [21]

Павиа> По моему задача сформулирована конкретно

не сформулирована задача, которую должна решать сама модель (а не её оценщик)
пока не определите, точность предсказания чего именно более важна, просто не появится однозначного критерия
вот вы пока этого не знаете - ну так и мы ведь не знаем, и никто не знает

вот точность времени важнее или точность координат? так ведь это зависит от того, куда нужно попасть и как быстро оно движется - а вот если привести координаты к системе отчета, привязанной к цели, то сразу критерий точности времени практически отпадает

вот была у картографов задача определить параметры эллипсоида, наиболее близкого к геоиду - так ведь картографы каждой страны её по-своему решали и были по-своему правы (пока NAVSTAR GPS c WGS84 не вылез поперед всех)

← →
Павиа (2014-04-03 21:39) [22]

> не сформулирована задача, которую должна решать сама модель
> (а не её оценщик)пока не определите, точность предсказания
> чего именно более важна, просто не появится однозначного
> критерия вот вы пока этого не знаете - ну так и мы ведь
> не знаем, и никто не знает

Координаты важны. А вот в какой системе не знаю.
Потом перейдём к равнозначной xyzt.

> а вот если привести координаты к системе отчета, привязанной
> к цели, то сразу критерий точности времени практически отпадает
Ошибаетесь время тут ни куда не дивается. Оно ведь тоже относительное.

> вот была у картографов задача определить параметры эллипсоида,
> наиболее близкого к геоиду - так ведь картографы каждой
> страны её по-своему решали и были по-своему правы

Не понял аналогии. А это тут причём??? Историю эллипсоидов я знаю хорошо у американцев был точный эллипсоид ещё в 76 году. По тому что больше всех имели статистических данных. Страна больше чем у других. А у нас только в 90-тых, который после под wgs-84 ПОДОГНАЛИ.

← →
Inovet © (2014-04-03 22:01) [23]

> [22] Павиа (03.04.14 21:39)
> > а вот если привести координаты к системе отчета, привязанной
> > к цели, то сразу критерий точности времени практически отпадает

> Ошибаетесь время тут ни куда не дивается. Оно ведь тоже
> относительное.

Ну так это смотря в каких координатах мыслить. Если цель - ракета предполагаемого противника, то время по законам военного времени не должно превышать н-ное количество секунд, чтобы звёзды не попадали, а если очкарики там про свои звёздочки, так пусть у них и время своё будет.

← →
й (2014-04-03 22:20) [24]

> Координаты важны
ну так отклонение вроде бы в любой системе одинаковое - просто метры

> время тут ни куда не дивается
"практически" = "с точки зрения задачи попадания в цель"

> Не понял аналогии. А это тут причём???
задача вроде бы одна. а решений много, разных, и все по-своему правильные. потому, что критерии качества решения большой абстрактной задачи уточнялись по маленьким, но реально-практическим задачкам

> ...у американцев был точный эллипсоид ещё в 76 году... А у нас только в 90-тых...
у каждой большой страны/конгломерата был свой эллипсоид, оптимально прилегавший к геоиду именно на территории этой самой страны/конгломерата, потому что главным критерием была точность проведения границ и измерения участков земли на территории государства, а не морская навигация и т.д. и т.п.

← →
Jeer © (2014-04-03 22:54) [25]

>Историю эллипсоидов я знаю хорошо у американцев был точный эллипсоид ещё >в 76 году. По тому что больше всех имели статистических данных. Страна >больше чем у других. А у нас только в 90-тых, который после под wgs-84 >ПОДОГНАЛИ.

В таком случае, Вы вообще ничего не знаете.
Есть понятие референц-эллипсоид. Такие эллипсоиды разрабатываются национальными силами для своего региона и для целей картографии.
В Союзе, картографы и геодезисты были лучшие в мире.

Есть отдельная песня, о гравитационной модели.
Так я Вам скажу, как научный сотрудник, принимавший участие в разработке грави-эллипсоида.
На то время (70-е), у нас была одна из лучших гравитационных моделей - по результатам спутниковых исследований.

← →
Павиа (2014-04-03 23:11) [26]

> Есть отдельная песня, о гравитационной модели.Так я Вам
> скажу, как научный сотрудник, принимавший участие в разработке
> грави-эллипсоида.На то время (70-е), у нас была одна из
> лучших гравитационных моделей - по результатам спутниковых
> исследований.

А почему тогда ГОСТ Р 51794-2001 выпусти хренти когда и то с ошибками?
А приказ о переходе от ПК42 к СК-90 в 2009 как понимать?
Источник данных.
http://gis-lab.info/docs/legislation.html

← →
Павиа (2014-04-03 23:17) [27]

> Есть отдельная песня, о гравитационной модели.

Да есть такое исследование, даже опубликовано было. Вот только практическое применение когда началось у нас, а когда за бугром? А то есть у меня не проверенные данные из авторитетного источника, что на западе внедрение началось раньше.

← →
Павиа (2014-04-03 23:22) [28]

> В Союзе, картографы и геодезисты были лучшие в мире.

Да были на момент создания ПК42 Наша система была точнее. Но простите это 42 год. Вернее исследования были несколько годами раньше.
Если у вас есть какие-то ещё данные приму с радостью. Но пока факты говорят об обратном.

Продолжайте и дальше пользоваться Интырнетом.

>> Есть отдельная песня, о гравитационной модели.
>Да есть такое исследование, даже опубликовано было.

Какое исследование? У Вас с головой как?
Как по Вашему летают наши всякие боеголовки и крылатки?
По бумажным исследованиям?
Тьфу, неуч.

> [30] Jeer © (03.04.14 23:30)
> крылатки

Хотел узнать. Как там на них всё это работает. Типа заранее введены параметры местности, и при движении происходит их сравнение с реальными данными от радиолокации? Ну гора там на трассе не вырастет, но, может, ещё для чего?

← →
Павиа (2014-04-03 23:50) [33]

> Продолжайте и дальше пользоваться Интырнетом.

Когда нечего сказать переходят на личности. Вот вы и начали хаять интернет. Но между тем это не интернет, а реальные документы если вы не заметили.

> Какое исследование? У Вас с головой как?

У меня да. А у вас? Вы же сами написали про исследования я только повторил, по тому что про него читал.

> наши всякие боеголовки и крылатки?По бумажным исследованиям?

С радостью бы послушал про то, как велась разработка в советское время. Честно думаю что по бумажным. Но хочется верить что нет. За все крылатки не скажу я только историю одной читал. Честно не так уж там много было экспериментальной отработки всего несколько пусков 5-7. И пару макетов.

Сравнивать с Бураном не будем. Там было очень много экспериментов расчётов и конструирования.

> Тьфу, неуч.

Дык учить некому. Кто был тех на пенсию списали ещё до моего устройства на работу.

Ребят, ну вот ей богу..
Мда, это все последствия "учебы" по Тырнету.

>Хотел узнать.

Все и не узнать, поскольку темы закрытые и это правильно.
Крылатки идут по разному - комплексная навигация: инерциалка, для корректировки - если есть,то спутник, радио-навигация.
Профиль Земли давно "выстрадан" - по тессеральным и прочим гармоникам.
Навигационные локаторы: высотный, "впередсмотрящий".
Супервизорный режим управления - по корреляции задания с текущим профилем.

> Павиа (03.04.14 23:50) [33]

> С радостью бы послушал про то, как велась разработка в советское
> время.

наследие:
http://www.youtube.com/watch?v=SUF684FFMNA

>Павиа (03.04.14 23:50) [33]

Родной ты мой.

Для начала, чтобы было о чем с тобой разговаривать дальше - напиши здесь формулы и алгоритмы взлета ракеты с Земли и мягкой посадки аппарата на поверхность Луны.

Если не можешь - просто заткнись.

← →
Павиа (2014-04-04 01:13) [37]

> >Павиа (03.04.14 23:50) [33]Родной ты мой.Для начала,
> чтобы было о чем с тобой разговаривать дальше - напиши здесь
> формулы и алгоритмы взлета ракеты с Земли и мягкой посадки
> аппарата на поверхность Луны.Если не можешь - просто заткнись.

Могу. Но нужно время, дума надо будет много времени. Либо на выкладки либо на поиск в книгах. Вам какой нужен ответ? И да обычно математики ровно как и программисты не любят копаться в чужих формулах. А я ведь могу использовать довольно не стандартные подходы к решению и он вас может не устроит. Что тогда?

Я вот всё не пойму вы серьёзно или Тролите?

Ладно, извини - насчет "заткнись" я погорячился.
Меня просто выбешивает, когда люди с нулевым уровнем тыкают пальчиками в научно-техническое, да и культурное достояние Союза.

Использовать ты можешь что хочешь, но если нет математического обоснования, то на твой "велосипед" и смотреть никто не будет.

Математики, прежде чем стать математиками, глубоко изучают все, что сделано их предшественниками и для этого, как ни странно, также глубоко копаются в чужих выкладках.

← →
ухты (2014-04-04 11:36) [39]

а вот энштейн говорил, пока нет экперимента, матиматика ничто
не дословно конечно, но по смыслу, типа математика только подтверждает .. :)

Ну да, сделали без математики ракету, запустили на Луну без математики и по результатам сделали математику.
Феерично.

Оценка качества моделей. Найти похожие ветки