Анализ свободных ответов

← →
Виталий___ (2006-11-18 15:10) [0]

Доброе время суток!
Мой вопрос больше алгоритмический. Столкнулся с необходимостью проанализировать ответ на вопрос, причем ответ принимается "текстом" в свободной форме. Я, конечно, понимаю, что решать подобную задачу абстрактно нельзя и придется в чем-то ограничивать пользователя (например в наборе используемых слов или еще как-то). Однако в общем задача остается такой: проанализировать свободный ответ и принять решение о его корректности.
Хотелось бы узнать, занимался ли кто-нибудь из здесь подобной проблемой. Также приветствуются ссылки на источники в интернете или книги, где достаточно подробно рассмотрен какой-либо подход к решению данной задачи. К сожалению, практически все, что доводилось видеть не устраивало: в лучшем случае можно выцепить глобальную идею, но никак не найти что-то напоминающего алгоритм.
Я понимаю, что в рамках данного форума обсуждать проблему будет не очень логично. Но я надеюсь, что найдутся люди, которые так или иначе смогут помочь. Можно также отвечать на почту (vitalii@cn.ru).

← →
KilkennyCat © (2006-11-18 15:17) [1]

> Я понимаю, что в рамках данного форума обсуждать проблему
> будет не очень логично.

не очень логично было не ознакомиться с правилами форума и написать именно сюда, а не в "Прочее".

По-моему, решение сводится к созданию ИИ, либо к самообучающейся программе.

← →
Leonid Troyanovsky © (2006-11-18 16:53) [2]

> Виталий___ (18.11.06 15:10)

> как-то). Однако в общем задача остается такой: проанализировать
> свободный ответ и принять решение о его корректности.
> Хотелось бы узнать, занимался ли кто-нибудь из здесь подобной
> проблемой.

Я, например, каждый день занимаюсь.

Т.е., это, например, свидетельствует о том, что
данная задача не алгоритмизируема.

Кста, сие не должен никого расстраивать,
бо, таких проблем множество (несчетное).

--
Regards, LVT.

← →
Виталий___ (2006-11-18 17:21) [3]

Leonid Troyanovsky,
> это, например, свидетельствует о том, что
> данная задача не алгоритмизируема.

Не требуется решить задачу "в общем виде". ЕГ же так и не сделали автоматизированным в части С. Но прежде чем как-то ограничивать свободу ответа, нужно решить, как это сделать. Где-то ограничение следует из задаваемого вопроса, например, если мы хотим услышать в ответ одно слово, дав его определение. Другое дело, если ответ подразумевает текст. Тут придется ограничения вводить исходя из наших возможностей для анализа. Поэтому и хотелось бы узнать о существующих наработках.

KilkennyCat,
> По-моему, решение сводится к созданию ИИ, либо к самообучающейся
> программе

Что Вы имеете в виду? Любой анализ чего-либо уже подразумевает в каком-то смысле ИИ.
Самообучение? Были идеи, связанные с нейросетями, но они настолько не формализованны, что придумать что-то на их основе вряд ли получится. Если у Вас есть какая-нибудь хорошая статья на эту тему, тогда другое дело.

← →
vasIzmax © (2006-11-18 17:39) [4]

Имхо, такой анализ может реализовать только спец в языке (предполагается русский язык). Здесь проблема сводится скорее всего к гипотетическому охвату вопросом какой-либо темы. Подобрать мини-библиотечку, слов и словосочетаний. И приложить ее к отдельному вопросу. Т.е. такой мини-словарик по теме например, "ПО", маловероятно будет содержать слово "чай". Так что могу посоветовать использовать такие словарики. Но, даже реализовав все возможные сочетания слов по теме, где гарантия что чел ответил правильно, но допустил орфографическую Ашибку?!
ЗЫ. Согласен даже более чем с
> KilkennyCat © (18.11.06 15:17) [1]

← →
KilkennyCat © (2006-11-18 17:46) [5]

Хотя, конечно, если ограничить пользователя набором слов... то проще. но это уже сводится просто к предложению выбрать готовый правильный ответ из кучи, стандартный тест.

← →
Sergey Masloff (2006-11-18 17:52) [6]

KilkennyCat © (18.11.06 17:46) [5]
>Хотя, конечно, если ограничить пользователя набором слов... то проще. но >это уже сводится просто к предложению выбрать готовый правильный ответ >из кучи, стандартный тест.
И оно же полная профанация. Потому что как только появляется выбор из вариантов то это сразу НЕ проверка знаний а проверка попугайских навыков. Пробежал глазами 20 страниц в минуту потом за слово зацепился и выбрал правильный ответ не зная его.

Я занимался проблематикой автоматизированного тестирования, давно правда. С практической точки зрения проблемы частично решаемы.

← →
KilkennyCat © (2006-11-18 17:53) [7]

> vasIzmax © (18.11.06 17:39)

для орфографической ошибки тоже можно сделать выход - переспросить, как яндекс :)
А словарики будут очень и очень объемные. Особенно на отрицательные ответы :)
Можно же ответить : Я думаю, что ответ на этот вопрос, учитывая мое похмельное состояние, вряд ли будет верным, так как по результатам поиска в хранилищах моей памяти является отсутствующим, в следствие вышесказанного, думаю, отвечать неразумно.

практически, это ответ "не знаю"

предположим, что это ответ на вопрос "Разумно ли насекомое?"

← →
KilkennyCat © (2006-11-18 17:54) [8]

> [6] Sergey Masloff (18.11.06 17:52)

согласен. именно это как-то раз спасло меня на химии (я очень слабо знаю органическую химию). Но, поскольку, что-то где-то отложилось в подсознании, ну и явно тупые варианты отбрасываются и даунами, то на "зачет" я галочек набрал легко.

← →
Leonid Troyanovsky © (2006-11-18 18:08) [9]

> Виталий___ (18.11.06 17:21) [3]

> ограничения вводить исходя из наших возможностей для анализа.

Вот и вводи.
Для достижения оных возможностей.

--
Regards, LVT.

← →
vasIzmax © (2006-11-18 18:12) [10]

> KilkennyCat © (18.11.06 17:53) [7]

Ошибки убили. :)
Ну, а если предположительно дать понять тестируемым что ответ должен быть краток.
Как обойти большие словари? Работа с вопросами. Или, например, разработать вопросы, примитивный вариант ,типа " +текст вопроса+ .... +текст вопроса+?", где вместо многоточия должен стоять ответ.

← →
KilkennyCat © (2006-11-18 18:20) [11]

> [10] vasIzmax © (18.11.06 18:12)

примитивный вариант сведется именно к выбору одного верного из кучи.
можно и краткие ответы заставить писать.

- Разумно ли насекомое?

- х.з.
- Жжошь!
- Почти
- Ага
- Только тараканы
- сам дурак

не... тут либо ИИ, либо псевдо-ИИ (учитель в тайной комнате по вай-фаю) :)

← →
vasIzmax © (2006-11-18 18:24) [12]

> KilkennyCat © (18.11.06 15:17) [1]

> По-моему, решение сводится к созданию ИИ, либо к самообучающейся
> программе.

Это было с самого начало определено как самый оптимальный вариант! Но а как по другому?!

> учитель в тайной комнате по вай-фаю

Это здоровски..:)

← →
Algol (2006-11-18 20:30) [13]

Я вот только не пойму, какой смысл от словаря в данном случае?
Словарь вам поможет понять смысл ответа?

А касаемо сабжа - я бы лично посмотрел в сторону формального анализа текста (объектно-субъекто-агентная модель). Такой анализ позволяет понять суть несложных предложений.

> [2] Leonid Troyanovsky © (18.11.06 16:53)
>
> Я, например, каждый день занимаюсь.
>
> Т.е., это, например, свидетельствует о том, что
> данная задача не алгоритмизируема.
>
> Кста, сие не должен никого расстраивать,
> бо, таких проблем множество (несчетное).
>
> --
> Regards, LVT.

аЗЪ есмЬ бо имхо
С уважением VirEx

← →
Слоник_ (2006-11-18 21:17) [15]

> учитель в тайной комнате по вай-фаю

машина, играющая в шахматы, только на новый лад? ;)
правильно, нужно идти в ногу со временем =)

← →
Виталий___ (2006-11-18 21:43) [16]

Leonid Troyanovsky,

> Вот и вводи.
> Для достижения оных возможностей

Дык хочется сначала узнать, что в мире придумано! За тем и пишу. Исходя из своих знаний/умений можно много урезать, но смысл в этом? Мне же не завтра это написать надо. Вот я сначала и анализирую, что уже есть по этой проблеме. Может все-таки найдется умный добрый человек, кто посоветует книгу хорошую или статью!

>Виталий___

Самое простое использовать регулярные выражения,
их можно предусмотреть на большинство вопросов
и тем более для ответов на известные вопросы,
возможности такого подхода можно оценить тут:
http://programania.com/pi

Анализ свободных ответов Найти похожие ветки