Нормализация информации

← →
Petr V. Abramov © (2008-02-23 18:50) [80]

> ЮЮ © (21.02.08 04:55) [72]
> Если исходить из того, что таблица - это объект предметной
> области, то всякий его эккземляр не должен возникать неизвестно
> откуда

ну подумаешь, следующий вопрос будет по поиску дублей
:)

> Но, как тут заметили имен узбеков, монгол и иже подобных
> здесь нет, потому как они мне не нужны.

автор, а как же осетинские и якутские?

← →
Сергей М. © (2008-02-23 18:54) [81]

"Матюгальник на березе голосит, как узбеков, латышей сплотила Русь" (С)

← →
Альберт (2008-02-23 19:43) [82]

> автор, а как же осетинские и якутские?

->
> узбеки и иже с ними в контору .. будут не вхожи)

← →
Альберт (2008-02-23 19:44) [83]

> ты посвятил нас в свою великую тайну

постепенно тайна открывается :)

← →
Sergey Masloff (2008-02-25 12:45) [84]

Ega23 © (17.02.08 13:50) [42]
>Кстати, я бы всё равно нормализацию по именам-фамилиям начал бы от >миллиона человек делать.
И был бы не прав. Не ИМХО.
Из реальных я видел имя из 17 слов.Что там имя что отчество хрен его знает и пропусти хоть что-то - смертельная обида.

Но у нас на вводе висит некая эвристика которая делает примитивный лексический анализ и если видит что-то похожее на имя или отчество которые есть у нее в словаре то говорит пользователю - ты не это имел в виду? и если это то заменяет.

← →
Альберт (2008-02-25 13:00) [85]

> Из реальных я видел имя из 17 слов.Что там имя что отчество
> хрен его знает и пропусти хоть что-то - смертельная обида.
>

А по паспорту, как ? Да, еще и регистрация временная она как была ?

← →
Sergey Masloff (2008-02-25 14:02) [86]

Альберт (25.02.08 13:00) [85]
>А по паспорту, как ?
Вот именно так
>Да, еще и регистрация временная она как была ?
С каких пор дипломатическим работникам требуется временная регистрация?

← →
Альберт (2008-02-25 14:26) [87]

> С каких пор дипломатическим работникам требуется временная
> регистрация?

Подымаю руки, сорри.

← →
Sergey Masloff (2008-02-25 14:31) [88]

Альберт (25.02.08 14:26) [87]
Да дело не в этом. В российских паспортах тоже могут быть составные имена и фамилии. Выгоды от разделения - никакой.
В чем смысл отдельного хранения - я из ветки не выяснил. Экономия места? Спорно будет ли она вообще. Что еще?

← →
Альберт (2008-02-25 16:42) [89]

В чем смысл отдельного хранения - я из ветки не выяснил.
> Экономия места? Спорно будет ли она вообще. Что еще?

Хорошо, простая задача:
Нужно сформировать письмо и в нем должно быть :

Уважаемый Анатолий Николаевич ! (для русских)
Шановний Анатоліє Миколайовичу ! (для украицев)
и т.д.
Записей в базе клиентов на данный момент больше 25 тысяч.

1.Как быстро выбрать имена и отчества из таблицы ?
2.Как сделать алфавитку для приемной, где только фамилия и инициалы ?

← →
Sergey Masloff (2008-02-25 21:02) [90]

Альберт (25.02.08 16:42) [89]

>Хорошо, простая задача:
>Нужно сформировать письмо и в нем должно быть :
Это вообще задача нерешаемая напрямую.

Можно хранить наименование (ФИО) как одно поле и в отдельной таблице языковые синонимы по связке один ко многим.

Я бы сделал так - в таблице поля наименование-поисковое наименование-иностр. наименование (последнее избыточно но удобно для основного иностранного. Например английский эквивалент хранится денормализовано а все остальные - через синонимы потому что английский используется постоянно а остальные - раз в сто лет.

В поисковое наименование при вводе автоматически преобразуется строка из основного наименования например Петров Игорь Иванович => Петров И.И. но пользователь может поправить если автомат неверно отработал. В иностранное можно транслитерировать по умолчанию но тоже с возможностью правки.

Имена и отчества выбирать - зачем? В какой реальной задаче это нужно? Словари имен и отчеств доступны, можно в принципе использовать для проверки но не обязательно. Это уже бантики которые дяют 5% удобства.

← →
Павел Калугин © (2008-02-25 21:55) [91]

> [89] Альберт (25.02.08 16:42)

Так может ввсе таки озвучить задачу и предметную область?

← →
Ega23 © (2008-02-25 21:57) [92]

> Имена взяты с книги "Что имя твое значит", где представлены
> все славянские, греческие и германские их производные.

Марлен там тоже есть?

← →
Petr V. Abramov © (2008-02-25 22:12) [93]

> и в отдельной таблице языковые синонимы по связке один ко
> многим.

а зачем синонимы? человек все ж либо русский, либо украинец, и обращаться к нему надо либо "Уважаемый", либо "Шановний". Случай зависимости от политической ситуации выходит за пределы обсуждения :)

> 2.Как сделать алфавитку для приемной, где только фамилия
> и инициалы ?

построить view, в котором будут только фамилия и инициалы, и роли "примная" дать гранты на него.

← →
Германн © (2008-02-26 01:54) [94]

Терзают меня смутные сомнения, что Альберт задумал что-то супер-пуперное. Сам не зная куда он лезет.

← →
Sergey13 © (2008-02-26 08:54) [95]

> [94] Германн © (26.02.08 01:54)

А по моему он пытается придумать задачу под свою (не очень удачную, ИМХО, но интересную с его т.з.) идею.

← →
Павел Калугин © (2008-02-26 11:32) [96]

> Альберт (23.02.08 18:28) [78]
> Если нет данных по паспорту, тогда сверка из пенсионной
> базы.

Иванов Петр Петрович 21 год студент (пенсионного еще нет)
через полгода с новым паспортом взамен утеряного
Иванов Петр Петрович 21 год студент (пенсионного еще нет)

два разных ? или один и тот же?

Переводить имена это бред.

Завести структуру для хранения обращения и не мучать кошек
полное ФИО Иванов Иван Иванович краткое ФИО Иванов И. И. обрашатся как Дорогому Ванюшеньке

← →
Petr V. Abramov © (2008-02-26 13:35) [97]

> Павел Калугин © (26.02.08 11:32) [96]

я б обращение все-таки флагом/справочником сделал. Чтоб "Дарагой" не написал кто-нить

← →
Альберт (2008-02-26 14:34) [98]

> Терзают меня смутные сомнения, что Альберт задумал что-то
> супер-пуперное. Сам не зная куда он лезет.

Потом будет видно, но зато сейчас ончень интересно, да и опыта наберусь.

> А по моему он пытается придумать задачу под свою (не очень
> удачную, ИМХО, но интересную с его т.з.) идею.

Идея автоматизации отчетов и документов, плюс самый новый справочник по телефонам и адресам клиентов и организаций.

Но вопросы все таки есть.
а)Нужно поле "Фамилия имя отчество" ежемесячно для новых "клиентов" передавать в ексель как три ячейки:
1.Фамилия
2.Имя
3.Отчество

б)Поиск (выборка) по частям:
пример найти "Вагиф Оглы", но оператор ввела "Вгиф Аглы"

← →
Sergey13 © (2008-02-26 14:49) [99]

> [98] Альберт (26.02.08 14:34)
> Идея автоматизации отчетов и документов

Это настолько общее определение, что практически ЛЮБАЯ программа под это определение попадает.

> плюс самый новый справочник по телефонам и адресам клиентов и организаций.
Эта задача не особо нуждается в лингвистических примочках.

Хотя если интересно, то почему бы не помучаться. Но с другой стороны, раз работаешь над конкретной задачей рискуешь нарваться на вопрос работодателя: "А че ты тут делаешь то?"

← →
Альберт (2008-02-26 14:57) [100]

> "А че ты тут делаешь то?"

А я инженер-аналитик . Так вот запросы могут быть разные у начальства, а я себе работу облегчаю. А информация дорого стоит.

← →
Sergey13 © (2008-02-26 15:04) [101]

> [100] Альберт (26.02.08 14:57)
> А информация дорого стоит.

Так то информация, а не ее склонения по падежам.

> [10] Альберт (15.02.08 15:12)
> можна очень много сделать полезного для приемной и т.д

> [100] Альберт (26.02.08 14:57)
> А я инженер-аналитик .... я себе работу облегчаю.

Хватит отираться в приемной и пудрить мозги секретарше! 8-)))))))))))))

← →
Альберт (2008-02-26 15:33) [103]

> Хватит отираться в приемной и пудрить мозги секретарше!
> 8-)))))))))))))

Споймал, согласен. :)

>>а)Нужно поле "Фамилия имя отчество" ежемесячно для новых "клиентов"
>>передавать в ексель как три ячейки:
вот в процессе формирования реестра новеньких и разделишь фио на составляющие.

а усложнять "ежедневку" - недальновидно.
Kepp It Simple Stupid
// озвучивалось тут уже

> [97] Petr V. Abramov © (26.02.08 13:35)

А я бы оставил на усмотрение Манагера. если он считает обосновано чт дАрАгой Леонид правильное обращение именно к этому леониду то пусть буде так. а если слажал пусть меньше бабла получит

> [98] Альберт (26.02.08 14:34)
> Идея автоматизации отчетов и документов

Идея далеко не нова.

> [98] Альберт (26.02.08 14:34)
> а)Нужно поле "Фамилия имя отчество" ежемесячно для новых
> "клиентов" передавать в ексель как три ячейки:

И вопрос в чем? и хранить три поля. Но полное и краткое ФИО хранить не давая их править. То есть править можно одно из трех полей а полное и краткое фио тем же триггером корректировать но ни как не через форму

> б)Поиск (выборка) по частям:

а вот это лечится 2-мя путями. и тольо комплексом
1. баблом по вбившему ошибку или дубль
2. смотреть на функции , например, soundex. Для меня открытием стали когда-то слова "Функция Левенштайна". рекомендую поискать и почитать.
Но опять же лечит только комплексный подход. И больший вес таки играет административная его часть. И если администрация в таких вопросах не идет на компромис то.. может им не слишком оно надо?

> [104] Ditrix © (26.02.08 16:06)
> вот в процессе формирования реестра новеньких и разделишь
> фио на составляющие.

угу. особенно если имя 5 слов а фамилия 2 слова. Не, таки придется хранить кажное в своем поле. Но справочник имен.. Эт чтоб секретарше на жениха гадать, разве что.

← →
Альберт (2008-02-27 10:00) [106]

> может им не слишком оно надо?

Надо, иначе получит начальник, а дальше по цепочке, в том числе и я.

> [106] Альберт (27.02.08 10:00)
> Надо

Это слово достойно приватных бесед в курилке. Документально фиксируются обычно документы типа "Техническое задание". Кстати приступать к активной генерации идей рекомендуется только после хотя бы беглого ознакомления с указанным документом, а лучше после его согласования.

> Альберт (27.02.08 10:00) [106]

так от сначала ты читаешь про всякие там Soundex и прочие подобные алгоритмы
потом думаешь насколько оно того, срастается.
потом идешь к шефу и гришь:
дубликаты я уберу, проверку такую и такую прикручу. Но это не панацея. Поэтому я еще прикрутил лог кто что ввел. И по шапке за косяки ввода нада давать им за то что искать не умеют. Пока по шапке получаем тока мы это не дело.
И в отчето кроме Ф.И.О. новопоступивших писать ФИО(логин) сотрудника вмолотившего с датой ввода (правки)

> Sergey13 © (27.02.08 10:27) [107]

Хотябы документ вида "Хотелка" получить и подписать :) а то явно секретаршу вздрючили, она поплакалась и срочно изобретать лисапед

> [108] Павел Калугин © (27.02.08 14:32)
> Хотябы документ вида "Хотелка" получить и подписать

Так я и говорю типа "Техническое задание". 8-)

← →
Альберт (2008-02-27 16:26) [110]

Благодарю всех отвечавших !!

Нормализация информации Найти похожие ветки