Библиотека UniConv

← →
картман © (2014-03-08 18:28) [40]

> Rouse_ © (08.03.14 18:20) [38]
>
> Точнее поисковый запрос в данном случае таков: "1 2 3 скво
> йцу"

странный нюанс:

> Единственно что не смогли победить (из-за нюансов в движке
> индекса)

← →
Rouse_ © (2014-03-08 18:33) [41]

> картман © (08.03.14 18:28) [40]
> странный нюанс:

Для валидации токенов (хотя бы того, что они идут именно в той последовательности, как введено юзверем) нужно подгрузить либо сам документ, либо его карту.
Вопрос: сколько документов из 300 тыщ будут содержать в себе токены "1" и "2"? :)

← →
antonn © (2014-03-08 18:36) [42]

максимум 300 тысяч, "загрузить" не означает же "хранить"

← →
Rouse_ © (2014-03-08 18:41) [43]

> antonn © (08.03.14 18:36) [42]
> максимум 300 тысяч, "загрузить" не означает же "хранить"

Абсолютно верно, а теперь считаем время на загрузку.
Документы защифрованы ассиметрией на ключе 2048 бит, поэтому поиск работает не с телом документа, а с их картой токенов (грубо массив индексов токенов из общего списка). Т.к. все не лежит в памяти (карты документов выходят далеко за доступную память) их нужно подгружать с харда.
С учетом что у нас в памяти есть только список вида "токен" и массив ID документов в которых этот токен фигурирует, просадка просто бешеная.

Но это сложный случай, обычно юзверь ищет понятные к=ему вещи наподобие "МДС17 трубы" - оть такое ощется моментом.

← →
Друг (2014-03-08 18:43) [44]

> Rouse_ ©

Наймите меня
За 2 месяца я сделаю загрузку ИСС в 3 раза быстрее

← →
Rouse_ © (2014-03-08 18:45) [45]

> Друг (08.03.14 18:43) [44]
> > Rouse_ ©
>
> Наймите меня
> За 2 месяца я сделаю загрузку ИСС в 3 раза быстрее

Зная твои способности, я даже не сомневаюсь и лично я За, но это покашо не ко мне, а к Максу. Он открывает вакансии :)

← →
Rouse_ © (2014-03-08 18:50) [46]

А вообще мне нужен квалифицированный спец низкоуровщик на ядро защиты, разбирающийся в тонкостях реализаций виртульных машин, метафорфов (та хотяб простейших полиморфиков перстановочных, дальше я сам научу).
Но мне эту вакансию никак не одобрят

← →
antonn © (2014-03-08 18:56) [47]

> Rouse_ © (08.03.14 18:41) [43]

тут вопрос архитектуры, не сомневаюсь что вы ее там переделали и потому добились низкого времени готовности программы к работе. И если потребуется пересмотреть какие-то функции упирающиеся в архитектуру (поиска, например) то это наверное будет сделано если это будет рентабельно, а сейчас устраивает всех.
Я к тому, что без понятия что и как там устроено, но если сейчас оптимизация выполнения уже зашкаливает то наиболее разумным подходом к ускорению было бы пересмотреть архитектуру (тех же индексов).
Софт чисто клиентский или может работать сервером? Во втором случае можно было бы и на большой объем памяти рассчитывать (да и как решение для организации могло быть оптимальней), а там уже и кэши-перекэши.

← →
картман © (2014-03-08 18:56) [48]

> Rouse_ © (08.03.14 18:41) [43]

> Вопрос: сколько документов из 300 тыщ будут содержать в
> себе токены "1" и "2"? :)

их будет намного больше, чем документов, содержащих токены "скво" и "йцу". Т.е. начать поиск с наиболее редких токенов и далее искать в найденном.

> старт ИСС занимает 6 секунд

а пользователи у вас маньяки - после загрузки приложения первым делом кидаются что-то искать))

← →
antonn © (2014-03-08 18:58) [49]

> Т.е. начать поиск с наиболее редких токенов и далее искать
> в найденном.
>

а в случае возможности отслеживания изменения документов можно вести справочник запросов с кол-вом вхождений и id документов. при изменении документа - перестраивать. Чем чаще юзеры ищут - тем полнее справочник

← →
Rouse_ © (2014-03-08 19:01) [50]

Кстати Дим, я тут подумал - а мошт реально тебя взять?
У меня стоит задача - перелопатить код защиты на 64 бита.
Работы на самом деле вагон - только на качественный морф в районе 5 месяцев уйдет (все шаблоны морфа перелопачивать с нуля) + отдельная задача VM (там только на 64 битной мнемонике можно ухохотаться + поддержка UNWIND с натива в VM отдельная засада).
Хочешь такой геморрой? :)

← →
Rouse_ © (2014-03-08 19:03) [51]

> картман © (08.03.14 18:56) [48]
> их будет намного больше, чем документов, содержащих токены
> "скво" и "йцу". Т.е. начать поиск с наиболее редких токенов
> и далее искать в найденном.

Так и делаем :)

> antonn © (08.03.14 18:58) [49]
> а в случае возможности отслеживания изменения документов
> можно вести справочник запросов с кол-вом вхождений и id
> документов. при изменении документа - перестраивать. Чем
> чаще юзеры ищут - тем полнее справочник

документы не меняются - выходят их новые редакции, та еще засада :)

← →
DevilDevil © (2014-03-08 19:16) [52]

> Rouse_ © (08.03.14 19:01) [50]

В области моих интересов лежат оптимизации и проектирование систем. Оптимизировать у тебя там ничего не нужно. Перелопачивать твой асм и дизасм на x64 - дело рутинное; что мне не интересно. Ну и потом переезжать в дефолтсити я не буду, максимум - удалёнка.

> DevilDevil © (08.03.14 19:16) [52]
> Перелопачивать твой асм и дизасм на x64 - дело рутинное; что мне не интересно.
> Ну и потом переезжать в дефолтсити я не буду, максимум - удалёнка.

Ну воть, как всегда, фиг где квалифицированных батраков сыщешь :)

Студент не подойдет.
Во первых мне нужен сформировавшийся коллега, с которым я могу полноценно обмениваться знаниями (т.е. что-то дам я, а что-то возьму у него).
Чего от студиозиса взять-то, кроме зачетки?
Во вторых мы берем людей на всегда (отсюда практически полное отсутствие текучки кадров), а за это даем хороший оклад и общество не совсем глупых IT спецов. Может не всегда трезвых - но всегда спецов :)

> antonn © (08.03.14 18:56) [47]
> Я к тому, что без понятия что и как там устроено, но если
> сейчас оптимизация выполнения уже зашкаливает то наиболее
> разумным подходом к ускорению было бы пересмотреть архитектуру
> (тех же индексов).
> Софт чисто клиентский или может работать сервером? Во втором
> случае можно было бы и на большой объем памяти рассчитывать
> (да и как решение для организации могло быть оптимальней),
> а там уже и кэши-перекэши.

Пардон, пропустил вопрос - софт работает в новом варианте уже года полтора. Пока что нареканий не было. А про просадку, о которой я говорил, мы узнали только от отдела тестирования. Но т.к. на практике народ не ищет такие хитрые комбинации - то и не заморачивались с оптимизацией данного момента, ес честно :)

> Rouse_ © (08.03.14 19:40) [55]
>
> Студент не подойдет.
> Во первых мне нужен сформировавшийся коллега, с которым
> я могу полноценно обмениваться знаниями (т.е. что-то дам
> я, а что-то возьму у него).

Попробуй нанять "пенсионера". Може кто и захочет (но не я) тряхнуть стариной и "вновь скакать на лошади" (с)
:)

Удалено модератором
Примечание: Дубль

Библиотека UniConv Найти похожие ветки