Разобрать текст на слова

← →
Джо © (2007-02-28 05:15) [40]

Да, действительно, это я напутал.

← →
Alex Konshin © (2007-02-28 05:17) [41]

Там, правда, для команды перекодировки было ограничение длины 256 байт.
Но не помню уже, возможно в XA или 390 была добавлена команда для перекодировки длинных строк типа MVCL,CLCL.

← →
Sha © (2007-02-28 09:19) [42]

> Ketmar © (28.02.07 04:08) [34]
> лучше траву. или грибочки. или что там ещё было?

как регулярно принимаешь?

> потому как "количества символов" в чём? в ASCII? в UNICODE? в строке?

начинай метлы юзать )

← →
Sha © (2007-02-28 09:23) [43]

> RASkov (28.02.07 00:58) [33]
>> Проверять-то все символы, конечно, надо.
>> Вот только количество проверок может быть много меньше количества
>> символов.

> Не сходится:)

выходит, что s / t > 1,
где s - количество символов в строке, t - количество сравнений

Может так че-нить щелкнет? )

← →
Sha © (2007-02-28 09:36) [44]

> RASkov (28.02.07 00:58) [33]

в догонку:
в контексте предыдущего поста "сравнения" сказано в смысле "проверки",
т.е. в частности это может быть использование лукап-таблицы.

← →
Ketmar © (2007-02-28 12:16) [45]

> Sha © (28.02.07 09:19) [42]
да с удовольствием. причём метлу, наверное, придётся съесть. иначе я пост так и не пойму. можно "на пальцах", а? специально для дворников?

← →
Ketmar © (2007-02-28 12:18) [46]

> Sha © (28.02.07 09:36) [44]
хм. ты намекаешь на интерпретацию строки как набора word"ов, например? если да, то не надо спешить с фотографией. всё равно это проверяет все символы строки.

← →
wicked © (2007-02-28 12:33) [47]

> Ketmar © (28.02.07 12:18) [46]
нет, он намекает на что-то Бойеро-Муровско-подобное, но что именно - ума не приложу - алгоритм Бойера-Мура тут не подойдет....
будем есть метлы вместе :)

← →
Sha © (2007-02-28 12:39) [48]

> Ketmar © (28.02.07 12:18) [46]

О том и речь, что проверены будут все символы,
но количество проверок меньше количества символов.

ЗЫ А фотку с метлой пришли )

← →
wicked © (2007-02-28 12:43) [49]

> Sha © (28.02.07 12:39) [48]
(дергая за полу пиджака)
дядь, не томите, расскажите, а?

интересно же ведь...

← →
Ketmar © (2007-02-28 12:44) [50]

> Sha © (28.02.07 12:39) [48]
да сколько угодно проверок. я-то говорил не про количество проверок, а про то, что все символы проверять надо. %-) хоть ты SSE заюзай -- всё равно проверять все.

зыж а вот не пришлю. потому что гад.

> wicked © (28.02.07 12:33) [47]
неа. насколько я понял -- array [Word] и ты ды. действительно, проверок меньше. но смысл от этого не меняется -- что байты проверять, что слова, что двойные слова...

кстати, ещё неизвестно, что быстрее: по символам или по таблице в 64 кила, которая загадит кэш. %-)

← →
wicked © (2007-02-28 12:52) [51]

> Ketmar © (28.02.07 12:44) [50]
я вот думаю - а мы собрались молотить гигабайты в секунду?...
на современных мощностях простой автомат на два состояния с табличкой плохих/хороших символов позволит молотить мегабайты и десятки мегабайт в секунду... и узким местом там будет не сам разбор, а "подвоз патронов" - ввод и вывод данных...
а 64к табличка, афаир, вся в кеш влезет и еще место будет - так что и иероглифы молотить можно

> wicked © (28.02.07 12:43) [49]

один из вариантов - лукап массив вордов,
другой - обрабатывать по 4 байта аналогично алгоритму поиска терминатора строки
как изменится скорость - большой вопрос, конечно.

> Ketmar © (28.02.07 12:44) [50]
> да сколько угодно проверок. я-то говорил не про количество проверок...

а всплеск эмоций Ketmar © (28.02.07 04:08) [34] был наверно по поводу
того что "всё равно проверять все" )))

> кстати, ещё неизвестно, что быстрее

это да

> wicked © (28.02.07 12:52) [51]
> узким местом там будет не сам разбор, а "подвоз патронов" - ввод и вывод данных...

Совершенно верно.
Иногда бывает, что разница в скорости стрельбы и скорости "отвоза" превышает порядок.
И здесь, похоже, тот самый случай.

> wicked © (28.02.07 12:52) [51]
вместо этой таблички можно что-нибудь полезное туда положить. %-)

> Sha © (28.02.07 12:57) [52]
по поводу криво сформулированной фразы. и нескольких литров крепкого пива внутри Кэтмара. %-)

и вообще -- может, на меня яркий цвет значка так действует? может, я завидую?! %-)

> Sha © (28.02.07 13:09) [53]
> Иногда бывает, что разница в скорости стрельбы и скорости
> "отвоза" превышает порядок.
так мы, по-моему, давно уже обсуждаем сферического коня. %-)

> Ketmar (28.02.2007 12:16:45) [45]

Количество символов не зависит от длины символа.

Разобрать текст на слова Найти похожие ветки