Большие массивы для HASH

← →
Dimedrol © (2006-07-06 12:14) [0]

В большом объеме текстовых данных (50000 записей и больше) я ищу одинаковые.
Допустим это - слова, телефоны, адреса e-mail и т.п.
Решил я это созданием hash массива:
беру слово, считаю его CRC16 и по полученному адресу [1..65535] ставлю "птицу".

Оказалось, что мне CRC16 мне не хватает. Получаются одинаковые значения при разных данных.
ОК. Мне это понятно.
Взял CRC32. Чтобы не использовать весь массив для адресов, генерируемых значением CRC32 [1..maxInt] просто отрезаю от CRC32 первые 6 символов, чтобы оперировать массивом [1..999999].
Дык, - при выполнении получаю Stack Overflow.

Как решать подобную проблему с большими массивами ?

← →
TUser © (2006-07-06 12:16) [1]

Я бы строил суффиксное дерево

← →
MBo © (2006-07-06 12:17) [2]

>Дык, - при выполнении получаю Stack Overflow.
Если алгоритм не менять, то сделай массив не локальным, а глобальным или динамическим

← →
Dimedrol © (2006-07-06 12:34) [3]

кажется используя HASH динамический массив не катит...

← →
MBo © (2006-07-06 12:37) [4]

>кажется используя HASH динамический массив не катит...
???

← →
Dimedrol © (2006-07-06 12:45) [5]

Когда я вычисляю hash-значение я должен уже иметь ячейку массива с индексом напр. 386229. То есть столько элементов массива.

← →
MBo © (2006-07-06 12:51) [6]

хм... Один раз задаешь длину массива и имеешь все ячейки.
Почитай о dynamic arrays

Да да.
Просто я обычно моим "dynamic arrays" не задаю сразу размер,
а добавляю или удаляю ячейки по мере необходимости.

Тем не менее - СПАСИБО! Помогло перенесение описания массива в "глобальную" область.
Интересно, почему такая разница в интерпретации такого положения компилятором ?

> Интересно, почему такая разница в интерпретации такого положения
> компилятором ?

Локальные хранятся в стеке, а он не резиновый.

Понятно.
Спасибо.

Большие массивы для HASH Найти похожие ветки