Алгоритм уникальности текста

← →
Sergey18 (2004-11-19 12:22) [0]

Уважаемые знатоки,
Возникла проблема: существует большое количество текстов, хранящихся в БД. Каждый текст в определенной строчке.

Размер каждого текста не очень большой (от 2 до 5 предложений), количество - порядка миллиона. При добавлении нового текста программой, она должна проверять - есть ли уже в БД такой-же текст. Варианты: Использовать полнотекстовый поиск или LIKE-запрос не подходят по определенным соображением.

Вопрос: Подскажите, пожалуйста, какой-либо алгоритм, который переводил бы текст в уникальное (или почти уникальное) число (то, что погрешности будут, я понимаю), для последующего добавления этого числа в базу и определения повторения текста в базе по этому числу.

Спасибо.

← →
PVOzerski © (2004-11-19 12:24) [1]

хранить в отдельном поле crc?

← →
Мастер © (2004-11-19 12:32) [2]

Поищи в инете готовые хеширующие функции.

← →
Palladin © (2004-11-19 12:34) [3]

Создать уникальный индекс по полю.

См - в исходниках класса THashedStringList есть хеш-функция от Борланда.

Алгоритм уникальности текста Найти похожие ветки