Проект "Библиотека"

← →
KilkennyCat © (2009-03-28 01:43) [0]

Все, меня достала терабайтная каша моего винта. У меня просто куча всякой документации, книг, любой тематики. Все это кое-как отсортировано по папкам, искать что-либо сложно, помнить - невозможно.
Я перебрал еще год-два назад кучу программ-каталогизаторов, но ни одна не удовлетворила. Помнится, подобные темы уже поднимались, и кто-то даже брался создать. Создали - делитесь! :)
Если же нет, то предлагаю направить нашу потрепательную энергию на создание реально полезной программки "Библиотека".

← →
KilkennyCat © (2009-03-28 01:45) [1]

Предлагаю выработать ТЗ. Если для реализации у всех нехватает времени - пофиг, напишу самостоятельно, дергая вопросами.

← →
Eraser © (2009-03-28 01:50) [2]

> [0] KilkennyCat © (28.03.09 01:43)

google desktop

← →
Германн © (2009-03-28 01:53) [3]

> KilkennyCat © (28.03.09 01:45) [1]
>
> Предлагаю выработать ТЗ.

format c:

Никто тебе Костя ничего не предложит. Я на 99.9% уверен.
Только под конкретную задачу такое возможно. Но писать её придётся самому.

← →
Ляпа (2009-03-28 02:01) [4]

http://home-lib.net/

← →
KilkennyCat © (2009-03-28 02:59) [5]

> Eraser © (28.03.09 01:50) [2]

> Ляпа (28.03.09 02:01) [4]

Думаете, я это не видел?...
Я перебрал многое.
Из более-менее серъезного - fb2

← →
KilkennyCat © (2009-03-28 03:02) [6]

> Германн © (28.03.09 01:53) [3]

А я почему-то уверен наоборот. Это ведь не только у меня такая проблема - найти среди кучи всего нужное за минимальное время.
И это должна быть не только книжная программа, хотя, конечно, это большая часть проблемы. Но и картинки тоже - информация.

← →
Kostafey © (2009-03-28 04:30) [7]

> [0] KilkennyCat © (28.03.09 01:43)

Ну если писать будем на java я "за".
Готов участвовать в проектировании
и собственно разработке.

← →
vrem (2009-03-28 07:47) [8]

Если хочешь поделиться, автор, а я про это и подумал видя твою "кашу терабайтную", то открой доступ к своему диску извне, кому надо те скачают, а ты видя что не каша таки, а нужные файлы, и даже какие именно нужные - что больше скачивается - успокоишься :)

а все эти катлогизаторы и т.д. - уже есть, яндекс, гугал и т.д

← →
жж (2009-03-28 10:15) [9]

Блюстители авторских прав не засудят?

← →
oxffff © (2009-03-28 10:27) [10]

> жж (28.03.09 10:15) [9]
> Блюстители авторских прав не засудят?

от 3 и выше.

← →
blackman © (2009-03-28 12:01) [11]

KilkennyCat © (28.03.09 01:43)
Прогу конечно написать можно, но как ты в базу все это заносить будешь?
Быстро надоест, если уже много накопилось.
Проще сделать какой-то спец поиск по диску.

← →
KilkennyCat © (2009-03-28 14:28) [12]

> жж (28.03.09 10:15) [9]
> Блюстители авторских прав не засудят?

Напомню, что электронная версия книги, музыки, картинки и т.д. еще не означает "пиратская". Продажа информации в электронном виде, и книг в том числе, присутствует широко и повсеместно. Там, где платят.

> blackman © (28.03.09 12:01) [11]

> Прогу конечно написать можно, но как ты в базу все это заносить
> будешь?
> Быстро надоест, если уже много накопилось.
> Проще сделать какой-то спец поиск по диску.

Чтобы сделать быстрый и интеллектуальный поиск, скажем так - "идеальный" поиск, база должна иметь какую-то структуру, набор правил.
Хотя бы как fb2.

Занос в базу - да, это трудоемкий и самая жуткая часть работы с базами данных. Но тут есть одно преимущество: я могу увидеть, что у меня есть реальный хлам и выкинуть его, или наоборот, замечу что-то ценное. К тому же, как показывает практика перевода офисов на электронный документоборот, даже совсем "разбросанные" документы можно подвергнуть автоматизации, уменьшив объем работы на десятки процентов.
Учитывая, что часть файлов у меня уже имеет какую-то структуру, например, правило написания наименования, или целая куча в fb2, автоматизация очень даже прокатит.

Единственная трудность - определиться со структурой БД.

← →
Ega23 © (2009-03-28 14:46) [13]

> Единственная трудность - определиться со структурой БД.

Я тебе эту структуру за просто так в качестве разминки для мозга накидаю. Если ты мне ТЗ предложишь.
Вообще с одной стороны штука полезная. С другой - действительно проблемы с уголовным кодексом.
Ну и самое главное - не совсем ясно, на кой ляд она такая нужна без полнотекстового поиска. А с FTS база будет - мама не горюй, т.к. ключевыми словами тут не отделаешься.

← →
KilkennyCat © (2009-03-28 14:55) [14]

> на кой ляд она такая нужна без полнотекстового поиска

абсолютно согласен.

> проблемы с уголовным кодексом

Какие?! Это же инструмент для хранения данных. Как винчестер, флэшка... Тебя же не посадят, за покупку флэшки, потому что ты "а вдруг" собрался на ней пиратские программы и тексты хранить?

Между прочим, многие тексты в сети лежат легально. Либо с разрешения авторов, либо считающиеся общенародным достоянием.

← →
Коммуноцентрист1 (2009-03-28 15:02) [15]

> Ega23 © (28.03.09 14:46) [13]
> Я тебе эту структуру за просто так в качестве разминки для
> мозга накидаю.

кипятишься

← →
Ega23 © (2009-03-28 15:02) [16]

> Между прочим, многие тексты в сети лежат легально. Либо
> с разрешения авторов, либо считающиеся общенародным достоянием.

Там какие-то нюансы есть. Но суть не в этом.

Это же инструмент для хранения данных. Как винчестер, флэшка...

Костя, если ты её хочешь делать "чисто для себя", то это Сизифов труд. Я только одного человека знаю, который всё каталогизировал. Вплоть до того, где у него дома палатка и спальный мешок лежит. Товарищ кончил психушкой.
Я это к тому, что проект не имеет никакого смысла, если он будет делаться "для себя". Ты одуреешь эти терабайты в БД загонять, а самое главное, будешь пользоваться в лучшем случае одной тысячной (если вообще будешь пользоваться).
Другое дело, если это запускать как сетевой проект, типа "Кладовки" - вот это уже будет какая-то польза (я не о деньгах, а об "щщастье общечеловеческом"). Такая библиотека действительно была бы весьма полезна. Но хранить её и регистрировать тогда - только в Эквадоре, ибо проблемы с УК будут.

З.Ы. предложения по разработке модели БД не снимаю, готов участвовать. Но чисто ради разработки БД, чтобы нюх не потерять. Сам пользоваться не буду... :)

← →
Ega23 © (2009-03-28 15:04) [17]

> кипятишься

Ничуть. Я не говорю, что я её за 5 минут накидаю. Я говорю, что возьмусь за задачу ради того, чтобы "форму не потерять" на разработке баз.

← →
Коммуноцентрист1 (2009-03-28 15:35) [18]

> Ega23 © (28.03.09 15:04) [17]
> Я не говорю, что я её за 5 минут накидаю.

а... а то я уж плохое подумал :)

← →
Ega23 © (2009-03-28 15:37) [19]

> а то я уж плохое подумал :)

Не, просто последнее время по работе проектирование БД не требовалось. А я это дело люблю.
Самому дома не интересно, без реальной задачи. А вот помочь хорошему человеку - пуркуа бы и не па.

← →
KilkennyCat © (2009-03-28 18:15) [20]

> Ega23 © (28.03.09 15:02) [16]

> Ты одуреешь эти терабайты в БД загонять, а самое главное,
> будешь пользоваться в лучшем случае одной тысячной (если
> вообще будешь пользоваться).

Тогда я как тот товарищ, уже конченный вариант... ибо ща я все равно дурею, распихивая это по папкам. Лучше я буду дуреть систематизированно :)

← →
Коммуноцентрист1 (2009-03-28 19:29) [21]

> Ega23 © (28.03.09 15:37) [19]

ну я мог бы составить компанию в соотв. месте :)
начнем с выбора СУБД :)

← →
KilkennyCat © (2009-03-28 19:47) [22]

> начнем с выбора СУБД :)

Не обязательно выбора. Можно и свой вариант.
Мне кажется, начинать проект с выбора СУБД - это в дальнейшем подтягивание за уши к свойствам выбранной. То есть, изначально мыслить шорно.
Определение требований к БД и ко всему проекту само приведет к определению СУ или созданию новой.

← →
KSergey © (2009-03-29 07:08) [23]

А нельзя ли озвучить по пунктам то, что не устроило в виденых прогах?
а то не понятно куда думать, да и тут я не заметил чтобы кто-то думал по поводу смысла каталогизатора.
Пока только о технологиях и УК.

← →
Ega23 © (2009-03-29 10:10) [24]

Если хороший FTS - то Postgres.

← →
Коммуноцентрист1 (2009-03-29 14:43) [25]

> Ega23 © (29.03.09 10:10) [24]

вот я тоже так сначала подумал, только файлы-то и вордовые и пдфные и хз-какие могут быть. так что фтс средствами субд не катит, плагины нужны

← →
Ega23 © (2009-03-29 17:50) [26]

> вот я тоже так сначала подумал, только файлы-то и вордовые
> и пдфные и хз-какие могут быть.

От ТЗ зависит. Если все в FB2 хранить, то нормально будет.

← →
Коммуноцентрист1 (2009-03-29 18:09) [27]

> Ega23 © (29.03.09 17:50) [26]
> От ТЗ зависит.

да не будет ТЗ, где ты видел, чтоб заказчик его писал :)

> Если все в FB2 хранить, то нормально будет.

лучше в файловой системе, а в FB рубрикатор и имена, быстрее будет открываться, в оболочке, думаю, надо максимально ShellAPI задействовать

← →
Коммуноцентрист1 (2009-03-29 18:14) [28]

мне самому тоже интересна "какая-то такая фигня", в аналоге "My Documents" 15962 Files, 5700 Folders

← →
KilkennyCat © (2009-03-29 21:19) [29]

Будет ТЗ. Ща, я тут насисадминю в конторе, разгребу потом, что насисадминил, сделаю в итоге откат на вчера, как обычно, получу по ушам, и все-из-за того, что утром мне говорят сноси все нахрен, а вечером, когда я дремал и неадекватил, говорили ничего не трогай,... и займусь ТЗ. Хлам на винте надо убирать. Доступ к информации должен быть идеальным.

P.S.
Отныне, даже смена коврика мышиного и картинки десктопной я буду делать только согласно письменному распоряжению, со всеми печатями, резолюциями и даже с подписью уборщицы, что она тоже в курсе.

← →
Ega23 © (2009-03-29 21:30) [30]

> Будет ТЗ.

Ну тогда когда будет - сразу обращайся. За серверную часть готов взяться.

← →
Игорь Шевченко © (2009-03-29 22:10) [31]

Если бы еще и исходники (ну хотя б паскалевские) закаталогизировать...
А то у меня их количество тоже сотнями тысяч исчисляется, своих и не очень, а главное, заразы, дублируются, ценное место на винте занимая.
Весь этот хлам выбросить рука не поднимается, а искать среди него - проще новое написать :)

Ну и доков тоже всяких разных немеряно, но исходников больше.

В свое время рекламировали файловую систему для Висты (winfs, если память не изменяет), которая сама умеет каталогизировать, ей знай, описание задавай, для чего она сама не может выцарапать, но, во-первых, Висты у меня нет и, надеюсь, не будет, во-вторых, я не помню, чтобы такая система выпускалась отдельным продуктом/апдейтом для XP, в-третьих, гложут меня сомнения, что оно будет удобно (Google Desktop (даже с плагинами, даже с плагином для индексирования паскалевских файлов), например, мне не помог в упорядочении всей файловой помойки, MS-овский аналог Google Destkop - так еще неудобней оказался).

← →
test © (2009-03-29 22:19) [32]

Может так?

Data Mining - добыча данных

Развитие методов записи и хранения данных привело к бурному росту объемов собираемой и анализируемой информации. Объемы данных настолько внушительны, что человеку просто не по силам проанализировать их самостоятельно, хотя необходимость проведения такого анализа вполне очевидна, ведь в этих "сырых" данных заключены знания, которые могут быть использованы при принятии решений. Для того чтобы провести автоматический анализ данных, используется Data Mining.

Data Mining – это процесс обнаружения в "сырых" данных ранее неизвестных нетривиальных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Data Mining является одним из шагов Knowledge Discovery in Databases.

www.basegroup.ru/library/methodology/data_mining

← →
KilkennyCat © (2009-03-29 22:48) [33]

С исходниками это просто страшная беда... Действительно, написать заново часто быстрее, чем найти.
Заметим и этот пункт... тут над автоматизацией придется задуматься.

← →
Коммуноцентрист1 (2009-03-29 23:26) [34]

> KilkennyCat © (29.03.09 22:48) [33]

хъиямова работа :)))
но над частными случаями можно подумать

← →
KilkennyCat © (2009-03-30 01:06) [35]

Хотя бы полуавтомат. Поиск всех, парсер, не вложились в парсер - в список спрашиваемых...

← →
Ega23 © (2009-03-30 07:48) [36]

Гм... А вот каталогизация исходников - это прожект действительно интересный. И нужный.
Короче, я "в деле".

← →
brother © (2009-03-30 07:59) [37]

могу потестить.

← →
boa_kaa © (2009-03-30 08:00) [38]

меж тем тз разросталось...

← →
SoDA (2009-03-30 08:20) [39]

>Все это кое-как отсортировано по папкам, искать что-либо сложно, помнить - невозможно.

Увеличить количество тем и глубину дерева на 1-2 пункта. Мне помогло.

А я ненужное удаляю или на болванку записываю. Не парюсь. И сразу складываю не "потом разберу", а куда положено. Потому что половину из того, что "жалко выкинуть" за 5 минут можно найти в интернете и скачать. Учитывая частоту такой надобности расходы на трафик незначительны.

> меж тем тз разросталось...

Стандартный процесс, ничего удивительного.
когда частности пойдут - ещё веселее будет.

← →
anonims (2009-03-30 08:43) [42]

со временем правила наименования рубрик имеют свойства забываться и изменяться
каталогизировать не документы(файлы), а рубрики документов

просмотр имеющихся рубрик
поиск документов по набору рубрик
объединение рубрик в группы
слияние одинаковых разных по написанию

> anonims (30.03.09 08:43) [42]

тема лебедев похвалялся, что файлы через несколько лет называет ровно так же. но может и брешет.

Да, каталог исходников, это интересно. В качестве тестера, готов участвовать.

← →
Коммуноцентрист1 (2009-03-30 22:36) [45]

промежуточное итого: в тестеров полно, разработчиков полтора, тз нет :)

> Коммуноцентрист1 (30.03.2009 22:36:45) [45]

Как обычно.

На мой взгляд, тестер - это еще более сложная задача.

Да, писать на java, походу, не будут :(

не факт. я ей не чужой, да и кроссплатформенность - это плюс.

Но чем больше я думаю, тем больше ИИ получается. :) Точнее, получается, что должен быть ИИ. Если б ИИ получился, я б больше не думал... и не работал...

> [51] KilkennyCat © (31.03.09 02:01)

Я много думал по этому поводу и понял...
что думать вредно (с) я :)

Но серьезно. Зачем ИИ-то?

Идеальный ассоциативный поиск.

в каком формате хоть доки
а то в картинках вдруг "и чо?"

> а то в картинках вдруг "и чо?"

Да вот... Последние веяния "мозгов" от теории РСУБД (Стоунбрейкеров и всяких прочих) как раз в сторону работы с изображениями, видео и т.п. С бинарниками, вобщем...

Проект "Библиотека" Найти похожие ветки