Обновился DMSearch (поисковик по делфимастеру)

← →
xayam © (2009-07-21 01:25) [240]

> McSimm © (21.07.09 00:49) [238]
> > для меня главное чтобы Вы выложили перекодированные старые
> > форматы и больше вниз больше ничего не добавляли, только
> > новые наверх, а то у меня апдейтер на это завязан. Ок?
> При всем уважении я не могу этого сделать.

а в чем проблема? Вы же сейчас так и делаете. Или не можете перекодированные файлы выложить?

> chdir

че то не помогает

> Игорь Шевченко © (21.07.09 00:55) [239]
> xayam © (21.07.09 00:48) [237]
> если у тебя такие проблемы, дай мне скрипт на даунлоад,
> я тебе пережму имеющиеся архивы в обычный zip и выложу Косте
> на сервер. Напрягает меня кучу файлов руками скачивать,
> а не руками я не умею.

да нет наверно так разбирусь

← →
McSimm © (2009-07-21 01:59) [241]

> Или не можете перекодированные файлы выложить?

выложить могу, на перекодировать времени не найду точно.

← →
Германн © (2009-07-21 02:03) [242]

> McSimm © (21.07.09 01:59) [241]
>
>
> > Или не можете перекодированные файлы выложить?
>
> выложить могу, на перекодировать времени не найду точно.
>
>

Ну и не дёргайся, Максим.
Большинству это не нужно.

← →
xayam © (2009-07-21 02:05) [243]

> McSimm © (21.07.09 01:59) [241]
> > Или не можете перекодированные файлы выложить?
> выложить могу, на перекодировать времени не найду точно.

да нет перекодируем мы сами, потом Вам ссылки на архивы дадим. Я говорю Вы главное, когда выложите перекодированные архивы, потом вниз и в середину другие архивы не добавляйте, только вверх страницы, тогда у меня автоапдейтор сможет хоть каждую неделю обновляться.

> chdir

спасибо, вроде заработало

← →
KilkennyCat © (2009-07-21 10:56) [244]

> Германн © (21.07.09 02:03) [242]

> Большинству это не нужно.

Германн, ты уверен, что ты говоришь за большинство?

← →
xayam © (2009-07-21 13:29) [245]

предлагаю здесь обсудить структуру будущего сайта (разделы/подразделы) и структуру бд для него (таблицы/поля). Есть ли смысл делать сайт многоязычным, как предлагал KilkennyCat http://www.delphimaster.net/view.php?file=3-1232169659 ? Дизайн будет видимо такой же как здесь. McSimm, Вы не против, если мы так сделаем?

← →
McSimm © (2009-07-21 13:58) [246]

> xayam © (21.07.09 13:29) [245]

не против, попробуйте.

← →
xayam © (2009-07-21 14:12) [247]

> xayam © (21.07.09 13:29) [245]
> предлагаю здесь обсудить структуру будущего сайта

мне вот что не понятно. Как лучше хранить разделы/подразделы/категории сайта в бд? Чтобы было удобно добавлять/удалять/редактировать эти категории. Нужно сделать примерно как в друпале сделано с модулем "Таксономия". В принципе с друпала можно и структуру бд стянуть. Но Вы мне лучше на словах объясните.

← →
Игорь Шевченко © (2009-07-21 14:31) [248]

> Нужно сделать примерно как в друпале сделано с модулем "Таксономия"

эт че за фигня ?

> Как лучше хранить разделы/подразделы/категории сайта в бд?
> Чтобы было удобно добавлять/удалять/редактировать эти категории.
>

а нафиг их удалять ?

← →
xayam © (2009-07-21 14:41) [249]

> Игорь Шевченко © (21.07.09 14:31) [248]
> > Нужно сделать примерно как в друпале сделано с модулем
> "Таксономия"
> эт че за фигня ?

это очень удобная вещь, позволяет классифицировать контент сайта т.е. разбить его на категории, которые могут иметь иерархические связи. В принципе структуру друпала я уже нашел в книжке, осталось разобраться что к чему.

> а нафиг их удалять ?

ну мало ли что ты там добавишь, на начальном этапе в любом случае понадобиться, это потом, когда уже все устаканится, удалять не будем, понятно, только добавлять.

← →
Игорь Шевченко © (2009-07-21 14:47) [250]

> это очень удобная вещь, позволяет классифицировать контент
> сайта т.е. разбить его на категории, которые могут иметь
> иерархические связи.

И че ? Собственно, структура здешнего сайта видна на карте
http://www.delphimaster.ru/search.html

Насколько я понимаю, ты хочешь возродить старые категории, почему бы картой не руководствоваться ?

← →
xayam © (2009-07-21 15:25) [251]

> Игорь Шевченко © (21.07.09 14:47) [250]
> И че ? Собственно, структура здешнего сайта видна на карте

мало того, что видно структуру, нужно еще чтобы было приложить минимум усилий для изменения этой структуры. Ваш сайт видимо с этим не справляется. А все почему? Разделы сайта изолированны друг от друга, и как следствие, одному человеку нужно приложить очень много усилий для поддержания в соответствующем состоянии, а несколько человек еще нужно найти и организовать. Я хочу сказать, что каждый должен отвечать за свое. "Отделить структуру от содержания" - тоже самое. Скажем, я отвечаю за структуру (классификацию) сайта, KilkennyCat и все кто пожелает - за содержание. Это достаточно просто на словах, но еще нужно реализовать грамотно. Друпал по-моему с этим справился. Достаточно того, что сторонние модули (форумы, галереи и т.д.) используют модуль "Таксономия" для хранения своих данных.

← →
Игорь Шевченко © (2009-07-21 16:18) [252]

> Ваш сайт видимо с этим не справляется

вообще-то справлялся, каждым разделом занимался вполне конкретный человек, координировали эти усилия тоже вполне конкретные люди, тайн тут нет.

> Скажем, я отвечаю за структуру (классификацию) сайта

У сайта уже есть структура, и, насколько я понял из приведенной в [245] ветки, собираются возродить ее часть. Поэтому есть предложение заняться таки содержанием :)

← →
xayam © (2009-07-21 16:31) [253]

> Игорь Шевченко © (21.07.09 16:18) [252]
> У сайта уже есть структура, и, насколько я понял из приведенной
> в [245] ветки, собираются возродить ее часть. Поэтому есть
> предложение заняться таки содержанием :)

Игорь, мне кажется, ты не понял. Постоянной структуры у сайта не может быть, хотя бы потому, что добавляется/удаляется/редактируется ее содержание, но само содержание тоже многоуровнево и на каждом уровне своя структура. Таксономия как раз и нужна, чтобы отделить структуру от содержания. Поэтому заниматься содержанием, когда у тебя не отделены "мухи от котлет" не имеет смысла и есть только напрасная трата времени!

← →
Игорь Шевченко © (2009-07-21 16:36) [254]

xayam © (21.07.09 16:31) [253]

Ты что-то предлагал обсудить, как мне казалось ?

← →
xayam © (2009-07-21 16:45) [255]

да, структуру сайта, вот как я ее сейчас вижу.

root: dmsearch news faq articles books newsvcl links ratings forums dmsearch news и newsvcl faq articles books прочее (delphimaster.ru) advert Расположение и размер баннера Стоимость размещения баннера на месяц Количество показов в месяц administration Статистика Реклама (добавление, редактирование, оплата) DMSearch Updater (автообновление) Checker (автопроверятель корректности базы/файлов) news/faq/articles/books/newsvcl/links/forums (добавление/удаление/редактирование) Таксономия: словари термины

← →
xayam © (2009-07-21 17:06) [256]

Права доступа пользователей к разделам. Пользователи (регистрация/удаление/редактирование/блокировка)

← →
xayam © (2009-07-21 21:13) [257]

немного добавил/подправил.

root: dmsearch (поиск по старым веткам форума delphimaster.ru) search (поиск по сайту) map anketa news newsvcl books ratings sources faq articles links forums sources news и newsvcl articles books other (ссылка на прочее delphimaster.ru) advert Расположение и размер баннера Стоимость размещения баннера на месяц Количество показов в месяц administration Statistics Advert (добавление, редактирование, оплата) DMSearch Updater (автообновление) Checker (автопроверятель корректности базы/файлов) news/newsvcl/sources/faq/articles/books/links/forums (добавление/удаление/редактирование) Taxonomy: vocabulary terms Permission (права доступа к разделам сайта) Users (регистрация/удаление/редактирование/блокировка)

← →
Игорь Шевченко © (2009-07-21 21:19) [258]

xayam © (21.07.09 21:13) [257]

Я что-то не совсем понимаю. Вроде на этом сайте книги и новости VCL, а также статьи форумами не являются. Кстате, прицепите наконец кладовку, а то оно расползлось по ряду сайтов, наиболее удачно, на мой взгляд, у Kerk"а :)

← →
xayam © (2009-07-21 21:30) [259]

> Игорь Шевченко © (21.07.09 21:19) [258]
> Вроде на этом сайте книги и
> новости VCL, а также статьи форумами не являются

KilkennyCat вроде говорил, что форумы пересекаться не будут, а какие конкретно будут я не знаю, надо у него уточнить

> Кстате, прицепите наконец кладовку, а то оно расползлось
> по ряду сайтов, наиболее удачно, на мой взгляд, у Kerk"а

code.progler.ru ? А какие еще есть?

← →
Andy BitOff © (2009-07-22 15:51) [260]

> xayam ©

А где почитать про таксономию в понятии друпала? Что делает, как используется, как работает и т.п. А то чего-то не находится, а понять всю прелесть этой штуки не могу.

← →
mdfe © (2009-07-22 17:54) [261]

KilkennyCat и xayam

Выложил вам 10 дайджестов для тестов загрузки в вашу базу.
http://www.kobec.ru/ftp/dm/

Если будут ошибки сообщите я поправлю.
Если все нормально загрузится, то выложу остальные архивы.

← →
xayam © (2009-07-22 18:18) [262]

> Andy BitOff © (22.07.09 15:51) [260]
> А где почитать про таксономию в понятии друпала?

я читаю эту книжку http://www.ozon.ru/context/detail/id/3817467/ (5-я версия) но наверно и здесь что-то есть http://www.ozon.ru/context/detail/id/4231881/ (6-я версия) Правда в моей книжке всего 18 страниц про это, но по делу в основном.

← →
xayam © (2009-07-22 18:23) [263]

> mdfe © (22.07.09 17:54) [261]
> Выложил вам 10 дайджестов для тестов загрузки в вашу базу.
> http://www.kobec.ru/ftp/dm/

а почему zip? я же говорил что формат должен быть тот же самый - .tar.bz2 У меня апдейтор под такой формат заточен, да и Максиму удобнее выкладывать будет, не нужно будет перекодировать. Хотя сейчас один архив посмотрю, - может еще какие ошибки есть?

← →
Павел Калугин © (2009-07-22 18:28) [264]

> xayam © (22.07.09 18:18) [262]

Да, книжки как програмно крутить уши друпалу.. А как его настраивать и что там есть что не так много написано.
Еще вот здесь можно почитать http://www.drupal.ru/docs/445

← →
mdfe © (2009-07-22 18:42) [265]

> xayam © (22.07.09 18:23) [263]
>
> > mdfe © (22.07.09 17:54) [261]
> > Выложил вам 10 дайджестов для тестов загрузки в вашу базу.
>
> > http://www.kobec.ru/ftp/dm/
>
> а почему zip? я же говорил что формат должен быть тот же
> самый - .tar.bz2

Хорошо. Завтра пережму.

← →
xayam © (2009-07-22 19:13) [266]

> mdfe © (22.07.09 18:42) [265]

В архиве forum-2002.01.08.zip два битых xml-файла. Лучше все файлы пережимай и выкладывай все, я тебе ошибки скажу.

Warning: DOMDocument::load() [function.DOMDocument-load]: Opening and ending tag mismatch: txt line 22 and b in file:///D%3A/WORK/dmsearch/old/forum-2002.01.08/3-1005576600.xml, line: 22 in D:\WORK\dmsearch\updaterold.php on line 12 Warning: DOMDocument::load() [function.DOMDocument-load]: Opening and ending tag mismatch: b line 22 and txt in file:///D%3A/WORK/dmsearch/old/forum-2002.01.08/3-1005576600.xml, line: 22 in D:\WORK\dmsearch\updaterold.php on line 12 Warning: DOMDocument::load() [function.DOMDocument-load]: EntityRef: expecting ";" in file:///D%3A/WORK/dmsearch/old/forum-2002.01.08/5-1004394180.xml, line: 5 in D:\WORK\dmsearch\updaterold.php on line 12 Warning: DOMDocument::load() [function.DOMDocument-load]: EntityRef: expecting ";" in file:///D%3A/WORK/dmsearch/old/forum-2002.01.08/5-1004394180.xml, line: 13 in D:\WORK\dmsearch\updaterold.php on line 12

← →
xayam © (2009-07-22 19:24) [267]

хотя это не твоя ошибка данные такие, но KilkennyCat сказал что его спец сделает скрипт для исправления всех ошибок, так что не заморачивайся

← →
mdfe © (2009-07-22 20:04) [268]

> xayam © (22.07.09 19:24) [267]
> хотя это не твоя ошибка данные такие, но KilkennyCat сказал
> что его спец сделает скрипт для исправления всех ошибок,
> так что не заморачивайся

Ок. но все равно гляну.

я все не смог просмотреть... глаза сегодня очень устали.
а так вообще... тоже много ошибок вычистил. XML очень стогая штука. а в тех файлах очень грязные данные.

а Вы как вообще грузете дайджесты в БД? каким то парсером XML?
и еще вопрос: при выводе контента "ко мне в браузер" XML используется?

к чему такие вопросы? может его обойти своим парсером. там структура совсем простая.

> mdfe © (22.07.09 20:04) [268]
> а Вы как вообще грузете дайджесты в БД?

http://xayam.by.ru/Download/updater/updater.html
... $dom = new domDocument ( ); if (! $dom->load ( "out/{$out[4][$on[1][$i]]}/$file" )) { $bad_file = file_get_contents ( "out/{$out[4][$on[1][$i]]}/$file" ); $fp = fopen ( "errors/$file", "w" ); fwrite ( $fp, $bad_file ); fclose ( $fp ); continue; } $root = $dom->documentElement;...

> при выводе контента "ко мне в браузер" XML используется?

при индексировании создается файл html с помощью xslt, который и выводится в браузер, в базе только имя файла и уникальные поисковые слова:

... $xslt = new XsltProcessor ( ); $xslt->importStyleSheet ( DomDocument::load ( "trd.xsl" ) ); if (! @opendir ( "html/html" . $folder )) { mkdir ( "html/html" . $folder ); } file_put_contents ( "html/html" . $folder . "/" . substr ( $file, 0, strlen ( $file ) - 3 ) . "html", $xslt->transformToXML ( DomDocument::load ( "out/{$out[4][$on[1][$i]]}/$file" ) ) );...

> может его обойти своим парсером. там структура совсем простая.

если напишите, то пожалуйста

xsl-файл такой http://xayam.by.ru/Download/errors/trd.xsl

> xayam © (22.07.09 20:18) [269]
>
> если напишите, то пожалуйста

Тут думаю нужно подстраиваться под Ваш движок (тем более он реально работает :respect:). Я почему задал те вопросы, думал что вы данные из XML заливаете в базу-MySQL в поля, а потом уже, при запросе, c помощью шаблонов выводите его в HTML.

Сегодня у меня совсем не было времени позаниматься дайджестами. Теперь только на следующей неделе смогу. Но я тут кое что придумал как прогнать на ошибки... как сделаю выложу результат.

> mdfe © (23.07.09 21:10) [271]
> Тут думаю нужно подстраиваться под Ваш движок

да движка особого пока нет, один файл view.php который с помощью функций fread и fseak считывает кусками большой файл, поэтому на больших файлах тоже летает, это я под бесплатный хостинг оптимизировал, хотя сейчас думаю переделать чтобы можно было на сообщения ссылаться, скажем так : /view/0-1081740909/0-20,25,30,50-60 Чтобы выводило сообщения от 0 до 20, 25-е, 30-е и т.д. Но для этого наверно придется весь файл целиком загружать в память.

> Сегодня у меня совсем не было времени позаниматься дайджестами.
> Теперь только на следующей неделе смогу. Но я тут кое что
> придумал как прогнать на ошибки... как сделаю выложу результат.

а парсер вообще как пишут? На основе регулярных выражений? тормозить не будет на больших ветках?

> Но я тут кое что придумал как прогнать на ошибки

расписать подробнее можешь, а то может не надо.

Все почти переделал view.php теперь ссылки будут типа /view/0-1081740909/0-19, 21-21 Можно будет из ветки сделать вырезку с избранными ответами. Осталось залить на хостинг, но это я со всем обновлю позже. И в xml буду хранить файлы, так проще и места меньше занимают. Добавил индекс на поле LGN теперь автозаполнение летает на хостинге :) Вот что интересно. Почему после добавления индекса, размер базы уменьшился почти вдвое?

и вот остался я один. Может кто ответит? :)

> Почему после добавления индекса, размер базы уменьшился
> почти вдвое?
>

соптимизировалось где-то...

> Andy BitOff © (25.07.09 23:02) [279]
> Мы с тобой.

это радует :))

> KilkennyCat ©

я тут дизайн уже стянул, интегрировал интерфейс с dmsearch, сделал несколько оптимизаций на скорость. А тз все нет. Как бы переделывать не пришлось, хотя бы с разделами определись какие должны быть.

Обновился DMSearch (поисковик по делфимастеру) Найти похожие ветки