Старые архивы для DMSearch на www.delphimaster.net

← →
xayam © (2009-11-04 07:42) [0]

Блин, я уже забыл, кто брался старые архивы переделать в формат xml ? А то я уже скачал, если не откликнетесь, придется самому делать.

← →
vrem (2009-11-04 08:24) [1]

как то даже странно не прочитать о трансцендентных переживаниях автора :)

← →
xayam © (2009-11-04 08:26) [2]

> vrem (04.11.09 08:24) [1]
> как то даже странно не прочитать о трансцендентных переживаниях
> автора :)

ничего, ничего, ты здесь подольше побудь - не так с ума сходить начнешь :)

← →
xayam © (2009-11-07 19:05) [3]

to Администрации:

вроде переконвертировал, щас закачаю к себе. Максим, выложишь? Чуть позже ссылку дам.

← →
xayam © (2009-11-07 22:52) [4]

> McSimm

Максим вот все старые архивы, которые у тебя были в формате html в zip-архивах - теперь все в формате .tar.bz2

http://xayam.com/archives/

выложи их пожалуйста, где они и были вместо старых. ОК?

← →
McSimm © (2009-11-07 23:02) [5]

статические файлы, индексы похоже отсутствуют в архивах.

← →
xayam © (2009-11-08 00:17) [6]

> McSimm © (07.11.09 23:02) [5]
> статические файлы, индексы похоже отсутствуют в архивах.

картинки там были gif, но они нафиг не нужны, оставил только xml и таблицу стилей свою вставил. А что не так то?

← →
xayam © (2009-11-11 23:47) [7]

> McSimm © (07.11.09 23:02) [5]
> статические файлы, индексы похоже отсутствуют в архивах.

а эти файлы что обязательно? я конечно могу переделать, но это долго и по-моему не нужно. Лучше так выкладывай.

← →
McSimm © (2009-11-12 00:27) [8]

Руки не доходят пока.

Индексы, конечно нужны. Куча файлов с темами без возможности хоть какой-то навигации.

Сам доделаю, как вечер свободный появится.

← →
xayam © (2009-11-12 00:37) [9]

> McSimm © (12.11.09 00:27) [8]
> Индексы, конечно нужны. Куча файлов с темами без возможности
> хоть какой-то навигации.

какой еще навигации? Вы же все ветки удаляете с форума в архивы. По-моему поиска по этим ветках будет достаточно.

← →
McSimm © (2009-11-12 00:53) [10]

> какой еще навигации?

В браузере смотреть

← →
xayam © (2009-11-12 00:58) [11]

> McSimm © (12.11.09 00:53) [10]
> > какой еще навигации?
> В браузере смотреть

так надо найти в первую очередь, а потом уже смотреть. И что такого особенного там есть в индексных файлов, чего нет в ветках xml ?

← →
McSimm © (2009-11-12 00:59) [12]

вот как это выглядит обычно:
http://www.delphimaster.ru/forum/digest/example/other.xml

← →
McSimm © (2009-11-12 01:02) [13]

> так надо найти в первую очередь, а потом уже смотреть.

Конечно, поиск по архивам штука отличная.

Просто сами архивы тоже надо до ума довести.

← →
xayam © (2009-11-12 01:12) [14]

> McSimm © (12.11.09 00:59) [12]
> вот как это выглядит обычно:
> http://www.delphimaster.ru/forum/digest/example/other.xml

я не пойму чего не хватает в xml-ветках для того, чтобы так отобразить, все можно выцепить их ветки, индексный вообще не нужен, другое дело что больше времени на обработку xml-ветки понадобиться при отображении, но часть инфы можно хранить в базе, заранее туда ее закачать

← →
McSimm © (2009-11-12 01:21) [15]

> я не пойму чего не хватает в xml-ветках для того, чтобы
> так отобразить

индексных файлов, картинок, xsl
Архив можно скачать, распаковать и открыть в браузере. без баз и обработок.

Еще есть проблема - xml не валидные, чинить придется.
Ни один из случайно выбранных не открылся.

← →
xayam © (2009-11-12 01:30) [16]

> McSimm © (12.11.09 01:21) [15]
> Еще есть проблема - xml не валидные, чинить придется.
> Ни один из случайно выбранных не открылся.

ну я вручную переделал разбор xml-ветки, так что это не проблема.

> Архив можно скачать, распаковать и открыть в браузере. без
> баз и обработок.

какой в этом смысл, если нет поиска, то не знаешь какой архив качать, какую ветку открывать. Или ты поиск собрался делать? Хочешь меня работы лишить ? :)

← →
McSimm © (2009-11-12 01:37) [17]

архивы люди качают и читают. поиск в локальном архиве при желании не проблема.

к сожалению в таком виде, их конечно же нельзя выкладывать. пусть лучше zip лежат пока.

← →
xayam © (2009-11-20 19:20) [18]

ладно со временем я постараюсь это переделать нормально, но не скоро скорей всего, че то с новой структурой базой проблемы

← →
xayam © (2009-11-28 21:13) [19]

> McSimm

Максим, а кодировка принципиально windows-1251 должна быть? Или можно utf-8?

← →
McSimm © (2009-11-28 21:30) [20]

а смысл кодировать?
исходные данные в однобайтной 1251, зачем менять?

← →
xayam © (2009-11-28 21:35) [21]

да у меня весь сайт и база в utf-8, хотя перекодировать не проблема. Как лучше?

← →
McSimm © (2009-11-28 22:09) [22]

лучше 1251 - меньше объем

← →
xayam © (2009-11-28 23:04) [23]

ок, вроде потестировал некоторые файлы, открываются почти все, но ошибки все равно есть, так что наверное еще проверятель нужно делать автоматический, чтобы точно все ок было, еще архивы делать из них...

← →
xayam © (2009-12-02 15:26) [24]

короче проверил файлы получилось в 148 из 97380 есть ошибки. Это уже после максимальной очистки. Что с ними делать, Максим? Оставить как есть или еще помучаться? :)

← →
Anatoly Podgoretsky © (2009-12-02 16:53) [25]

> xayam (02.12.2009 15:26:24) [24]

Как сказал классик "Лучше помучаться"

← →
McSimm © (2009-12-02 17:42) [26]

> 97380

O_O

> получилось в 148 из 97380 есть ошибки

Если есть список ошибочных файлов, то и это просто отлично.

Неужели и в браузере работают, как новые ?

← →
xayam © (2009-12-02 18:08) [27]

> McSimm © (02.12.09 17:42) [26]
> Если есть список ошибочных файлов, то и это просто отлично.

да это уже не те файлы, что у тебя в архивах, нумерация по id моя, сохранил только номер форума (n). Точнее файлов у меня нет, все в базе. И из базы я делаю файлы. А список ошибочных файлов можно сделать, но смысла нет раз нумерация не соответствует существующей.

> Неужели и в браузере работают, как новые ?

я проверял с помощью конструкции
$dom = new domDocument ( ); if (! $dom->load ( "{$_SERVER["DOCUMENT_ROOT"]}/xml/$folder/$file" ) ) { $k ++ }
а она, как мне показалась даже пожестче требования предъявляет к файлам, чем браузер, поэтому в браузере наверно не отобразятся не более 100 файлов, а это меньше одной десятой процента.

Осталось только xml-файлы форумов сделать (algorithm.xml, bd.xml ...) + список форумов (forums.xml) + картинки и все заархивировать.

Еще интересно, можно ли средствами XSLT сделать постраничную навигацию?

← →
McSimm © (2009-12-02 18:27) [28]

> можно ли средствами XSLT сделать постраничную навигацию?

если и можно, то очень трудно.
Но для локальных данных это не очень актуально

← →
xayam © (2009-12-02 18:47) [29]

> McSimm © (02.12.09 18:27) [28]
> > можно ли средствами XSLT сделать постраничную навигацию?
> если и можно, то очень трудно. Но для локальных данных это
> не очень актуально

да я думаю у себя тоже просмотр архивов организовать в таком виде, только данные будут храниться все в базе, а постраничную навигацию можно и с помощью php сделать, если xslt не получится. Судя по поиску в инете кто-то уже сделал такое, но исходников особо не видно.

← →
xayam © (2009-12-03 00:44) [30]

путем нехитрых манипуляций еще снизил количество битых файлов - теперь 24 из 97380 (меньше одной тысячной процента). Лучше получиться если удалять символы, которые не могут быть в PCDATA (там в основном ошибки "PCDATA invalid Char" и неправильное закрытие тегов - не в том порядке)

← →
xayam © (2009-12-05 01:24) [31]

так вроде готово, закачаю к себе ссылку дам. Я так думаю, за время, потраченное на эти архивы мне пора значек мастера PHP давать :) Может нарисуете? :)

← →
xayam © (2009-12-05 02:46) [32]

> McSimm ©

Вот, Максим, ссылка на архивы http://xayam.com/archives2/ (в процессе закачки)

или все одним файлом http://xayam.com/archives2/all.rar

Косяки конечно есть, но все файлы открываются, проверил очень тщательно. Все ссылки работают (предыдущая, следующая, форумы и т.д.), индексные файлы делал на основе последнего архива. Изменена только немного таблица стилей, в части отображения атрибутов.

← →
McSimm © (2009-12-05 10:16) [33]

Залил на сервер.
Большое спасибо за помощь!

> мастера PHP давать :)

Эта...
- как работает оператор + для массивов и чем отличается от array_merge
- может ли require_once загрузить один и тот же файл более одного раза, в каком случае ?
- чем опасна запись
$flag = some_func() OR anot_func();
- чем, кроме обработки ошибок, отличается include от require
- что круче C, PHP или Delphi

2 часа в таком ключе на собеседовании и результатом может быть новичок на испытательном сроке :)

← →
Inovet © (2009-12-05 12:20) [34]

> [33] McSimm © (05.12.09 10:16)
> Залил на сервер.
> Большое спасибо за помощь!

Я что-то совсем в эту ветку не въехал. Вообще что должно быть после заливки, или это технические моменты чего-то?

← →
McSimm © (2009-12-05 12:49) [35]

> Inovet © (05.12.09 12:20) [34]

Не много изменилось.
Старые ветки уходят в архивы. Объем очень большой, а хостинг хоть и дорогой, но не резиновый.
Я поменял формат, значительно уменьшив объем - xml+xslt вместо html. Но большая часть осталась в старом формате, конвертация - весьма хлопотное и не тривиальное дело. Алексей не только взялся, но и сделал, за что ему большое спасибо еще раз.
вместо 450 Мб (219 файлов) теперь 79Мб (220 файлов)
Кроме того он сделал сервис поиска по этим xml на внешней площадке.

Правда я так и не понял откуда один лишний файл взялся :)

← →
KilkennyCat © (2009-12-05 12:53) [36]

> - что круче C, PHP или Delphi

провокатор...

> McSimm © (05.12.09 10:16) [33]
> - что круче C, PHP или Delphi

отвечу только на этот вопрос. PHP однозначно круче :) Потому что он мне нравится. И мне только за это дадут значек :) А вообще если серьезно, то я бы не сравнивал PHP с Delphi и C, области применения все же разные.

> 2 часа в таком ключе на собеседовании и результатом может
> быть новичок на испытательном сроке :)

в таком ключе я явно не пройду, потому что никогда не увлекаюсь мелочами, если в скрипте какая-то конструкция работает и работает хорошо, то я ни за что не поменяю на другую, пусть даже более быструю, но не надежную.

> Правда я так и не понял откуда один лишний файл взялся

насколько я помню, там был один архив в другом, название не помню, можешь сам поискать.

> [35] McSimm © (05.12.09 12:49)
> вместо 450 Мб (219 файлов) теперь 79Мб (220 файлов)

Ага, это то что в этих архивах
http://www.delphimaster.ru/forum/digest/?M=D

> Кроме того он сделал сервис поиска по этим xml на внешней площадке.

Это который уже давно он сделал
http://www.delphimaster.net

Так я понял?

так

> Inovet © (05.12.09 13:15) [38]
> Так я понял?

так, только там некоторые архивы были в формате html, теперь все xml

> McSimm ©

о, раз тут собрались мастера, хотел задать им интересующий меня вопрос. Сильно ли и чем отличается версия делфи 2010 от 2009? И подходят ли пакеты для 2009 к 2010? А то давно в делфи не залезал.

А то есть еще желание возродить заброшенный мною проект delphito, только все переделать по-другому.

> Сильно ли и чем отличается версия делфи 2010
> от 2009? И подходят ли пакеты для 2009 к 2010?

неужели все на старых версиях сидят? Вопрос интересует поскольку SynEdit идет только к 2009 и меньше, а на 2010 не знаю вроде пакеты скомпилировались и установились с 2 хинтами, а прога не компилируется какие-то файлы SynEdit с ошибками.

Хотя как вариант, забросить delphi и переписать все на php. Как думаете?

> McSimm

Максим, а по качеству как получилось нормально ? Еще вспомнил что там была 441 ветка, в которых не было заголовка, поэтому заменил на заголовок "---|Ветка была без названия|---". Почему кстати есть такие ветки? Еще заметил косяки типа ссылки на сущности   заменялись на &#032; поэтому сущности отображаются и еще похожие косяки...

отлично получилось. все глюки перебрать жизни не хватит, особенно в старых.

> McSimm © (13.12.09 13:34) [43]
> все глюки перебрать жизни не хватит, особенно в старых.

я наверное там больше своих косяков наделал, хотя много исправил, данные все таки грязные были

еще тестовый поисковик по этим веткам скоро выложу у себя, отдельной веткой сделаю наверное, потестируете скорость поиска

> Inovet © (13.12.09 20:56) [46]
> > [45] xayam © (13.12.09 20:06)
> > еще тестовый поисковик по этим веткам скоро выложу у себя
> А сейчас какой?

а сейчас поисковик не на моем хостинге, а у killkenycat. Но там по другому ветки хранятся в одной строке таблицы - одна ветка, теперь в одной строке - одно сообщение из ветки, соответственно изменились запросы к базе, чтобы интерфейс остался тем же самым, заметил тормоза на некоторых запросах.

> Но там по другому ветки хранятся в одной строке таблицы
> - одна ветка

ох, етицкая сила... :))

> в одной строке таблицы - одна ветка

Представил, как умирает MySQL, которую суют "любую тему ветки" в строку таблицы. Жуть..

> Омлет © (13.12.09 22:06) [49]
> Представил, как умирает MySQL, которую суют "любую тему
> ветки" в строку таблицы. Жуть..

в смысле в одном столбце одной строки, но с вырезанными тегами, а теперь со всеми тегами.

> в смысле в одном столбце одной строки

Понятнее явно не стало ))

Старые архивы для DMSearch на www.delphimaster.net Найти похожие ветки