Обновился DMSearch (поисковик по делфимастеру)

← →
KilkennyCat © (2009-07-16 07:43) [120]

По поводу "как искать" я тож заметил, что это как-то надо "настойчивее" показать...
По поводу настройки ограничении минимального размера слов, я сегодня просто спрошу у хостера.
Конвертация старых веток, а также планирование общейго дизайна проекта в план на выходные поставлено.

Игорь (а также все остальные), если есть в наличии архивы ранее 07-01-2002, и если не затруднительно скинтье куда-нить.

← →
xayam © (2009-07-16 09:23) [121]

>
> KilkennyCat © (16.07.09 07:43) [120]
> По поводу "как искать" я тож заметил, что это как-то надо
> "настойчивее" показать...

можно знак вопроса поставить возле кнопки, как делают в других поисковиках или кнопку переместить вниз.

> По поводу настройки ограничении минимального размера слов,
> я сегодня просто спрошу у хостера.

да не нужно, у нас места и так впритык, если еще старые ветки индексировать, ты еще хочешь увеличить базу

> Игорь (а также все остальные), если есть в наличии архивы
> ранее 07-01-2002, и если не затруднительно скинтье куда-
> нить.

а начальная дата форума вообще какая?

← →
Anatoly Podgoretsky © (2009-07-16 09:29) [122]

> Petr V. Abramov (16.07.2009 00:41:54) [114]

Скрывается

← →
Anatoly Podgoretsky © (2009-07-16 09:30) [123]

> xayam (16.07.2009 00:48:55) [115]

Непорядок, как же без газа?

← →
KilkennyCat © (2009-07-16 09:34) [124]

> у нас места и так впритык

дык не проблема... еще 1,5 гига свободно можно сожрать, не хватит - будет еще 2 гига дополнительно. Если и этого не хватит, то следующим этапом уже гигов этак 10 добавится :)

← →
xayam © (2009-07-16 09:52) [125]

> KilkennyCat © (16.07.09 09:34) [124]
> дык не проблема...
> :)

так а у тебя сколько всего?

← →
mdfe © (2009-07-16 10:55) [126]

> KilkennyCat © (16.07.09 07:43) [120]
> Игорь (а также все остальные), если есть в наличии архивы
> ранее 07-01-2002, и если не затруднительно скинтье куда-
> нить.

Старые дайджесты были не в формате .xml

Могу помочь, распарсить "до поста" старые дайджесты и конвертнуть в текущий формат .xml

PS
Rule © (23.03.04 15:33) [0]
> Кто знает как связатся с MDFE?
ИМХО © (23.03.04 19:29) [2]
> Там глухо, как в танке. Я ему тоже несколько раз писал (баг-репорты слал), молчит как партизан.

Прошу прощения не видел этой ветки и не помню какие проблемы были с e-mail.

← →
xayam © (2009-07-16 11:21) [127]

> antonn ©

не знаете какие настройки нужно сделать на локалхосте, чтобы корректно работала функция file_get_contents для доступа к удаленной странице? Вот пишу $s = file_get_contents("http://www.delphimaster.ru/forum/digest/?M=D"); выводит ошибку Warning: file_get_contents(http://www.delphimaster.ru/forum/digest/?M=D) [function.file-get-contents]: failed to open stream: Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение. in D:\WORK\dmsearch\updater.php on line 5 . allow_url_fopen = On в php.ini

← →
xayam © (2009-07-16 11:28) [128]

> xayam © (16.07.09 11:21) [127]

а все разобрался, файрвол блокировал

← →
xayam © (2009-07-16 13:22) [129]

> antonn ©

Надо за апдейтор браться. Подскажите чем на php проще всего скачать удаленный файл .tar.bz2, как распаковать в отдельную директорию? Вроде curl"ом можно скачать, только раньше с ним не работал.

← →
KilkennyCat © (2009-07-16 14:00) [130]

> xayam

на данный момент 5 гиг. Что-то сжирается мной, что-то - Easy...

> mdfe © (16.07.09 10:55) [126]

Если есть время на распарсивание - было бы неплохо. А архивы у тебя есть?

← →
xayam © (2009-07-16 14:01) [131]

curl тормозит страшно, так проще всего скачивается
$forum_file = file_get_contents ( "http://www.delphimaster.ru/forum/digest/{$out[4][$on[1][$i]]}" ); $fp = fopen ( "out/" . $out [4] [$on [1] [$i]], "w" ); fwrite ( $fp, $forum_file ); fclose($fp);

рассказывайте теперь как этот .tar.bz2 распаковывается :) сам с собой веду беседу.

← →
KilkennyCat © (2009-07-16 14:02) [132]

> xayam © (16.07.09 13:22) [129]
>
> > antonn ©
>
> Надо за апдейтор браться

Хостер разрешает использование cron, мож пригодится?

← →
xayam © (2009-07-16 14:10) [133]

> KilkennyCat © (16.07.09 14:02) [132]
> Хостер разрешает использование cron, мож пригодится?

да нет вряд ли, я лучше с локалхоста буду запускать по крону, так проще, не нужно будет закачивать на хостинг лишние файлы, сразу можно в базу лить.

← →
MDFE © (2009-07-16 14:43) [134]

> KilkennyCat © (16.07.09 14:00) [130]
> Если есть время на распарсивание - было бы неплохо. А архивы
> у тебя есть?

Ок.
Только те, что сейчас выложены на сайте.

← →
xayam © (2009-07-16 15:39) [135]

> xayam © (16.07.09 14:01) [131]
> рассказывайте теперь как этот .tar.bz2 распаковывается

кроме как запуск внешней программы с помощью exec/system/passthru, других вариантов я не нашел.

← →
xayam © (2009-07-16 17:20) [136]

> xayam © (16.07.09 15:39) [135]
> кроме как запуск внешней программы с помощью exec/system/passthru,
> других вариантов я не нашел.

так распаковку сделал, теперь нужно индексатор привязать к апдейтору

← →
Игорь Шевченко © (2009-07-16 17:27) [137]

KilkennyCat © (16.07.09 07:43) [120]

> Игорь (а также все остальные), если есть в наличии архивы
> ранее 07-01-2002, и если не затруднительно скинтье куда-
> нить.

У меня есть только дайджесты с компактов RSDN, в виде больших chm-файлов, даты веток там идут вразброс. Я конечно могу скинуть, но если ветки есть в более удобоваримом формате, то почему бы сначала удобоваримый не попробовать ?

← →
xayam © (2009-07-16 17:31) [138]

> xayam © (16.07.09 17:20) [136]
> так распаковку сделал, теперь нужно индексатор привязать
> к апдейтору

привязать привязал, осталось потестировать на удаленном хосте и сделать ftp-закачку

← →
KilkennyCat © (2009-07-16 17:32) [139]

> Игорь Шевченко © (16.07.09 17:27) [137]
> но если ветки есть в более удобоваримом формате,
> то почему бы сначала удобоваримый не попробовать ?

если есть...

← →
Игорь Шевченко © (2009-07-16 18:54) [140]

KilkennyCat © (16.07.09 17:32) [139]

На дисках смесь из форумов RSDN и дайджестов мастаков. В виде двух файлов chm и chi. Если кто-то готов отфильтровать мастаков от rsdn и получить файлы в нужном виде, я могу сбросить (ветки там начинаются с 2001 года), общий объем 1,2 гига

← →
KilkennyCat © (2009-07-16 19:00) [141]

> Игорь Шевченко © (16.07.09 18:54) [140]

если тебе все равно, куда сбрасывать, то я бы предпочел ко мне на фтп. а то такой объем мне стянуть бесплатно только в понедельник-вторник будет возможно. Или продержи у себя до сего срока.

← →
Игорь Шевченко © (2009-07-16 19:02) [142]

> то я бы предпочел ко мне на фтп

имя, сестра

и эта...через IE как ?

← →
Игорь Шевченко © (2009-07-16 19:03) [143]

давай я тебе первую порцию сброшу (39 метров), а ты посмотришь и скажешь, надо тебе оно или хрен с ним

← →
xayam © (2009-07-16 19:06) [144]

> Игорь Шевченко © (16.07.09 18:54) [140]
> На дисках смесь из форумов RSDN и дайджестов мастаков. В
> виде двух файлов chm и chi. Если кто-то готов отфильтровать
> мастаков от rsdn и получить файлы в нужном виде, я могу
> сбросить (ветки там начинаются с 2001 года), общий объем
> 1,2 гига

а эти 1.2 гига не пересекаются с тем что есть в архивах в старом формате здесь http://www.delphimaster.ru/forum/digest/?M=D ?

← →
Игорь Шевченко © (2009-07-16 19:09) [145]

xayam © (16.07.09 19:06) [144]

могут и пересекаться. Они и между собой наверняка пересекаются

← →
xayam © (2009-07-16 19:12) [146]

тогда эти дубли нужно отсекать, еще учитывая что имя xml-файла должно быть уникальным как сейчас так и в будущем. Так что проблем хватает по перекодировке.

← →
Игорь Шевченко © (2009-07-16 19:14) [147]

> тогда эти дубли нужно отсекать

я поэтому и предлагаю первую порцию скинуть, чтобы сразу стало понятно. 39 метров - не деньги

← →
xayam © (2009-07-16 19:19) [148]

если кто возьмется перекодировать, учтите что кроме уникальности имени xml-файла, название архива должно быть уникальным и иметь тот же формат (forum-ГГГГ-ММ-ДД.tar.bz2), а то у меня апдейтор на это завязан. Администрация сайта я надеюсь выложит эти перекодированные данные в старом месте (http://www.delphimaster.ru/forum/digest/?M=D) ?

> куда скинуть логин-пароль и все остальное?

whitefranz гав hotmail точка com

отправил

в какой каталог аплоадить ?

и еще, интересный момент - написано, что максимальный размер файла 15000 кб. У меня файл 37 мб, если я его 7zip нашинкую, поймете ?

там один каталог. собственно, там его нет, в него сразу и попадешь :) прям в корень. Я пойму любой архив.

Там, кстати, и время ограничено, вроде бы 2-мя минутами... если скорость аплоада низкая, то только ftp-клиентом :(

закачал в / три файла - три части 7-zip архива

> Там, кстати, и время ограничено, вроде бы 2-мя минутами.
> .. если скорость аплоада низкая

у меня вроде 10 мбит/с

Спасибо, скачал.

Во, от panov ссылка: http://web.archive.org/web/*/http://delphi.mastak.ru

Обновился DMSearch (поисковик по делфимастеру) Найти похожие ветки