Нужен совет тех кто использует качалки сайтов

← →
leonidus (2004-12-10 08:17) [0]

Хочу написать offline browser, и учесть пожелания общественности что бы с одной стороны сделать качественный и простой продукт, а с другой не перегрузить его ненужными фичами. Может у кого что найдется сказать. Только не надо типа "такие программы уже есть, нам больше не надо". Я уверен что для хорошей програмы всегда место найдется.

← →
leonidus (2004-12-10 08:19) [1]

И еще хотелось бы услышать что вам не нравиться в Teleport или Offline Explorer`е

← →
_1008_ (2004-12-10 09:15) [2]

wget хорошая вещь.

← →
Layner © (2004-12-10 09:17) [3]

Хотеть и что то сделать разные вещи :)

← →
Труп Васи Доброго © (2004-12-10 09:24) [4]

Самая лучшая качалка, это такая, в которой для ламера достаточно указать URL и нажать кнопку "хочу" и он это получит, а для нормального юзера должны быть доступными все возможные настройки: глубина скачивания, типы файлов, вырезание банеров и т.д.
И главное ИМХО, там должно быть то, чего нет во многх других качалках: прога должна уметь начинать скачиваль именно с того места (страницы) с которого ей указано, а не переть весь сайт целиком.

← →
Чеширский_Кот © (2004-12-10 09:30) [5]

а зачем писать очередную качалку сайтов?

← →
leonidus (2004-12-10 09:46) [6]

Так пока понял:
1. Программа должна для продвинутых юзеров предоставлять полные настройки, а для не продвинутых по простому пару кнопок
2. Програма должна иметь фильрты для настройки области скачивания

Еще идеи есть?
Кто вообще какие сайты тянет? Надо подумать под что заточить программу.

← →
TUser © (2004-12-10 11:01) [7]

Попробовал несколько штук. Сразу скажу - идеального нет.
Первый выбор - Offline Explorer. Простая программа, большинство сайтов качает нормально. Платная, есть триал на 30 дней, после окончания этого срока - обязательно надо покупать или не пользоваться.
Website Extractor - мне, еслии честно, не понравился.
WebStripper - только для очень простых сайтов.
Teleport Pro - хорошая вешь. Платная. Триал качает только 500 файлов на сайт, для больших сайтов не годится. По функциональности - чуть больше OE.

← →
AlexKniga © (2004-12-10 11:09) [8]

Я пользуюсь Metaproducts Offline Explorer Pro. Он меня устраивает. Если я нахожу баг или мне чего-то не хватает, пишу в http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455#1. Автор участвует в этой ветке и учитывает пожелания пользователей. (Причем не требует предъявить лицензию.)

← →
leonidus (2004-12-10 11:11) [9]

Ну я уже понял что лидеры это Offline explorer и Teleport. Однако вопрос остается в силе, в частности какие сайты программисты например предпочитают качать, если можно со ссылками

← →
КаПиБаРа © (2004-12-10 11:13) [10]

leonidus (10.12.04 11:11) [9]
www.ibase.ru

← →
leonidus (2004-12-10 11:42) [11]

>КаПиБаРа понял.
Т.е. вероятно интересуют структурированные сайты с документацией, новостями и т.п. Еще есть примеры, может кто-то скачивает форумы? Очень хочется узнать на сколько это актуально и вообще можно ли современные качалки настроить на скачивание отдельных веток, не вытягивая лишнее барахло.

← →
AlexKniga © (2004-12-10 13:48) [12]

2 leonidus (10.12.04 11:42) [11]
Я выкачивал нужные мне многостраничные ветки с forum.ixbt.com
В Offline Explorer главное с макросами разобраться.

← →
AlexKniga © (2004-12-10 13:53) [13]

2 leonidus
А ты сам пользовался чужими прогами (Offline Explorer или Teleport)? Иль ты из тех, кто не зная броду, сходу кидается писать свои пироги?

← →
leonidus (2004-12-11 18:32) [14]

Если бы я кидался писать программы, то вопросы бы тут не задавал:)

← →
Igorek © (2004-12-11 22:43) [15]

leonidus (10.12.04 8:17)
Упор надо сделать на то, чего нету в других прогах.
А это - продвинутая логика поиска и выбора контента.
Простых масок файлов и начального пути тут недостаточно. Надо сделать хороший редактор правил. А еще лучше встроенный простенький язык. Бо часто тупые лоадеры или качают только 50 процентов нужного или вообще нихрена не могут скачать.

Хороший пример - напиши лоадер для прямой закачки порнухи (только jpg и avi) с качественных сайтов. Поверь - тогда поймешь, что такое хороший лоадер. :-)

← →
IceDog (2004-12-12 04:27) [16]

Я бы сдел так.
Посмотрел что есть в других аналогичных программах.
Прикинул что меня устраивает, а что нет.
Чего бы мне хотелось самому.

Потом написал бы прорамму и выложил на сайте.

Ну а дальше форум, и учет пожеланий пользователей. Скажем так, чем больше пользователей хотят ввести какую-то функцию, тем бы я и занимался.

← →
Piter © (2004-12-12 12:50) [17]

leonidus (10.12.04 8:17)
Только не надо типа "такие программы уже есть, нам больше не надо"

Хорошо, не будем

wget хорошая вещь

ну Ламборджини тоже хорошая вещь. Но как они связаны с качалками сайтов?

Труп Васи Доброго © (10.12.04 9:24) [4]
главное ИМХО, там должно быть то, чего нет во многх других качалках: прога должна уметь начинать скачиваль именно с того места (страницы) с которого ей указано, а не переть весь сайт целиком

Это где же ты видел качалки, которые этого не умеют?!
Во всех качалках ты задаешь НАЧАЛЬНУЮ СТРАНИЦУ, откуда уже берутся ссылки и выкачивается все. Причем, можно настроить и глубину, и начальный адрес, чтобы качалка выкачивала только более глубокие ссылки

Igorek © (11.12.04 22:43) [15]
Хороший пример - напиши лоадер для прямой закачки порнухи (только jpg и avi) с качественных сайтов

а в чем проблема? Настраиваешь Teleport Pro на скачивание только картинок и видео и поехали...

← →
Igorek © (2004-12-12 20:10) [18]

Piter © (12.12.04 12:50) [17]

> а в чем проблема? Настраиваешь Teleport Pro на
> скачивание только картинок и видео и поехали...

Проблема в том, что нифига не получится!
Например есть сайт. В недрах его есть контент, который меня интересует. Например jpg. Но:
1) не все картинки меня интересуют (опредленный размер, название, путь размещения)
2) я даже зная прямые урлы на напр. 100 картинок не смогу их скачать - запрет NoDirectAccess
3) я не могу задать логику прохода по сайту - обычно просто задаю глубину дерева и все; оно тупо бредет по линкам один за другим; а часто 90 процентов из этих линков мне не нужны - в тех поддеревьях ничего нету (и я знаю это); а настроить продвинутый авто-браузинг не могу;
AlexKniga © (10.12.04 13:48) [12]

> В Offline Explorer главное с макросами разобраться.

Не работал, возможно они это делают.

Сделай, чтобы еще была возможность экспорта в такой вид:
один файл index и папка в которой все остальное. этот вариант был бы очень хорошим, т.к. требуется

сам пока пользуюсб surf offline - доволен

← →
leonidus (2004-12-14 07:56) [20]

Про продвинутую логику поиска контента понятно, это конечно мысль. Смущает другое, все подобные фичи способен понять только продвинутый пользователь которому не лень в справку глянуть, астальным же я понял хочется просто начальную страницу указать и все. Встает вопрос как угодить и тем и тем, не делая две версии программы типа Pro и Lite.
На счет отбрасывания не нужных направлений скачивания, у меня появилась такая мысль, во втроенном браузере перед началом скачивания вы немного изучаете сайт и тут же будет возможность пометить, что эту страницу и все глубже не качать, а вот это вот нужно. Получится как бы интерактивная настройка будущего проекта. Прошу всех высказаться по этому поводу.

И еще момент кто как считает нужно уметь скачанную информацию компилировать в CHM-архив, или упаковывать в ZIP, на сколько это будет востребованно?

← →
leonidus (2004-12-15 15:33) [21]

Мастера что больше ни у кого идей нет?

Igorek © (12.12.04 20:10) [18]
1) не все картинки меня интересуют (опредленный размер, название, путь размещения)
OE это умеет.

2) я даже зная прямые урлы на напр. 100 картинок не смогу их скачать - запрет NoDirectAccess
Заполни поле Refer. Задай задержку между загрузками.

3) я не могу задать логику прохода по сайту
В OE можно на ходу выкидывать ненужные ветки.

Вышли адрес проблеммного сайта посмотрю, понравится скачаю и тебе дам настройки проекта OE.

leonidus
перед началом скачивания вы немного изучаете сайт и тут же будет возможность пометить, что эту страницу и все глубже не качать, а вот это вот нужно.
В OE начинаешь скачивание, замораживаешь после первой(n-ной) страницы, выкидываешь лишнее из очереди закачки лишнее и продолжаешь качать нужное.

уметь скачанную информацию компилировать в CHM-архив
OE умеет ZIP, MHT, CHM, кэш IE.

Я пользуюсь HTTRack, бесплатно, настраиваемо, работает на Windows и Linux
http://www.httrack.com/
Да еще и с исходниками.

leonidus
Offlie Explorer Enterprise поставляется с com-объектами, с примерами их использования в т.ч. и на Делфи.
Юзая COM написать свой MyOE, как два пальца об асфальт.

← →
leonidus (2004-12-21 08:20) [25]

>by а у HTTRack исходники на каком языке?

>AlexKniga COM-это не то, хоцу СВОЮ программу написать.

2 Piter © (12.12.04 12:50) [17]
А чем wget не нравится? Я его часто использую именно как сайтокачалку, для этого в нем все необходимое мне есть.

Нужен совет тех кто использует качалки сайтов Найти похожие ветки