Интернет по e-mail

← →
MrCorp1 (2004-12-09 09:17) [0]

Недавно возникла небольшая идейка - написать программу-робота, которая будет принимать по e-mail адреса страничек и возвращать содержимое этих страничек на мыло отправителя.
Уважаемые мастера, подскажите, пожалуйста, в каком направлении мне начать двигаться? Какие технологии нужно изучить для реализации своей идеи? Какой хостинг выбрать, поддерживающий эти технологии?

← →
KSergey © (2004-12-09 09:19) [1]

Начать в направлении том, что убедиться, что таких роботов - давно полным-полно.
Адреса сейчас не подскажу, но лет 5 назад - точно попадалось.

← →
MrCorp1 (2004-12-09 09:22) [2]

> KSergey ©

Я знаю, что роботов полно. например agora.
Но во-первых, они очень тормозные, во-вторых, сильно ограничивают, в-третьих мне интересно изучить что-то новое и самому написать такого робота.

← →
Alexander Panov © (2004-12-09 10:05) [3]

MrCorp1 (09.12.04 9:17)

1. Для UNnix-подобных систем - изучение SendMail и подобных, на платформе Win - аналоги, либо собственный агент SMTP.
2. Изучение http-протокола.

Этого достаточно, мне так кажется.

← →
Reindeer Moss Eater © (2004-12-09 10:06) [4]

Но во-первых, они очень тормозные, во-вторых, сильно ограничивают,

А твой конечно же летать будет.
И иметь безграничные возможности.

Какие технологии нужно изучить для реализации своей идеи? Какой хостинг выбрать, поддерживающий эти технологии?

Все правильно, только все наоборот.
Сначала найди хостера, который согласится поставить себе твой мегапроект, а потом узнай у хостера какие технологии будут тебе доступны на его хосте.

← →
NewDelpher © (2004-12-09 10:08) [5]

А не подскажете ли адресок какого-нибудь робота?

← →
MrCorp1 (2004-12-09 10:19) [6]

> NewDelpher ©

Пишешь на адрес agora@dna.affrc.go.jp в теле письма
SEND адрес. И ждешь несколько минут.

>А твой конечно же летать будет.
> И иметь безграничные возможности.

Мой будет летать, потому что я один буду его использовать и ограничения на размер старнички тоже уберу.

← →
MrCorp1 (2004-12-09 10:30) [7]

> Сначала найди хостера, который согласится поставить
> себе твой мегапроект, а потом узнай у хостера какие
> технологии будут тебе доступны на его хосте.

Я и не говорю, что ищу бесплатного хостера. А за деньги, думаю, можно найти.

Как я понимаю, в задаче существуют несколько проблем.
1.Написать почтовый сервер, который принимает почту, анализирует и отправляет ответ.
2.Написать прогу для закачки на сервере интернет страничек, файлов, рисунков по команде с мыла.
3.Написать небольшие подпрограммки, например, для разбития файла на части.

Только вот проблема. Я раньше не сталкивался с программированием под интернет. Поэтому не знаю всех возможностей в этой области. С помощью PHP можно реализовать мою идею?

← →
Reindeer Moss Eater © (2004-12-09 11:32) [8]

Писать почтовый сервер? Зачем?
На хосте нужен почтовый клиент, а не сервер.

← →
Reindeer Moss Eater © (2004-12-09 11:34) [9]

А в чем глобальный замысел-то?

Обойти корпоративный прокси или "иметь инет" "не имея инета"?

← →
VictorT © (2004-12-09 11:51) [10]

> А не подскажете ли адресок какого-нибудь робота?

http://deep.webest.net/forum/reply.php?num=2.4&id=57643

← →
MrCorp1 (2004-12-09 11:53) [11]

Глобальный замысел в следующем. У нас на работе жуткие ограничения по инету. Почтой разрешают пользоваться в неограниченных количествах.
Вот я и решил закачивать странички через мыло.
Создать клиентскую часть в Дельфях (обычный браузер, только работает через e-mail) не проблема. Вот с серверной частью думаю придется повозиться.

В конечном итоге должен получиться что-то вроде Internet-Explorer"а, только работающий через почту.

← →
Reindeer Moss Eater © (2004-12-09 12:07) [12]

Мой будет летать, потому что я один буду его использовать и ограничения на размер старнички тоже уберу.

Не думаю, что он будет летать.
Кроме твоей программы которой пользуешься ты один, у хостера есть еще тысячи клиентов, которые успешно отнимают у хоста тики процессора. Именно того процессора, который будет выполнять код твоего робота.

Ничего ты не выиграешь.

← →
NewDelpher © (2004-12-09 15:27) [13]

Не работает эта Agora.
Отправлял: SEND http://ya.ru
получил:
> To get help, just send a mail to agora@dna.affrc.go.jp with the body WWW
>
> Due to the heavy load of the server, please restrict your request to
> research and academic sites only. This helps the server live longer.
>
>
>
>
$B_n(Bdex
> $B_mdejq(B[1]Copyright &copy 1997004 &laquo$B!,zfjl(B2]&raquo
$B%Hpi`k%`hj(B $B%?jn(B $B%Rjcjfjd_<(B3]
>
> *** References from this document ***
> [orig] http://ya.ru/
> [1] http://www.yandex.ru/
> [2] http://www.yandex.ru/
> [3] http://www.artlebedev.ru/
Отправлял SOURCE http://ya.ru
Получил:
> Sorry,
http://ya.ru------=_NextPart_000_009B_01C4DDF6.9CEB82F0Content-Type:
text/html\; charset="koi8-r"Content-Transfer-Encoding: quoted-printable is
not a valid URL
>
> The DISC Agora Support, email support@dna.affrc.go.jp
>

← →
Style © (2004-12-10 09:20) [14]

http://www.hch.ru/wwwmail :)

← →
Чеширский_Кот © (2004-12-10 09:32) [15]

как только твой робот станет хоть чуть-чуть популярным, так и тем дело все и закончится

← →
MrCorp1 (2004-12-10 10:05) [16]

> как только твой робот станет хоть чуть-чуть
> популярным, так и тем дело все и закончится

Я его делаю только для себя. Никакой популярности мне не нужно.

>Не думаю, что он будет летать.
> Кроме твоей программы которой пользуешься ты один, у
> хостера есть еще тысячи клиентов, которые успешно
> отнимают у хоста тики процессора. Именно того
> процессора, который будет выполнять код твоего робота.

При чем тут процессор? Нагрузки на процессор практически не будет. Я один буду пользоваться этим работом.
Основные минусы общественных роботов в том, что ими пользуются тысячи людей. В этом случае можно говорить о какой-то нагрузке. Но я планирую его сделать только для себя.

← →
MrCorp1 (2004-12-10 10:12) [17]

> NewDelpher ©

Это связано с ограничениями agora. Получать странички через него можно, но не все. Для подробной информации в теле письма напиши HELP.
Теперь ты понимаешь, почему я хочу написать своего быстрого и качественного робота.

← →
Style © (2004-12-10 11:54) [18]

Вот скрипт на PHP...

$var_mail = htmlSpecialChars($HTTP_POST_VARS["mail"], ENT_QUOTES); $var_file = htmlSpecialChars($HTTP_POST_VARS["file"], ENT_QUOTES); $subject = "WWWMAIL"; // заголовки $headers = "From: Style<Style#hch.ru>\n"; $headers .= "Reply-To: <Style#hch.ru>\n"; $headers .= "MIME-Version: 1.0\n"; // в одну строчку $headers .= "Content-Type: multipart/related;type=\"multipart/alternative\"; boundary=\"----=MIME_BOUNDRY_main_message\"\n"; // $headers .= "X-Sender: Style<Style#hch.ru>\n"; $headers .= "X-Mailer: PHP4\n"; $headers .= "X-Priority: 3\n"; $headers .= "Return-Path: <Style#hch.ru>\n"; $headers .= "This is a multi-part message in MIME format.\n"; $headers .= "------=MIME_BOUNDRY_main_message \n"; $headers .= "Content-Type: multipart/alternative; boundary=\"----=MIME_BOUNDRY_message_parts\"\n"; //просто текст $message = "------=MIME_BOUNDRY_message_parts\n"; $message .= "Content-Type: text/plain; charset=\"windows-1251\"\n"; $message .= "Content-Transfer-Encoding: quoted-printable\n"; $message .= "\n"; // здеся $message .= "www.hch.ru/wwwmail \n"; $message .= "\n"; // html $message .= "------=MIME_BOUNDRY_message_parts\n"; $message .= "Content-Type: text/html;\n charset=\"windows-1251\"\n"; $message .= "Content-Transfer-Encoding: quoted-printable\n"; $message .= "\n"; // здеся $message .= "<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\">\n"; $message .= "<HTML><BODY>\n"; $message .= "<A href="http://www.hch.ru/wwwmail">http://www.hch.ru/wwwmail</a> \n"; $message .= "</BODY></HTML>\n"; $message .= "\n"; // конец $message .= "------=MIME_BOUNDRY_message_parts--\n"; $message .= "\n"; $AttmFile = $var_file; $patharray = explode ("/", $AttmFile); $FileName=$patharray[count($patharray)-1]; $fd=fopen ($AttmFile, "rb"); while (!feof ($fd)) { $line = fgets ($fd, 1024); $FileContent .= $line; } fclose ($fd); $FileContent=chunk_split(base64_encode($FileContent)); // добавляем атачменты $message .= "------=MIME_BOUNDRY_main_message\n"; $message .= "Content-Type: application/octetstream; \n name=\"$FileName\"\n"; $message .= "Content-Transfer-Encoding: base64\n"; $message .= "Content-ID: <some_attach>\n"; $message .= "\n"; $message .= $FileContent; $message .= "\n"; //конец сообщения $message .= "------=MIME_BOUNDRY_main_message--\n"; $f = mail($var_mail, $subject, $message, $headers); ?> <SCRIPT> alert("Файл отправлен."); location.href = "index.html"; </script>

← →
Kerk © (2004-12-10 11:59) [19]

> Я и не говорю, что ищу бесплатного хостера. А за деньги,
> думаю, можно найти.

Бесплатных полно.. нефиг за такие мелочи платить.

← →
MrCorp1 (2004-12-10 12:09) [20]

> Style ©

Спасибо за скрипт. Буду изучать.

← →
Style © (2004-12-10 12:13) [21]

2 MrCorp1
Можно и броузер не писать, а воспользоваться существующим.

К примеру в настройках подключения в IE можно включить крэжик - использовать прокси-сервер для текущего подключения и указать адрес Localhost и порт к примеру 8080.

Далее пусть на Delphi, необходимо будет написать сервер! ДЛя примера кинуть на форму ServerSocket и настроить его на 8080 порт.

На событии приема сообщения от клиента (в данном случае любого броузера) - весь полученный запрос нада будет преобразовать в Base64 и к POST методом отправить на Сервер в Инэте.

А на сервер скрипт - получает твой запрос Декодирует его из Base64, парсирует его, узнает Host, подключается к хосту и передает тот самый запрос который послал твой броузер.
Полученный результат скрипт отправляет на определенный E-Mail.

А программа-сервер на твоем компе, подключается к 110 порту твоего e-mail сервера и используя POP3 протокол получает список писем. По какому либо признаку индифицирует писмо относительно запроса. Получает нужное писмо и достает из него аттачмент с содержимым страницы, и далее ServerSocket просто отправляет данные по уже установленному соединению между твоей программой и броузером...

← →
Style © (2004-12-10 12:16) [22]

Советую все-таки для начала почитать про протоколы POP3, SMTP, HTTP.

На sources.ru , прямо на главной , есть ссылки на описания их работы.

← →
Reindeer Moss Eater © (2004-12-10 12:26) [23]

При чем тут процессор? Нагрузки на процессор практически не будет. Я один буду пользоваться этим работом.

Да при чем здесь твой робот и ты единственный, его использующий?

Робот не в космосе работает, а на компьютере у хостера.
А хостер к себе на хост не только тебя пусскает, но и других своих клиентов.
А у этих клиентов есть свои клиенты, которые запрашивают контент на этом хосте.

Итого:
От того, что твоего робота используешь только ты, ничего не меняется. Тысячи других людей используют сотни других программ, которые выполняются на том же самом хосте что и твой мега-робот.

← →
Style © (2004-12-10 12:32) [24]

> Reindeer Moss Eater © (10.12.04 12:26) [23]

То что людей полно - согласен, но я думаю что скорость обработки запроса будет приемлемой.

Вопрос в другом? На сколько быстро дойдет писмо с результатом запроса от сервер сайта к e-mail серверу??? :) Вот тут то уж и не знаю на сколько это реально.

← →
Reindeer Moss Eater © (2004-12-10 12:33) [25]

Или, дай угадаю: ты хочешь у хостера арендовать отдельный компьютер под свой проект?

А может проще подключить к офисному компу мобильный, и использовать его в качестве связи с внешним миром?

← →
Style © (2004-12-10 12:34) [26]

> Reindeer Moss Eater © (10.12.04 12:33) [25]

Он просто хочет относительно халявный инэт.

← →
KSergey © (2004-12-10 12:35) [27]

> [16] MrCorp1 (10.12.04 10:05)
> При чем тут процессор? Нагрузки на процессор практически
> не будет. Я один буду пользоваться этим работом.

Т.е. поставите хостеру свой комп? А как на счет суммы соответсвующей?

PS
К стати, боюсь, что если трафик почты будет слишком велик - то это дело тоже зарежут.. или втык дадут, еще вопрос что лучше...

← →
Reindeer Moss Eater © (2004-12-10 12:39) [28]

Теперь ты понимаешь, почему я хочу написать своего быстрого и качественного робота.

Мама дорогая.
Он наверное думает, что в коде робота на агоре каждой второй строчкой стоит sleep(500).
И именно поэтому он тормозит.

> К стати, боюсь, что если трафик почты будет слишком велик
> - то это дело тоже зарежут.. или втык дадут, еще вопрос
> что лучше...

Не думаю что он будет слижком большой, существуют также ограничения на размер входящего/исходящего письма. А в base64 кодировке размер письма заметно превышает реальный размер пересылаемых данных..

Да и что вы человеку по рукам лупите :) Пусть попробует, получится, не получится - какая разница.. Зато многое познает!

>автор

Лучше все-таки определиться с алгоритмом и задавать небольшие вопросы по кусочкам реализации в конференции "Сети"

Он просто хочет относительно халявный инэт.

И где же он халявный?
Для обмена почтой с роботом требуется тот же инет.
Причем если в браузер может литься бинарный контент "as is", то при получении его почтой, он неизбежно распухнет в размерах.
И будет только дороже, не говоря уже о бесплатности.

> И где же он халявный?
> Для обмена почтой с роботом требуется тот же инет.
> Причем если в браузер может литься бинарный контент "as
> is", то при получении его почтой, он неизбежно распухнет
> в размерах.
> И будет только дороже, не говоря уже о бесплатности.

Он будет дороже для предприятия - но не для него :) скорее всего у них Proxy - он логирует на SQL сервер все исходящие HTTP запросы и результирующий трафик. А админы просто смотрят сколько конкретный пользователь "наработал" за определенный период :)
Почта конечно тоже логируется, но возможно в те логи не так часто смотрят. А если и посмотрят то увидят там очень частую переписку с адресом сервера его сайта.. Заитересует ли это админов?

> [32] Style © (10.12.04 12:50)
> Заитересует ли это админов?

Зависит от объема этой самой переписки ;)

А вообще - идейно согласен с [29] и [30]. Познать новое - никому в принципе не вредило, даже если результат нулевой ;)

← →
MrCorp1 (2004-12-10 13:18) [34]

Господа. Все очень просто. Внутренней политикой организации, где я работаю, определяются правила использования сотрудниками интернета и электронной почты. Согласно этим правилам интернет используется в ограниченном количестве, на электронную почту никаких ограничений нет. Сколько за это платит организация, меня совершенно не волнует. Мне дали право использовать почту неограниченно по своему усмотрению.

> Style ©

Очень дельные советы, спасибо.

> Reindeer Moss Eater ©

Ты абсолютно прав в том, что base64 сильно "раздувает" информацию, поэтому скорость передачи будет пониже. Но меня кое-что не устраивает в agore.
1.Письма порой приходят через полчаса после команды.
2.Ограничение интернет-страницы 5000 строк.
3.Некоторые странички почему-то вообще не присылаются.

Что бы познать новое, не обязательно использовать хостера.
Делается робот, работающий на локальном хосте + 2 почтовых ящика. Себе и роботу.

Только это никак не связано с практической задачей получать веб контент через почту на работе.
Если подобные паблик сервисы тормозят, то и самописный будет работать не лучше.

У нас на работе жуткие ограничения по инету. Почтой разрешают пользоваться в неограниченных количествах.

Он не бесплатный Инте хочет, а нарушить корпоративные ограничения, видимо у них в регионе избыток рабочих мест.

Ты абсолютно прав в том, что base64 сильно "раздувает" информацию, поэтому скорость передачи будет пониже.

Скорость передачи не зависит от объема данных.

1.Письма порой приходят через полчаса после команды.
2.Ограничение интернет-страницы 5000 строк.
3.Некоторые странички почему-то вообще не присылаются.

1. Это никак напрямую не связано с роботом агоры. Это больше зависит от почтовых серверов.
Что говоришь? Будешь использовать другие и быстрые?
Так используй их с агорой.

2.Ограничение интернет-страницы 5000 строк.
Пожалуй это ты сумеешь обойти.

3.Некоторые странички почему-то вообще не присылаются.
Некоторые страницы и твоим роботом почему-то вообще не будут присылаться.

"Почтой разрешают пользоваться в неограниченных количествах." - наивный, ты думаешь, что почта для вашей организации - бесплатна? Или, если начнёшь получать по почте гигобайты - ваш админ будет это терпеть?

> Он не бесплатный Инте хочет, а нарушить корпоративные ограничения,
> видимо у них в регионе избыток рабочих мест.

Все зависит от степени наглости... В общем если сильно не наглеть, то в полне можно и не нарушать эти самые ограничения... Самое главное что-бы человек с поставленными задачами на работе справлялся вовремя :)

> Скорость передачи не зависит от объема данных.

Пока POP3 сервер не получит писмо полностью оно не будет доступно для клиента. А в данном случае получается что влияет, имеется ввиду скорость передачи через все эти протоколы, т.е. пока не будет получен ответ.

Интернет по e-mail Найти похожие ветки