Автозаполнение web форм из базы данных

← →
xmrz (2003-09-11 15:30) [0]

Уважаемые мастера, есть задачка, написать программу для автоматического заполнения web форм данными из базы. Цель - доски объявлений. Возможно с подобием планировщика задач: дал задание - разослать информацию по 1000 записей на 10 досок а сам в процессе не участвуешь, но результаты операций желательно сохранять в логе. Понятно что на разных сайтах разная структура форм и названия полей и они могут изменяться, нужен конструктор. Мне интересно как работать именно с интернетом и какие могут быть подводные грабли? Может есть готовые решения? Shareware? Поделитесь мнением.

← →
cult_passwordForgotten (2003-09-11 19:02) [1]

подводные грабли - 5 баллов! :)))
извините, не сдержался

← →
8ung (2003-09-11 20:32) [2]

Интересная задумка...
Что-то мне кажется ,что надо искать поляметодом Findwindow,findwindowex...

← →
panov (2003-09-11 21:03) [3]

Spamers MUST DIE!

← →
Андрей Сенченко (2003-09-11 21:17) [4]

we all live in the yellow submarine.

А спаммеры действительно достали

← →
Ihor Osov'yak (2003-09-12 00:24) [5]

> Что-то мне кажется ,что надо искать поляметодом Findwindow,findwindowex...

Неа, предпосылка неверная, во всяком случае для IE..

Если отбросить тот факт, что этим может воспользоваться спамер, то задача довольно интересная.. Особенно в части "конструктора" ..

.. Подводных камней много, приходилось решать похожие задачи.. (как спам генератор, то что делал - маловероятно, но это больше проблема заказчика..)

.. Я бы похожий проект оценил от штуки и выше (не в рублях), если нужно по человечески сделать, и если есть цель написать изделие, которое будет способно работать больше чем с пятью процентами сайтов (ну, в районе 70-90 процентов)..

Зы - а вообще то, нужно немного подумать о [3] panov © (11.09.03 21:03)

← →
xmrz (2003-09-12 00:27) [6]

На самом деле это абсолютно не спам. У фирмы есть свой собственный сайт на который вся информация заливается отработанным методом, и фирмы с которыми есть договоренность о размещении информации но нет протоколов согласования как эту информацию доставлять, поэтому самое простое решение - в лоб, заполнять web формы (которые сейчас заполняют ручками). Причём народ информацией этой реально пользуется! Про e-mail рассылку я и не думаю!

← →
Ihor Osov'yak (2003-09-12 00:35) [7]

>Понятно что на разных сайтах разная структура форм и названия полей и они могут изменяться, нужен конструктор.
> У фирмы есть свой собственный сайт на который вся информация заливается отработанным методом

Немного не согласуется..

← →
xmrz (2003-09-13 11:17) [8]

to Ihor Osov"yak © >>

Re: см. выше : фирмы с которыми есть договоренность о размещении информации но нет протоколов согласования как эту информацию доставлять, ...

И вообще вы сами понимаете что такое спам и что такое доски объявлений? Люди СПЕЦИАЛЬНО заходят на ДО и в интернет магазины, покупают журналы типа "Товары и цены" и "Из рук в руки" и массовый слив информации туда не есть спам, поэтому определитесь немного с понятиями...

← →
xmrz (2003-09-13 11:17) [9]

← →
Ihor Osov'yak (2003-09-13 12:59) [10]

> И вообще вы сами понимаете что такое спам и что такое доски объявлений?

Понимаю. И иногда такие проекты делаю. Но и понимаю, что их можно использовать и как "глушилку" какой-то доски обьявлений, и как всякого рода накрутчики.. Но это уже вопрос двойственного использования технологий. И это вопрос к заказчику..

Зы - но цену за проект я называл реальную, даже немного заниженную (для случая качественной реализации, и для случая более-менее универсального решения.) Так что подумайте о трудозатратах, перед тем, как за него браться..

Зы - а еще есть проблемы с OCR (антиспам коды на сабмит формах).. А там уже более-менее универсального решения нет, для некоторых сайтов придется делать специализированные решения, а для некоторых - вообще проблематично..
Но если верить Вам - то у Вас с этим проблем не должно быть, так как "есть договоренность о размещении информации"..

← →
xmrz (2003-09-13 15:17) [11]

С парсингом существующих страниц, вычленением из форм полей и формированием страниц для отправки проблем не будет, я занимался разбором больших xml документов.
У меня вызывает затруднение как раз другие вопросы:

1. С использованием какого инструментария строить планировщик задач. (сейчас склоняюсь к тому же xml).
2. Каким образом в Delphi работать с отправкой запросов (нажатие на submit, "клик" по ссылке, вручную формировать запросы post и get?)
3. Как отслеживать результаты операций (ошибки соединения, перегружен сервер и может что-то еще о чём я не подозреваю)

Часть информации, кстати будет отправляться по ftp, а на сервере обрабатываться php скриптом, но с этим проблем нет.

← →
Calm (2003-09-13 15:23) [12]

> и фирмы с которыми есть договоренность о размещении информации
> но нет протоколов согласования как эту информацию доставлять

Да брось! Нет протоколов... Ерунда!
Есть с фирмой-владельцем доски объявлений есть договоренность, то передать информацию туда - пустяковое дело.
Фирма-владелец пишет скрипт, который ты вызываешь с нужным тебе параметром (текстом объявления). Скрипт создает твое новое объявление на ДО. Вызывай этот скприпт когда тебе захочется в любое время суток. Написать такой скприт - 20 минут (это вместе с отладкой и тестирование). И совершенно не нужны какие-то странные проги для сливания данных партнерам.

Так что еще раз читаем [3]

← →
xmrz (2003-09-13 16:49) [13]

>>Calm ©
Ерунда? Владельцы не имеют ничего против размещения у себя информации заказчика, но им абсолютно параллельно, КАК он туда будет ее помещать. Забивайте руками!

>> вызываешь с нужным тебе параметром (текстом объявления)
это была бы слишком простая задача, здесь предстоит заполнять формы с большим количеством разнотипных полей включая ФОТОГРАФИИ!

>>И совершенно не нужны какие-то странные проги для сливания данных партнерам.
Естественно, но помимо партнеров есть фирмы которые просто в принципе непротив, но сами шаг навстречу делать не будут.
Да в конце концов это всё будет осуществляться с компьютера по выделенке и ip будет статическим! Уж заблокировать такого спамера труда не составит. Поэтому, если кому-либо интересна сама возможность реализации предлагаю поделиться мнением.

← →
Calm (2003-09-13 17:06) [14]

> это была бы слишком простая задача, здесь предстоит заполнять
> формы с большим количеством разнотипных полей включая ФОТОГРАФИИ!

да хоть ВИДЕО. Отправляй POST"ом хоть 100 Мб.

> Да в конце концов это всё будет осуществляться с компьютера
> по выделенке и ip будет статическим!

Все до одного тебе поверили. Честное слово.

2 xmrz (13.09.03 16:49)
Я лично против тебя абсолютно ничего не имею. Но учитывая количесво получаемого спама, даже не появляется желания решать подобные задачи.

Кстати о досках объявлений. Частенько такие общедоступные доски полны длинючих объявлений о том, что органзация продает, допустим, метизы. Полный перечень метизов прилагается. И так одно и тоже каждые 5-6 других объявлений. Неприятно. А за одно наводит на мысль, что сабжевые проги давно существуют.

← →
xmrz (2003-09-13 17:19) [15]

Программу писать всё равно придется. Вопрос времени.
Спасибо Ihor Osov"yak ©, к вопросу о цене. :)

Порой людям задающим вопрос в контексте которого явно звучит "как написать трояна" дают исчерпывающие объяснения.

← →
Calm (2003-09-13 18:15) [16]

> Порой людям задающим вопрос в контексте которого явно звучит
> "как написать трояна" дают исчерпывающие объяснения.

Порой людям, задающим вопрос, в контексте которого явно звучит "как написать спамерилку" не дают исчерпывающих объяснений.
Жизнь, такая штука, никогда не знаешь, чего ожидать :))

← →
xmrz (2003-09-13 21:40) [17]

... я же всего лишь попросил поделиться мнением о ТЕХНИЧЕСКОЙ стороне вопроса и возможных проблемах. Я не прошу написать. Я это и сам сделаю. А троянов пишут, всем форумом...

Автозаполнение web форм из базы данных Найти похожие ветки