Форум: "Начинающим";
Текущий архив: 2013.03.22;
Скачать: [xml.tar.bz2];
ВнизПомогите то ли с куки, то ли с переадресацией Найти похожие ветки
← →
DevilDevil © (2012-03-06 10:16) [0]Я как бы новичок в сетевых технологиях
Нужно спарсить базу товаров на сайте
Вроде бы я заполнял там какую-то форму на днях
Если в браузере иду по этой ссылке
http://www.kaufland.de/Home/02_Sortiment/K-Classic/Neu_im_Sortiment/index.jsp
то имею скриншот: http://imagepost.ru/?v=screen_104.JPG
А если я по http закачиваю страницу, то получаю: http://zalil.ru/32828692
Или по скриншоту так: http://imagepost.ru/?v=screen_105.JPG
то есть ничего
помогите пожалуйста разобраться с ситуацией
нужно очень
← →
Омлет © (2012-03-06 10:37) [1]> А если я по http закачиваю страницу, то получаю
Читай про каскадные таблицы стилей (CSS).
← →
Омлет © (2012-03-06 10:39) [2]А потом про javascript.
← →
DevilDevil © (2012-03-06 10:44) [3]> Омлет © (06.03.12 10:39) [2]
читай вопрос
я спросил "помогите". А не "отправьте меня на теоретические курсы"
Если есть конкретное место на которое стоит обратить внимание - укажи. Если нужны какие-то дополнительные запросы - укажи где они и каким образом в моём случае обработать.
← →
DevilDevil © (2012-03-06 10:53) [4]дело не в том, что страница теряет во внешнем виде
дело в том, что контент иной
← →
Anatoly Podgoretsky © (2012-03-06 11:37) [5]> DevilDevil (06.03.2012 10:53:04) [4]
А чем ты недоволен, запрашиваешь разный контент, разный и получаешь.
← →
brotherirk (2012-03-06 11:52) [6]по
> http://zalil.ru/32828692
находится ТОЛЬКО html (css, javascript отсутствуют)!
← →
brother © (2012-03-06 11:53) [7]test
← →
brother © (2012-03-06 11:55) [8]тебе либо все тащить с сайта в локальную папку, либо поправь ссылки в http://zalil.ru/32828692 с относительных путей на абсолютные...
← →
brother © (2012-03-06 11:59) [9]и еще:
> А если я по http закачиваю страницу
как скачивал?
← →
DevilDevil © (2012-03-06 12:07) [10]> А чем ты недоволен, запрашиваешь разный контент, разный
> и получаешь.
в каком смысле ?
я иду по той же ссылке и ожидаю список товаров. Но его нет
> brother © (06.03.12 11:53) [7]
дело в том, что я не получаю списка товаров, какой мне нужен!
закачиваю через InternetConnect/HttpOpenRequest/HttpSendRequest
несколько простых сайтов уже спарсил
← →
brother © (2012-03-06 12:13) [11]> несколько простых сайтов уже спарсил
Вот! это где контент был сразу доступен, а в случае [0] контент, после загрузки основной html страницы, еще подгружается через (я подозреваю) Ajax или подобное, но тк. ты не загрузил и не
выполнил загрузки javascript, то ты и видишь другое, чем на оригинальном сайте
← →
brother © (2012-03-06 12:14) [12]> Я как бы новичок в сетевых технологиях
не в сетевых, а веб...
← →
DevilDevil © (2012-03-06 12:19) [13]> выполнил загрузки javascript, то ты и видишь другое, чем
> на оригинальном сайте
хорошие слова
но что делать то ?
← →
brother © (2012-03-06 12:21) [14]если сложно, то грузи и кликай в баузере, а потом уже и смотри на содержимое...
← →
DevilDevil © (2012-03-06 12:25) [15]> brother © (06.03.12 12:21) [14]
не хочу
хочу отправлять и загружать запросы, закачивать данные
мне кажется ты сам не в теме
← →
brother © (2012-03-06 12:27) [16]О_о Удачи!
← →
Anatoly Podgoretsky © (2012-03-06 12:38) [17]> DevilDevil (06.03.2012 12:07:10) [10]
По какой ссылке идешь, никакого кода не видать
← →
Anatoly Podgoretsky © (2012-03-06 12:41) [18]
> хочу отправлять и загружать запросы, закачивать данные
Не хочешь не надо, делай сам всю работу, которую делает браузер.
← →
DevilDevil © (2012-03-06 12:59) [19]> Anatoly Podgoretsky © (06.03.12 12:41) [18]
зачем для пары запросов и функций использовать браузер ?
> По какой ссылке идешь, никакого кода не видать
в каком смысле ?
← →
Омлет © (2012-03-06 15:17) [20]
> дело в том, что я не получаю списка товаров, какой мне нужен!
О каком списке речь? Там и там одно и то же, по-моему.
← →
DevilDevil © (2012-03-06 15:26) [21]> Омлет © (06.03.12 15:17) [20]
я для этого и приводил ссылки
если я в браузере иду сюда: http://www.kaufland.de/Home/02_Sortiment/K-Classic/Neu_im_Sortiment/index.jsp
то получаю список товаров: http://imagepost.ru/?v=screen_104.JPG
Если закачиваю страницу программными средствами, то получаю такую страницу: http://zalil.ru/32828692
то есть БЕЗ СПИСКА товаров
Вопрос прежний. Как программно дойти до этого списка товаров ?
← →
Омлет © (2012-03-06 16:30) [22]> DevilDevil © (06.03.12 15:26) [21]
> то получаю список товаров: http://imagepost.ru/?v=screen_104.JPG
Когда перехожу по ссылке - появляется всплывающее окошко (что-то там просят ввести), закрываю его - появляется еще одно с каким-то сообщением - тоже закрываю. Нет у меня списка товаров в браузере. Расскажи, как получить.
← →
DevilDevil © (2012-03-06 17:12) [23]> Омлет © (06.03.12 16:30) [22]
ага !
то, что нужно !
первое поле: 32105
второе: Bad Salzuflen
!!!
← →
Омлет © (2012-03-06 20:00) [24]> первое поле: 32105
> второе: Bad Salzuflen
Ну ввел, нажал ентер - дальше какие-то списки, адреса. Список товаров так и не удалось получить. Не понимаю я по-ихнему.
← →
sniknik © (2012-03-06 22:52) [25]если про окно в центре, то там аякс, подгружаются данные непосредственно из страницы, ссылки типа, ну и содержимое можно посмотреть...
http://213.144.6.110/kaufland/kaufland.de/choose.do;jsessionid=C93F4FD7E4277F0E1A4B89049B113C6B
это то, что из твоих параметров сделало, научись также как их скрипт и пользуйся.
← →
DevilDevil © (2012-03-07 12:36) [26]> sniknik © (06.03.12 22:52) [25]
чёт слишком сложно
похоже придётся через WebBrowser делать
← →
brother © (2012-03-07 12:47) [27]> мне кажется ты сам не в теме
:)
← →
sniknik © (2012-03-07 13:27) [28]> чёт слишком сложно
и даже еще сложнее... вот на другом компе, сегодня, по этой ссылке дает только заголовок без данных, т.е. либо сессия кончилась, либо она рассчитывается до этого, и персонально для компа.
т.е. должны быть еще действия, до, чтобы показало список.
в принципе их можно повторить... есть же файребаг в фарефоксе все можно посмотреть как и что.
← →
stas © (2012-03-07 13:49) [29]DevilDevil © (07.03.12 12:36) [26]
Поставь http сниффер и посмотри что делает браузер для того чтобы получить список товаров. И сделай это сам если сможешь. А нет значит только через браузер.
← →
DevilDevil © (2012-03-07 14:03) [30]> stas © (07.03.12 13:49) [29]
есть на примете толковая литература по сниферам ?
для меня это новая информация )
или только гугл ? )
← →
sniknik © (2012-03-07 14:08) [31]> толковая литература по сниферам ?
> файребаг в фарефоксе
+ httpfox + куча кучная других дополнений для разработчика.
← →
DevilDevil © (2012-03-07 14:13) [32]> sniknik © (07.03.12 14:08) [31]
лана
буду разбираться
спасибо )
← →
знайка (2012-03-07 20:13) [33]средств сейчас кругом, в том же ИЕ есть встроенный, никаких доп плагинов
fiddler еще есть
Страницы: 1 вся ветка
Форум: "Начинающим";
Текущий архив: 2013.03.22;
Скачать: [xml.tar.bz2];
Память: 0.52 MB
Время: 0.061 c