Парсер

← →
Алексей Шестченко (2008-02-07 20:13) [0]

Если я неправильно понял,то поправьте и подскажите.
Не совсем "оценивающее ситуацию" начальство дало задание "проверить интеренет" на наличие сайтов где находятся название нашей программы.
Понятное дело что вручное это не возможно и я так понял что надо сделать некий парсер. Может кто дать ссылки или направить в какую сторону копать и что делать. Маленький опыт с delphi есть.
Заранее благодарю.

← →
Джо © (2008-02-07 20:17) [1]

Google.com
и поиск по резултатам.

← →
clickmaker © (2008-02-07 20:19) [2]

> "проверить интеренет" на наличие сайтов где находятся название
> нашей программы

google.ru и yandex.ru

← →
Алексей Шестченко (2008-02-07 20:31) [3]

Большое спасибо за ответы.
Я не в полной мере описал задачу. Нужно получить только ссылки на эти сайты,а затем в отчет. Т.е. в memo построчно записывать найденные ссылки.
С уважением, Алексей.

← →
Алексей Шестченко (2008-02-08 04:41) [4]

Скажите пожалуйста есть ли аналоги, работающие быстрее чем
HTTP.Get(); ??
полученную ссылку загружаю в мемо и далее анализирую.
если использваоть не мемо а работать с памятью то будет быстрее? подскажите каким образом увеличить скорость работы ?
Спасибо

← →
ketmar © (2008-02-08 05:08) [5]

всё то же самое. из html от гугля можно тупо выдёргивать ссылки регулярными выражениями.

---
Understanding is not required. Only obedience.

← →
ketmar © (2008-02-08 05:10) [6]

>[4] Алексей Шестченко (2008-02-08 04:41:00)
куда уж быстрей-то? разве телепатией.

а в memo не надо. что за привычка — как хранилище, так memo. это редактор для заметок, а не хранилище для мусора.

скорость работы же увеличить просто: переписать программу. откуда нам знать, что ты там натворил у себя в коде? но 17-ю строку проверь, на всякий случай.

---
Understanding is not required. Only obedience.

← →
Бегущий человек © (2008-02-08 05:26) [7]

>ketmar © (08.02.08 05:10) [6]
Ничего удобнее memo для отображения разного текстового мусора в VCL еще не придумано.
> аффтар
Пока нет кода - подсказывать нечего.

← →
Алексей Шестченко (2008-02-08 05:39) [8]

показывал же код:
memo1.Lines.Text := HTTP.Get();
но текста много и вставляется не сразу, потом обратока из этого же memo, может стоит использовать StringList?
Спасибо за ответы

← →
ketmar © (2008-02-08 06:06) [9]

>[7] Бегущий человек © (2008-02-08 05:26:00)
ну вот и посмотри на [8]. если memo для этого придумано — я Гигер.

---
Understanding is not required. Only obedience.

← →
ketmar © (2008-02-08 06:07) [10]

>[8] Алексей Шестченко (2008-02-08 05:39:00)
стоит. не просто стоит, а категорически рекомендуется. а ещё лучше — получить, например, всё скопом и натравить на это многокилометровый regexp. и язык лучше взять perl, например.

---
Understanding is not required. Only obedience.

← →
Anatoly Podgoretsky © (2008-02-08 08:40) [11]

> memo1.Lines.Text := HTTP.Get();

Это не парсер и единственная потеря здесь - время на выделение памяти, кстати очень много, примерно раза в три/четыре больше чем размер текста.
Хочешь ускорить и уменьшить потери, то S := HTTP.Get();

← →
han_malign © (2008-02-08 11:19) [12]

> Ничего удобнее memo для отображения разного текстового мусора в VCL еще не придумано.

- для всякого текстового мусора существуют логи...

> но текста много и вставляется не сразу, потом обратока из
> этого же memo, может стоит использовать StringList?

- а чем не устраивет простой String и конкатенация?(см. Anatoly Podgoretsky © [11])

← →
DrPass © (2008-02-08 12:36) [13]

> Алексей Шестченко (08.02.08 05:39) [8]
> показывал же код:
> memo1.Lines.Text := HTTP.Get();
> но текста много и вставляется не сразу

Ну наверное ж вставляется не сразу не потому, что текста много, а потому, что сначала ищет страницу в Интернете и скачивает ее к тебе на компьютер. И только потом загружает в мемо

← →
Алексей Шестченко (2008-02-08 13:27) [14]

разницы нету что в стринг что в мемо, ~50-200 мс

← →
Алексей Шестченко (2008-02-08 13:28) [15]

так вот может надо использовать другой компонент нежели idhttp?
Благодарю всех за ответы и трату времени!

>[15] Алексей Шестченко (2008-02-08 13:28:00)
>может надо использовать другой компонент нежели idhttp?
а что ты такого делаешь, что так жестоко на тормоза наступаешь? может, виноват и не жираф?

---
Understanding is not required. Only obedience.

> [14] Алексей Шестченко (08.02.08 13:27)

дык а с чего ты взял что это время парсинга? как бы от доступности хоста это разве не зависит?

это ж какой интернет надо иметь что бы за меньше чем 50 мс ресурс получался...

← →
Алексей Шестченко (2008-02-08 15:14) [19]

Да...что то совсем я:)
Вообщем всё нормально работает! Спасибо всем, тему можно закрывать!

Парсер Найти похожие ветки