gp

Описание

gp предоставляет интерфейс для получения содержимого страниц определенного сайта.

API

load()

Загружает страницы указанного сайта.

gp.get(options, callback);

Объект options содержит параметры поиска и загрузки страниц:

• timeout: Временной промежуток между запросами страниц в миллисекундах. По умолчанию - 3000.
• startURL: Обязательный аргумент. Указывает страницу, с которой начинается поиск.
• reg: Регулярное выражение для сопоставления с URL сохранямых страниц. По умолчанию сохраняются все страницы домена, указанного в startURL.
• handler: Функция, принимающая текстовое содержимое найденной страницы в первом аргументе и функцию обратного вызова - во втором. В функцию обратного вызова необходимо передать объект с данными, полученными со страницы или null, если такой объект не удалось создать (в таком случае страница не будет представлена в результатах). Если данная функция указана, результат будет представлен массивом полученных объектов, иначе - массивом строк, представляющих содержимое найденных страниц.
• progress: Вызывается каждый раз при получении результата найденной страницы. В единственном аргументе передается количество найденных результатов.

Функция callback принимает массив объектов со следующими свойствами:

• url: URL-адрес страницы.
• result: Результат, полученный из функции handler или текстовое содержимое страницы.