const spindel = require('spindel');
 
// Start a crawler at http://example.com:
const stream = spindel('http://example.com');
 
stream.on('data', res => {
    // see response object format below
});

// Start a crawler with an initial queue consisting of two urls:
const stream = spindel([
    'http://example.com',
    'http://another.com'
]);
 
stream.on('data', res => {
    // see response object format below
});

// Start a crawler with a custom queue:
const redisQueue = {
    popUrl() {
        return getNextUrlFromRedisAndReturnAPromise();
    },
    pushUrl(url) {
        return pushUrlToRedisAndReturnAPromise(url);
    }
};
const stream = spindel(redisQueue);
 
stream.on('data', res => {
    // see response object format below
});

{
    url: String, // the crawled url
    statusCode: Number, // the HTTP status code
    statusMessage: String, // the HTTP status message
    body: String, // the response body
    headers: Object, // the HTTP response headers
    hrefs: Array(String), // found <a href /> urls in the body if content is HTML
    transformedHtml: String // if content is HTML this contains the `body` after applying the `transformHtml` option function
}

function arrayQueue(initialUrls) {
    const urls = initialUrls.slice();
 
    return {
        pushUrl(url) {
            urls.push(url);
        },
        popUrl() {
            return urls.pop();
        }
    };
}