var Krawler = require('krawler')
 
var urls = [
    'http://ondraplsek.cz'
];
 
var krawler = new Krawler;
 
krawler
    .queue(urls)
    .on('data', function($, url, response) {
        // $ - cheerio instance
        // url of the current webpage
        // response object from mikeal/request
    })
    .on('error', function(err, url) {
        // there has been an 'error' on 'url'
    })
    .on('end', function() {
        // all URLs has been fetched
    });

var krawler = new Krawler({
    maxConnections: 10, // number of max simultaneously opened connections, default 10
    parser: 'cheerio',  // web page parser, default 'cheerio'
                        // another options are xml, json or false (no parser will be used, raw data will be returned)
    forceUTF8: false,   // if Krawler should convert source string to utf8, default false
});

var urls = [
    'https://graph.facebook.com/nodejs',
    'https://graph.facebook.com/facebook',
    'https://graph.facebook.com/cocacola',
    'https://graph.facebook.com/google',
    'https://graph.facebook.com/microsoft',
];
 
var krawler = new Krawler({
    maxConnections: 5,
    parser: 'json',
    forceUTF8: true
});
 
krawler
    .queue(urls)
    .on('data', function(json, url, response) {
        // do something with json...
    })
    .on('error', function(err, url) {
        // there has been an 'error' on 'url'
    })
    .on('end', function() {
        // all URLs has been fetched
    });

var queueOptions = {
    customCallback: true
};
 
krawler
    .queue(urls, queueOptions)
    .on('data', function($, url, response, callback) {
 
        // expensive operation
        downloadAllInternet
            .then(function() {
                // ...
            })
            .fin(callback); // always call the callback
    })
    .on('error', function(err, url, callback) {
        // there has been an 'error' on 'url'
        callback();
    })
    .on('end', function() {
        // all URLs has been fetched
    });

var Krawler = require('krawler')
 
var urls = [
    { name: 'SomeSite', url: 'http://ondraplsek.cz' }
];
 
var krawler = new Krawler;
 
krawler
    .queue(urls)
    .on('data', function($, url, response) {
        // $ - cheerio instance
        // url - the object which also contains the url property
        // response - object from mikeal/request
        // you can access object properties here, e.g. url.name = 'SomeSite'
    })
    .on('error', function(err, url) {
        // there has been an 'error' on 'url'
    })
    .on('end', function() {
        // all URLs has been fetched
    });

var krawler = new Krawler;
 
findUrl()
.then(function(url) {
    return krawler.fetchUrl(url);
})
.then(function(result) {
    // in this case result.data in a cheerio instance
    return processData(result.data);
})
// and so on ...