var vsctm = require('vscode-textmate');
var grammarPaths = {
    'source.js': './javascript.tmbundle/Syntaxes/JavaScript.plist'
};
 
var registry = new vsctm.Registry({
    loadGrammar: function (scopeName) {
        var path = grammarPaths[scopeName];
        if (path) {
            return new Promise((c,e) => {
                fs.readFile(path, (error, content) => {
                    if (error) {
                        e(error);
                    } else {
                        var rawGrammar = vsctm.parseRawGrammar(content.toString(), path);
                        c(rawGrammar);
                    }
                });
            });
        }
        return null;
    }
});
 
// Load the JavaScript grammar and any other grammars included by it async.
registry.loadGrammar('source.js').then(grammar => {
    // at this point `grammar` is available...
    var lineTokens = grammar.tokenizeLine('function add(a,b) { return a+b; }');
    for (var i = 0; i < lineTokens.tokens.length; i++) {
        var token = lineTokens.tokens[i];
        console.log('Token from ' + token.startIndex + ' to ' + token.endIndex + ' with scopes ' + token.scopes);
    }
});
 

var ruleStack = null;
for (var i = 0; i < lines.length; i++) {
    var r = grammar.tokenizeLine(lines[i], ruleStack);
    console.log('Line: #' + i + ', tokens: ' + r.tokens);
    ruleStack = r.ruleStack;
}