tibetan-tokenize

0.0.5 • Public • Published

tibetan-tokenize

Build Status

Tibetan Tokenization

Example

var tokenize = require('tibetan-tokenize');
console.log(tokenize('རྒྱལ་བའི་དབང་པོ་ཆོས་ཀྱི་གྲུ་བརྙེས་འདམ་ལས་བརྒལ།');
/*
    {
      tokens: [ 'རྒྱལ་', 'བའི་', 'དབང་', 'པོ་', 'ཆོས་', 'ཀྱི་', 'གྲུ་', 'བརྙེས་', 'འདམ་', 'ལས་', 'བརྒལ།'],
      offsets: [ 0, 5, 9, 13, 16, 20, 24, 28, 34, 38, 41 ]
    }
*/

To Begin

npm install tibetan-tokenize --save

Package Sidebar

Install

npm i tibetan-tokenize

Weekly Downloads

7

Version

0.0.5

License

ISC

Last publish

Collaborators

  • kmsheng