CTokenizer

Лицензии: Бесплатный ‎Размер файла: N/A
‎Рейтинг пользователей: 3.0/5 - ‎1 ‎Голосов

О CTokenizer

CTokenizer принимает синтаксис СЗ в качестве ввода и выводит вектор объектов CToken, которые содержат строку токенов и (n перечисленный) тип токена, которые затем могут быть использованы для анализа входных данных.