Программы ctokenizer.sf.net

CTokenizer принимает синтаксис СЗ в качестве ввода и выводит вектор объектов CToken, которые содержат строку токенов и (n перечисленный) тип токена, которые затем могут быть использованы для анализа входных данных.