====== Зачем это нужно ======
Нередко в практике программистов встречаются задачи, когда нужно разобрать строку (как еще иногда говорят - распарсить). Решений этой задачи - множество. Это и простейший поиск очередного символа-разделителя, и регулярные выражения, и специальные алгоритмы (например, из коллекции [[Doc:cpp:boost:string_algo|boost::string_algo]]). Но иногда логика разбиения строки на части (т. е. логика разбора) может быть ну совсем уж специфичная. Или регулярное выражение получается очень уж навороченное. Или по каким-то причинам библиотека регулярных выражений (тот же [[Doc:cpp:boost:regex|boost::regex]]) неприменима. Тогда на помощь может придти boost::tokenizer.

====== Как это работает ======
====== Недостатки ======
====== Достоинства ======