Token-Typen

Token-Typen sind üblicherweise

• reservierte Wörter (if, while, class, ...)
• Bezeichner (foo, bar, ...)
• Literale für ganze Zahlen, Gleitkommazahlen, Strings, Zeichen
• Trennzeichen (Komma, Semikolon)
• Klammern (runde: paren(these)s, eckige: brackets, geschweifte: braces) (jeweils auf und zu)
• Operatoren (=, +, &&, ...)

alle Token eines Typs bilden eine formale Sprache