Die Menge aller möglichen Werte einer Tokenklasse
ist üblicherweise eine reguläre Sprache,
und wird (extern) durch eine regulären Ausdruck beschrieben.
Die folgenden Aussagen sind äquivalent:
- L wird von einem regulären Ausdruck erzeugt.
 
- L wird von einer rechtslinearen Grammatik erzeugt.
  (Chomsky-Typ 3)
 
- L wird von einem endlichen Automaten akzeptiert.
 
- L wird von einem endlichen deterministischen Automaten akzeptiert.
 
Johannes Waldmann
2008-01-24