#0: TOKEN: KEYWORD    LEXEME: while
#1: TOKEN: IDENT      LEXEME: some
#2: TOKEN: KEYWORD    LEXEME: func
#3: TOKEN: IDENT      LEXEME: input
#4: TOKEN: OPERATOR   LEXEME: +
#5: TOKEN: INTCONST   LEXEME: -1234
#6: TOKEN: OPERATOR   LEXEME: *
#7: TOKEN: OPERATOR   LEXEME: /
#8: TOKEN: OPERATOR   LEXEME: -
#9: TOKEN: INTCONST   LEXEME: 0123
#10: TOKEN: INTCONST   LEXEME: -99
#11: TOKEN: OPERATOR   LEXEME: +
#12: TOKEN: IDENT      LEXEME: x
#13: TOKEN: IDENT      LEXEME: camelCase
#14: TOKEN: OPERATOR   LEXEME: &
#15: TOKEN: OPERATOR   LEXEME: &
#16: TOKEN: ?          LEXEME: ^
#17: TOKEN: KEYWORD    LEXEME: print
#18: TOKEN: KEYWORD    LEXEME: if
#19: TOKEN: IDENT      LEXEME: flex
#20: TOKEN: KEYWORD    LEXEME: func
#21: TOKEN: DECCONST   LEXEME: 203.978
#22: TOKEN: DECCONST   LEXEME: -22.4
#23: TOKEN: OPERATOR   LEXEME: +
#24: TOKEN: STRCONST   LEXEME: "30x2"
#25: TOKEN: ?          LEXEME: '
#26: TOKEN: ?          LEXEME: !
#27: TOKEN: HEXCONST   LEXEME: ABCH
#28: TOKEN: IDENT      LEXEME: FFF
#29: TOKEN: DECCONST   LEXEME: 123.456
#30: TOKEN: INTCONST   LEXEME: 1
#31: TOKEN: INTCONST   LEXEME: +2
#32: TOKEN: INTCONST   LEXEME: 3
#33: TOKEN: INTCONST   LEXEME: +4
#34: TOKEN: OPERATOR   LEXEME: >
#35: TOKEN: IDENT      LEXEME: t
#36: TOKEN: BINCONST   LEXEME: 00B
#37: TOKEN: INTCONST   LEXEME: 1010101
#38: TOKEN: IDENT      LEXEME: B
#39: TOKEN: ?          LEXEME: "
#40: TOKEN: IDENT      LEXEME: a
#41: TOKEN: IDENT      LEXEME: bc
#42: TOKEN: ?          LEXEME: "
#43: TOKEN: INTCONST   LEXEME: 5
#44: TOKEN: ?          LEXEME: #
#45: TOKEN: ?          LEXEME: @
#46: TOKEN: SCICONST   LEXEME: 12.53E231
#47: TOKEN: INTCONST   LEXEME: 2
#48: TOKEN: IDENT      LEXEME: B
#49: TOKEN: IDENT      LEXEME: or
#50: TOKEN: IDENT      LEXEME: not
#51: TOKEN: IDENT      LEXEME: toBE1
#52: TOKEN: BINCONST   LEXEME: 111B
#53: TOKEN: INTCONST   LEXEME: 78
#54: TOKEN: IDENT      LEXEME: E
#55: TOKEN: OPERATOR   LEXEME: /
#56: TOKEN: INTCONST   LEXEME: -42
#57: TOKEN: ?          LEXEME: .
#58: TOKEN: ?          LEXEME: .
#59: TOKEN: STRCONST   LEXEME: "another str constant"
9 lines processed.