#0: TOKEN: KEYWORD    LEXEME: while
#1: TOKEN: IDENT      LEXEME: some
#2: TOKEN: KEYWORD    LEXEME: func
#3: TOKEN: IDENT      LEXEME: input
#4: TOKEN: OPERATOR   LEXEME: +
#5: TOKEN: INTCONST   LEXEME: -1234
#6: TOKEN: OPERATOR   LEXEME: *
#7: TOKEN: OPERATOR   LEXEME: /
#8: TOKEN: OPERATOR   LEXEME: -
#9: TOKEN: INTCONST   LEXEME: 0123
#10: TOKEN: INTCONST   LEXEME: -99
#11: TOKEN: OPERATOR   LEXEME: +
#12: TOKEN: IDENT      LEXEME: x
#13: TOKEN: IDENT      LEXEME: camelCase
#14: TOKEN: OPERATOR   LEXEME: &
#15: TOKEN: OPERATOR   LEXEME: &
#16: TOKEN: ?          LEXEME: ^
#17: TOKEN: PHCONST    LEXEME: (555)444-3321
#18: TOKEN: KEYWORD    LEXEME: print
#19: TOKEN: KEYWORD    LEXEME: if
#20: TOKEN: IDENT      LEXEME: flex
#21: TOKEN: KEYWORD    LEXEME: func
#22: TOKEN: DECCONST   LEXEME: 203.978
#23: TOKEN: DECCONST   LEXEME: -22.4
#24: TOKEN: OPERATOR   LEXEME: +
#25: TOKEN: STRCONST   LEXEME: "30x2"
#26: TOKEN: ?          LEXEME: '
#27: TOKEN: ?          LEXEME: !
#28: TOKEN: HEXCONST   LEXEME: ABCH
#29: TOKEN: IDENT      LEXEME: FFF
#30: TOKEN: DECCONST   LEXEME: 123.456
#31: TOKEN: INTCONST   LEXEME: 1
#32: TOKEN: INTCONST   LEXEME: +2
#33: TOKEN: INTCONST   LEXEME: 3
#34: TOKEN: INTCONST   LEXEME: +4
#35: TOKEN: OPERATOR   LEXEME: >
#36: TOKEN: IDENT      LEXEME: t
#37: TOKEN: BINCONST   LEXEME: 00B
#38: TOKEN: INTCONST   LEXEME: 1010101
#39: TOKEN: IDENT      LEXEME: B
#40: TOKEN: ?          LEXEME: "
#41: TOKEN: IDENT      LEXEME: a
#42: TOKEN: IDENT      LEXEME: bc
#43: TOKEN: ?          LEXEME: "
#44: TOKEN: PHCONST    LEXEME: 123.456.7890
#45: TOKEN: INTCONST   LEXEME: 5
#46: TOKEN: ?          LEXEME: #
#47: TOKEN: ?          LEXEME: @
#48: TOKEN: SCICONST   LEXEME: 12.53E231
#49: TOKEN: INTCONST   LEXEME: 2
#50: TOKEN: IDENT      LEXEME: B
#51: TOKEN: IDENT      LEXEME: or
#52: TOKEN: IDENT      LEXEME: not
#53: TOKEN: IDENT      LEXEME: toBE1
#54: TOKEN: BINCONST   LEXEME: 111B
#55: TOKEN: INTCONST   LEXEME: 78
#56: TOKEN: IDENT      LEXEME: E
#57: TOKEN: OPERATOR   LEXEME: /
#58: TOKEN: INTCONST   LEXEME: -42
#59: TOKEN: ?          LEXEME: .
#60: TOKEN: ?          LEXEME: .
#61: TOKEN: STRCONST   LEXEME: "another str constant"
10 lines processed.