#0: TOKEN: KEYWORD    LEXEME: while
#1: TOKEN: IDENT      LEXEME: some
#2: TOKEN: KEYWORD    LEXEME: func
#3: TOKEN: IDENT      LEXEME: input
#4: TOKEN: OPERATOR   LEXEME: +
#5: TOKEN: INTCONST   LEXEME: -1234
#6: TOKEN: OPERATOR   LEXEME: *
#7: TOKEN: OPERATOR   LEXEME: /
#8: TOKEN: OPERATOR   LEXEME: -
#9: TOKEN: INTCONST   LEXEME: 0123
#10: TOKEN: INTCONST   LEXEME: -99
#11: TOKEN: OPERATOR   LEXEME: +
#12: TOKEN: IDENT      LEXEME: x
#13: TOKEN: IDENT      LEXEME: camelCase
#14: TOKEN: ?          LEXEME: &
#15: TOKEN: ?          LEXEME: &
#16: TOKEN: ?          LEXEME: ^
#17: TOKEN: PHCONST    LEXEME: (555)444-3321
#18: TOKEN: KEYWORD    LEXEME: print
#19: TOKEN: KEYWORD    LEXEME: if
#20: TOKEN: IDENT      LEXEME: flex
#21: TOKEN: KEYWORD    LEXEME: func
#22: TOKEN: DECCONST   LEXEME: 203.978
#23: TOKEN: DECCONST   LEXEME: -22.4
#24: TOKEN: OPERATOR   LEXEME: +
#25: TOKEN: STRCONST   LEXEME: "30x2"
#26: TOKEN: ?          LEXEME: '
#27: TOKEN: ?          LEXEME: !
#28: TOKEN: HEXCONST   LEXEME: ABCH
#29: TOKEN: IDENT      LEXEME: FFF
#30: TOKEN: DECCONST   LEXEME: 123.456
#31: TOKEN: INTCONST   LEXEME: 1
#32: TOKEN: INTCONST   LEXEME: +2
#33: TOKEN: OPERATOR   LEXEME: =
#34: TOKEN: INTCONST   LEXEME: 3
#35: TOKEN: INTCONST   LEXEME: +4
#36: TOKEN: OPERATOR   LEXEME: >
#37: TOKEN: IDENT      LEXEME: t
#38: TOKEN: BINCONST   LEXEME: 00B
#39: TOKEN: INTCONST   LEXEME: 1010101
#40: TOKEN: IDENT      LEXEME: B
#41: TOKEN: ?          LEXEME: "
#42: TOKEN: IDENT      LEXEME: a
#43: TOKEN: IDENT      LEXEME: bc
#44: TOKEN: ?          LEXEME: "
#45: TOKEN: PHCONST    LEXEME: 123.456.7890
#46: TOKEN: IDENT      LEXEME: banana
#47: TOKEN: INTCONST   LEXEME: 5
#48: TOKEN: ?          LEXEME: &
#49: TOKEN: ?          LEXEME: @
#50: TOKEN: SCICONST   LEXEME: 12.53E231
#51: TOKEN: INTCONST   LEXEME: 2
#52: TOKEN: IDENT      LEXEME: B
#53: TOKEN: IDENT      LEXEME: or
#54: TOKEN: IDENT      LEXEME: not
#55: TOKEN: IDENT      LEXEME: toBE1
#56: TOKEN: BINCONST   LEXEME: 111B
#57: TOKEN: INTCONST   LEXEME: 78
#58: TOKEN: IDENT      LEXEME: E
#59: TOKEN: OPERATOR   LEXEME: /
#60: TOKEN: INTCONST   LEXEME: -42
#61: TOKEN: ?          LEXEME: .
#62: TOKEN: ?          LEXEME: .
#63: TOKEN: STRCONST   LEXEME: "another str constant"
9 lines processed.