Token (testo)

In informatica, un token è un blocco di testo categorizzato, normalmente costituito da caratteri indivisibili chiamati lessemi. Un analizzatore lessicale inizialmente legge i lessemi e li suddivide in categorie a seconda della loro funzione, dando loro un significato. Questa assegnazione di significato è chiamata tokenizzazione. Un token può essere scritto in qualsiasi linguaggio: deve però avere una qualche utilità in un testo strutturato.

Tags

Altre guide della stessa
categoria

0 COMMENTI
Commenta

Lascia qui il tuo commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *