La primera fase de un compilador es la lexica, se encarga de leer un programa fuente ya sea escrito en cualquier lenguaje de programación de tu preferencia.  Su primer funcion del analizador lexico es leer los caracteres de entrada y generando como salida una secuencia de componentes léxicos que el analizador sintáctico utiliza para el análisis. Por lo general, esta interacción se implementa convirtiendo el analizador léxico en una subrutina o corrutina del sintáctico, se lee los caracteres de entrada hasta que pueda distinguir el siguiente componente léxico. Otro propósito es vincular los mensajes de error del compilador con el código fuente del programa, al recibir el codigo fuente el analizador lexico los divide en tokens, los tokens son referimos es el elemento mas pequeño de un programa que es significativo para un compilador. los tokens son fichas digitales que pueden representar muchas cosas diferentes en el mundo digital. algunos de los tokens utilizados son: palabras claves, identificadores, operadores como: ] ( ) { } , ; : ... * = # ! % ^ & – + | ~ \ ' " < > ? . / y caracteres de puntuacion. En la imagen 2.1 vemos unas lineas de codigo, al pasar la fase lexica se divide el programa en tokens valorarlo uno por uno, para entender los tokens en programacion es como aprender un alfabeto de un nuevo idioma. 

fuente: pFunción del Analizador Léxico. (s. f.). https://cidecame.uaeh.edu.mx/lcc/mapa/proyecto/libro32/21_funcin_del_analizador_lxico.html

Para entender mas sobre el tema de los tokens, necesitamos una tabla de simbolos que nos ayudan a valor los tokens que entran al analizador lexico. Una tabla de símbolos es una estructura de datos que asigna nombres a atributos. Los nombres son los identificadores que se utilizan en el código fuente, como variables, funciones, clases y constantes. Los atributos son las propiedades que describen los nombres, como su tipo, ámbito, valor, ubicación y tamaño. Como se muestra en la imagen anterior se genero la tabla de simbolos, en la cual se mostrara un ejemplo de un compilador de un lenguaje que clasifique imagenes para dividir el programa fuente en la tabla de simbolos.

Código fuente generado en javascript:

import * as tf from '@tensorflow/tfjs';

import * as mobilenet from '@tensorflow-models/';

const commands = 

LOAD_MODEL

CLASSIFY_IMAGE example.jpg

END`;

async function compileAndExecute(commands) {

const lines = commands.trim().split("\n");

let model = null;

for (let line of lines) {

const parts = line.trim().split(" ");

const command = parts[0];

const argument = parts[1];

switch (command) {

case "LOAD_MODEL":

console.log("Cargando el modelo...");

model =

model = aw

await mobilenet.load();

console.log("Modelo cargado exitosamente.");

break;

case "CLASSIFY_IMAGE":

if (!model) {

console.error("Primero debes cargar un modelo con LOAD_MODEL.");

return;

}

}

}

}

console.log(`Clasificando la imagen: ${argument}`);

const img = document.getElementById(argument);

const predictions = await model.classify(img);

console.log("Predicciones:", predictions);

break;

case "END":

console.log("Ejecución finalizada.");

return;

default:

console.error(`Comando no reconocido: ${command}`);

}

}

}

}

}

}

const imageHTML = `<img src="https://path/to/your/image.jpg" crossorigin="anonymous">`;

document.body.innerHTML += imageHTML;

compileAndExe

compileAndE

compileA

compileAndExecute(commands);

Acontinuacion se muestra la tabla de simbolos con todos los tokens generados del codigo fuente mostrado anteriormente: