Le reti neurali artificiali sono "modelli di conoscenza" dinamici, in quanto capaci di apprendere e autoregolarsi, e allo stesso tempo stabili, in quanto hanno una soluzione preferita definita da degli attrattori (o punti di equilibrio) del sistema.

Queste proprietà seguono perfettamente la logica secondo cui nella mente durante il giungere di uno stimolo avvengono due processi simultanei:

• l'input attiva percorsi neurali che recuperano concetti precedentemente memorizzati appartenenti alla stessa categoria (riconoscimento dello stimolo)

• nel momento in cui una categoria è rievocata viene conseguentemente rimodellata in base ad informazioni che lo stesso input contiene (apprendimento e rimodellazione di categoria).

Questi due processi avvengono allo stesso modo e con la stessa logica nelle reti neurali artificiali, dove durante un apprendimento la rete fornisce una risposta basata sui valori delle variabili da cui è composta e tali valori vengono modificati per avvicinarsi maggiormente alla risposta attesa relativamente all'input appena elaborato.

Il meccanismo evoca anche il concetto di conoscenza sub-simbolica che si discosta dalla conoscenza simbolica secondo la quale la nostra rappresentazione mentale della realtà è codificata in simboli ben definiti collegati tra loro da reti semantiche ricostruibili tramite diagrammi.

Le reti neurali invece, usano percorsi di attivazione neurale tutti definiti in un'unica struttura, che riconoscono gli input in maniera meno precisa ma più generalizzabile (secondo una logica chiamata fuzzy) tramite tutte le unità che compongono il modello stesso.

La categorizzazione di una rete neurale è la sua capacità di dividere gli input in gruppi diversi a seconda di un significato di cui cercano di individuare una coerenza.

La generalizzazione in una rete neurale, già addestrata a categorizzare diversi input, consiste nel fornire una risposta appropriata per un input che non era mai stato analizzato precedentemente.

La capacità di generalizzare è in funzione del tipo di addestramento eseguito sulla rete neurale. L'eccessivo addestramento su una rete, però, può dare luogo a sovraddestramento (overfitting): la rete, cioè, ha imparato talmente bene ad eseguire il compito che riconosce solo i pattern nel set di addestramento.

Una rete neurale che riesce a generalizzare diventa molto utile anche nel riconoscere dati rumorosi o incompleti.