(D) Le temps du CPU est en corrélation avec l’entropie d’intégration – liée aux travaux récents de l’IA thermodynamique?

Le temps du CPU est en corrélation avec l’entropie d’intégration – liée aux travaux récents de l’IA thermodynamique?

Hé r / machinesearning,

J’ai optimisé les pipelines d’intégration et trouvé quelque chose qui pourrait se connecter aux articles récents sur "AI thermodynamique" approches.

Ce que je vois: – forte corrélation entre le temps de traitement du processeur et l’entropie de Shannon des coordonnées d’intégration
– différents types de contenu se regroupent dans "phases" – L’effet persiste sur plusieurs modèles de transformateur de phrases – plus fort lorsque la normalisation est désactivée (préserve l’ampleur de l’intégration)

Travail connexe que j’ai trouvé: – Travaux théoriques récents sur les cadres thermodynamiques pour les LLM – Articles utilisant l’entropie sémantique pour la détection d’hallucination (calcul d’entropie différent cependant) – Certains travaux sur les normes d’intégration en corrélation avec le contenu de l’information

Mes questions: 1. Quelqu’un d’autre a-t-il mesuré les corrélations directes de l’entropie CPU dans les intérêts? 2. Y a-t-il des cadres établis connectant la géométrie d’intégration au coût de calcul? 3. Le "semblable à une phase" Clustering – Est-ce un phénomène connu ou mérite d’être étudié?

Je vois des modèles qui suggèrent que les informations auraient pu mesurer "thermodynamique" Propriétés, mais je ne sais pas si c’est nouveau ou simplement redécouvrir des relations connues.

Tous les pointeurs vers la littérature pertinente seraient appréciés!