Sujet: circuits

Dans le récit original de l’apprentissage en profondeur, chaque neurone construit progressivement des caractéristiques significatives et plus abstraites en composant des caractéristiques dans la couche précédente. Ces dernières années, il y a eu un scepticisme de ce point de vue, mais que se passe-t-il si vous le prenez vraiment au sérieux?

InceptionV1 est un modèle de vision classique avec environ 10 000 neurones uniques – un grand nombre, mais toujours à une échelle qu’un effort de groupe pourrait attaquer. Et si vous passez simplement par le modèle, Neuron by Neuron, essayant de comprendre chacun et les connexions entre elles? La collaboration des circuits vise à le découvrir.

Articles et commentaires

L’unité naturelle de publication pour enquêter sur les circuits semble être de courts papiers sur des circuits individuels ou de petites familles de caractéristiques. Par rapport aux papiers normaux d’apprentissage automatique, il s’agit d’un sujet petit et inhabituel pour un article.

Pour faciliter l’exploration de cette direction, Distill invite un «fil» d’articles courts sur les circuits, entrecoupés de commentaires critiques par des experts dans des champs adjacents. Le fil sera un document vivant, avec de nouveaux articles ajoutés au fil du temps, organisés via un canal ouvert ouvert (#Circuits dans le
Distiller le mou). Le contenu dans ce fil doit être considéré comme une recherche exploratoire à un stade précoce.

Des articles et des commentaires sont présentés ci-dessous dans l’ordre chronologique:

S’impliquer

Le thread Circuits est ouvert aux articles explorant les caractéristiques individuelles, les circuits et leur organisation dans les réseaux de neurones. Les commentaires critiques et la discussion des articles existants sont également les bienvenus. Le fil est organisé par l’ouverture #circuits canal sur le
Distiller le mou. Des articles peuvent y être suggérés et seront inclus à la discrétion des auteurs précédents dans le fil, ou en cas de désaccord par un éditeur non impliqué.

Si vous souhaitez vous impliquer mais que vous ne savez pas par où commencer, de petits projets peuvent être disponibles si vous demandez dans la chaîne.

À propos du format de fil

Une partie du mandat de Distill est d’expérimenter de nouvelles formes d’édition scientifique. Nous pensons que la réconciliation des approches plus rapides et plus continues de la publication avec revue et discussion est un problème ouvert important dans l’édition scientifique.

Les fils sont des collections d’articles courts, des expériences et des commentaires critiques autour d’un sujet de recherche étroit ou inhabituel, ainsi qu’un canal Slack pour la discussion et la collaboration en temps réel. Ils sont destinés à être antérieurs à un document de distill complet et permettent une publication, une rétroaction et une discussion plus fluides. Nous espérons également qu’ils permettront une participation plus large. Pensez à un croisement entre un fil Twitter, un atelier académique et un livre d’essais collectés.

Les threads sont vraiment une expérience. Nous pensons qu’il est possible qu’ils soient un excellent format, et aussi possibles sont terribles. Nous prévoyons d’essayer deux de ces fils, puis de réévaluer notre pensée sur le format.

Informations sur la citation

Si vous souhaitez citer ce fil dans son ensemble, les informations de citation peuvent être trouvées ci-dessous. L’ordre de l’auteur est tous des participants au fil dans l’ordre alphabétique. Puisqu’il s’agit d’un document vivant, la citation peut ajouter des auteurs supplémentaires au fur et à mesure qu’il évolue. Vous pouvez également citer des articles individuels en utilisant les informations de citation fournies au bas de l’article correspondant.

Mises à jour et corrections

Si vous voyez des erreurs ou souhaitez suggérer des modifications, veuillez Créer un problème sur Github.

Réutilisation

Les diagrammes et le texte sont sous licence Creative Commons Attribution CC-BY 4.0 avec Source disponible sur githubsauf indication contraire. Les chiffres qui ont été réutilisés à partir d’autres sources ne relèvent pas de cette licence et peuvent être reconnus par une note dans leur légende: «figure de…».

Citation

Pour l’attribution dans des contextes académiques, veuillez citer ce travail comme

Cammarata, et al., "Thread: Circuits", Distill, 2020.

Citation bibtex

@article{cammarata2020thread:,
  author = {Cammarata, Nick and Carter, Shan and Goh, Gabriel and Olah, Chris and Petrov, Michael and Schubert, Ludwig and Voss, Chelsea and Egan, Ben and Lim, Swee Kiat},
  title = {Thread: Circuits},
  journal = {Distill},
  year = {2020},
  note = {https://distill.pub/2020/circuits},
  doi = {10.23915/distill.00024}
}