Wie schon der Corpus Geniculatum Laterale besteht auch der visuelle Kortex aus sechs Zellschichten. Die vom Zwischenhirn kommenden Nervenfasern münde zunächst in Schicht IV. Dort befinden sich einfache Kortexzellen, von denen Verbindungen zu den darunter liegenden Schichten führen. Die komplexen Zellen befinden sich grundsätzlich außerhalb der Schicht IV.
Im visuellen Kortex findet man Gewebeblöcke, die sogenannten „Hypersäulen“, die bis zu 200 000 Neurone enthalten können. Deren eine Hälfte ist dabei mit dem linken, die andere mit dem rechten Auge verschaltet. Innerhalb einer solchen Hypersäule, die jeweils die Information aus einer kleinen Fläche des Sehfelds verarbeitet, werden bestimmte Bildanalysen durchgeführt. In Hypersäulen werden außerdem Farbinformationen und Tiefeneindrücke kodiert.