w e t w a r e

Wolfgang Maass

Institut für Grundlagen der Informationsverarbeitung

Technische Universität Graz

Inffeldgasse 16b

A-8010 Graz, Austria

maass@igi.tu-graz.ac.at

http://www.igi.TUGraz.at/maass






Wenn Sie Wasser über Ihren PC schütten, so wird er nicht mehr funktionieren. Der Grund dafür ist, daß man nach einer über 500 Millionen Jahre andauernden Entwicklungsgeschichte von Systemen zur Informationsverarbeitung1 neuerdings Geräte entwickelt hat wie Ihren PC, die eine trockene Umgebung erfordern. Leider haben diese neuen Geräte, die aus hardware und software bestehen, einen Nachteil: sie sind nicht so leistungsfähig wie die älteren Systeme zur Informationsverarbeitung, die man Nervensysteme, oder Gehirne oder allgemeiner wetware nennt. Diese überlegenen Systeme zur Informationsverarbeitung wurden so gebaut, daß sie im Wasser, genauer gesagt im Salzwasser funktionieren, offenbar deshalb, weil viele der ersten Organismen mit Nervensystemen aus dem Meer kamen. Wir tragen in unserem Gehirn ein entferntes Echo dieser Urgeschichte der Informationsverarbeitung: die Neuronen in unserem Gehirn sind eingebettet in eine künstliche Meeres-Umgebung, eine Salzwasser-Lösung. Die enge Beziehung zwischen der wetware in unserem Gehirn, und der wetware in evolutionsgeschichtlich älteren Organismen die immer noch im Meerwasser leben, hat sich sogar als recht vorteilhaft für die Hirnforschung herausgestellt. Zum Beispiel sind die Neuronen im Tintenfisch 100 bis 1000 mal größer als in unserem Gehirn, und können daher leichter untersucht werden. Trotzdem gelten die mathematischen Gleichungen, die Hodgkin und Huxley aufstellten um die Dynamik eines Neurons im Tintenfisch zu modellieren (wofür sie 1963 den Nobel-Preis erhielten), auch für die Neuronen in Ihrem Gehirn. In diesem kurzen Aufsatz möchte ich Ihnen einen kurzen Einblick in die dem Tintenfisch und Menschen gemeinsame Welt der Informationsverarbeitung in wetware geben.

Ein grundlegendes Problem, das die Natur lösen mußte, um Informationsverarbeitung in wetware zu ermöglichen, war die Frage der Kommunikation: Wie können Zwischenergebnisse der Informationsverarbeitung eines Neurons an andere Neuronen, oder an Output-Geräte wie zum Beispiel Muskeln, gesendet werden? Im PC werden Ströme von bits über Kupferdrähte geschickt. Aber Kupferdrähte waren vor einigen hundert Millionen Jahren noch nicht erhältlich, und außerdem funktionieren sie im Meerwasser nicht so gut. Als Lösung fand die Natur das sogenannte Aktionspotential oder spike. Der spike kann als atomare Einheit der Informationsübertragung in wetware angesehen werden, und entspricht daher dem bit in hardware und software. Ein spike ist ein sehr rascher Anstieg der elektrischen Spannung im Neuron, der ungefähr 1 ms (= 1/1000 Sekunde) währt, und der vom Neuron durch eine lange Faser, Axon genannt, ausgesendet wird, die am Zellkörper befestigt ist.
 
 

Abbildung 1: Vereinfachte Darstellung eines Neurons mit Input-Bereich, Zellkörper (mit trigger zone am rechten Ende des Zellkörpers), und Output-Bereich. Die Synapsen zu den nächsten Neuronen sind durch blaue Dreiecke markiert.


Dieses Axon übernimmt die Funktion eines isolierten Kupferdrahtes in hardware. Die graue Masse Ihres Gehirns enthält in jedem Kubik-Millimeter (mm3) etwa 4 km solcher Axone. Diese Axone haben eine große Zahl von Verzweigungspunkten (siehe den Axonenbaum auf der rechten Seite in Abb. 2), an denen ein spike meist dupliziert wird, so daß er in möglichst viele Verzweigungen hineinkommt.
 
 

Abbildung 2: ein spike (zeitlicher Verlauf des Spannungspulses am Zellkörper).


Auf diese Weise wird ein spike von einem einzigen Neuron an einige tausend andere Neuronen übertragen. Aber um wirklich von einem Neuron zu einem anderen zu gelangen, muß der spike über einen recht komplizierten Schalter laufen, die sogenannte Synapse.
 
 

Abbildung 3: Der präsynaptische Teil einer Synapse ist in der Abbildung oben gezeigt. Der vom Axon oben hereinkommende spike kann veranlassen, daß ein mit Neurotransmitter-Molekülen angefüllter Behälter mit der Zell-Membrane verschmilzt, so daß die darin enthaltenen Neurotransmitter Moleküle in den extrazellulären Raum entlassen werden. Wenn diese den Spalt (synaptic cleft) zum nächsten Neuron, dem unten gezeichneten postsynaptischen Neuron, überwinden, und dort einen Rezeptor erreichen, so öffnet dieser einen Kanal, durch den elektrisch geladene Teilchen (Ionen) in das postsynaptische Neuron eindringen können. Leere Behälter für Neurotransmitter werden vom präsynaptischen Neuron "recycled".


Wenn ein spike am Ende eines Astes des Axonenbaums eine Synapse erreicht, genauer gesagt den präsynaptischen Teil der Synapse (siehe Abb.3), kann er den Auslöser dafür geben, daß ein kleiner Behälter, gefüllt mit speziellen Molekülen ("Neurotransmitter"), blitzschnell mit der Zellwand des präsynaptischen Neurons verschmilzt und auf diese Weise den Neurotransmitter in die extrazelluläre Flüssigkeit (das Salzwasser) herausläßt. Wenn nun so ein Neurotransmittermolekül auf eine spezielle Kombination von Molekülen ("Rezeptor") in der Zellmembran des nächsten Neurons trifft, wird ein Kanal in der Zellwand des nächsten Neurons geöffnet, durch die geladene Moleküle (Ionen) in die nächste Zelle hineinströmen und auf diese Weise eine Erhöhung oder Erniedrigung (abhängig vom Typ des Kanals, der geöffnet wird) der Membranspannung um ein paar Millivolt ( 1 Millivolt = 1/1000 Volt) bewirken.2 Man nennt diese EPSP (excitatory postsynaptic potential), wenn sie die Membranspannung erhöhen, und sonst IPSP (inhibitory postsynaptic potential).
 
 

Abbildung 4: Die elektrische Spannung am Zellkörper eines Neurons kann (abgesehen vom spike) in erster Annäherung als Summe all der kleinen EPSP's und IPSP's aufgefaßt werden, die vom Input-Bereich des Neurons – seinem Dendritenbaum – zu seinem Zellkörper weitergeleitet werden. Sobald die Summe aller EPSP's und IPSP's in der Trigger Zone des Neurons die Feuerschwelle überschreitet, steigt die Membranspannung explosionsartig an, und es wird ein spike über das Axon ausgesendet.


Im Gegensatz zu den spikes, die alle gleich aussehen, hängt die Gestalt und Größe dieser sogenannten postsynaptischen Potentiale sehr stark von der konkreten Synapse ab, die sie hervorgerufen hat. Tatsächlich wird die Gestalt und Größe des postsynaptischen Potentials auch abhängen von der momentanen "Stimmung" dieser Synapse, genauer vom zeitlichen Muster der spikes die diese Synapse vorher erreicht haben sowie von der jeweiligen Feuer-Reaktion des postsynaptischen Neurons. Zusätzlich hängt die Größe dieses postsynaptischen Signals auch ab von Signalen, die die Synapse in der Form anderer Moleküle (z. B. Neurohormone) durch die extrazelluläre Flüssigkeit erreichen.

Oft wird die Frage gestellt, ob man die wetware in unserem Gehirn "scheibchenweise" durch Silizium Chips ersetzen könnte, die deren Funktion übernehmen. Man stößt dabei schon bei der Synapse auf das Problem, daß im Gegensatz zum Transistor eine Synapse kein fixer Schalter ist, der jeden Tag das gleiche input/output-Verhalten zeigt. Die Kanäle und Rezeptoren einer Synapse bewegen sich innerhalb der Zellmembran, sie verschwinden sogar, und werden durch neue Rezeptoren und Kanäle ersetzt, die von einer lebenden Nervenzelle ständig nachproduziert werden, in Abhängigkeit von den "Erfahrungen" der Synapse und der in der DNA niedergelegten Information. Man nimmt sogar an, daß die ganze Erfahrung und das Gedächtnis eines lebenden Organismus (die "Software") physikalisch realisiert ist in der Form der gegenwärtigen Zustände der Synapsen des Organismus (ein menschliches Gehirn hat ca. 1.000.000.000.000.000 Synapsen). Das bedeutet, daß sich eine Synapse in Ihrem Gehirn nächstes Jahr möglicherweise ganz anders verhalten wird, während ein heute angefertigter Silizium-Klone dieser Synapse ständig mit der "alten" Synapse von heute weiterarbeiten müßte.

Das postsynaptische Potential, das von den ungefähr 10.000 Synapsen erzeugt wird, die typischerweise zu einem Neuron hin konvergieren, wird mittels eines Baumes von leitfähigen Fasern ("dendritischer Baum", siehe Abb. 2) zum Zellkörper des Neurons, und damit zur dort befindlichen "Trigger Zone" weitergeleitet. Jedesmal, wenn die Summe der postsynaptischen Potentiale an dieser Trigger Zone die "Feuerschwelle" erreicht, so erzeugt das Neuron einen spike, der über das Axon weitergeleitet wird.3

Die Frage ist nun, wie ein Netzwerk von Neuronen mit spikes Informationen verarbeiten kann. Einen qualitativen Eindruck von der Dynamik eines solchen Netzwerks erhält man durch eine online erhältliche Computer-Installation, von der in Abbildung 5 eine Momentaufnahme gezeigt wird. Leider können dort anstelle der über 10.000.000.000 Neuronen in Ihrem Gehirn nur 3 Neuronen simuliert werden, aber man sieht daß selbst dieses winzige Netzwerk schon eine sehr komplexe Dynamik entfalten kann.4 Das sagt uns aber immer noch nicht, wie unser Gehirn mit spikes Informationen verarbeiten kann.
 
 

Abbildung 5: Simuliertes Netzwerk bestehend aus 3 Neuronen. Postsynaptische Potentiale im input-Bereich der Neuronen (Dendritenbaum) sind durch grüne Linien angedeutet. Spikes sind als weiße Striche markiert, die in der Computer-Installation entlang der Axone wandern. Synapsen sind als blaue Dreiecke markiert. In der online erhältlichen Computer-Installation können Sie Ihre eigenen input spike trains erzeugen, und die Reaktion dieses Netzwerkes beobachten. Sie können auch die Stärken der Synapsen verändern, ein Vorgang, der vermutlich dem Lernen in Ihrem Gehirn entspricht.


Daher schauen wir uns in Abbildung 6 das (unvollständige) Protokoll einer tatsächlichen Informationsverarbeitung im Gehirn an. Die von 30 (mehr oder weniger zufällig aus dem Sehzentrum im Gehirns eines Affens ausgewählten) Neuronen ausgesendete Folge von spikes (sogenannte spike trains) wurden über einen Zeitraum von 4 Sekunden protokolliert, wobei der Zeitpunkt des Feuerns eines dieser Neuronen jedesmal durch einen kleinen senkrechten Strich markiert wurde.
 
 

Abbildung 6: Kommunikation im Gehirn: 30 Neuronen im Gehirn des Affen (die hier mit A1 bis E6 bezeichnet sind) wurden von Krüger und Aiple 4 Sekunden lang bei ihrer Arbeit beobachtet [Krüger and Aiple, 1988]. Ihre spike trains sind hier aufgezeichnet, für jedes Neuron in einer separaten Zeile. Man kann dieses Bild also wie eine Partitur für Schlaginstrumente in der Musik lesen. Die Frage ist: was teilen die 30 Neuronen gerade den anderen Neuronen mittels dieser spike trains mit?
Der graue Balken markiert ein Zeitintervall von 150 ms. In dieser Zeit kann unser Gehirn bereits komplexe Aufgaben der Informationsverarbeitung, wie zum Beispiel das Erkennen eines Gesichts, bewältigen. Gegenwärtige Computer benötigen eine deutlich längere Rechenzeit für ähnliche Aufgaben.


Wenn wir zum Beispiel auf dieselbe Weise die Information protokollieren würden, die unser Gehirn innerhalb von 4 Sekunden von unseren Augen erhält, so würde eine ähnliche Abbildung mit 1.000.000 (anstatt 30) Zeilen entstehen, weil alle visuellen Eindrücke in der Retina in der Form von spike trains von ungefähr 1.000.000 Neuronen an das Gehirn weitergeleitet werden.

Man hat früher gemeint, daß das einzige relevante Signal im output eines biologischen Neurons die Häufigkeit seines Feuerns ist. Man sieht aber sofort aus Abbildung 6, daß sich die momentane Häufigkeit des Feuerns eines Neurons ständig ändert, und daß die zeitlichen Abstände zwischen den spikes viel zu unregelmäßig sind um innerhalb der experimentell ermittelten Rechenzeit des Gehirns von ca. 150 ms eine gute Abschätzung der gegenwärtigen Häufigkeit des Feuerns des betreffenden Neurons zu erhalten. Neuere experimentelle Untersuchungen (siehe zum Beispiel [Rieke et al., 1997, Koch 1999, Recce 1999]) zeigen in der Tat, daß das gesamte raum-zeitliche Muster des Feuerns von biologischen Neuronen für deren Informationsverarbeitung relevant ist. Man kann den Output eines Systems von Neuronen also eher mit einem von einem großen Orchester gespielten Musikstück vergleichen, zu dessen Wiedererkennung es nicht ausreicht zu wissen wie oft jeder Musiker gewisse Töne gespielt hat. Charakteristisch für ein Musikstück ist vielmehr, wie jeder Ton in eine Melodie oder in einen Akkord eingebettet ist. Man nimmt an, daß in ähnlicher Weise Gruppen von Neuronen in biologischen Systemen die von ihnen ausgesendeten Informationen durch das Muster kodieren, mit dem jedes Neuron in der Gruppe relativ zu den anderen feuert. Daher ist die Kommunikationsweise innerhalb unseres Gehirns einem Musikstück sehr viel ähnlicher als die von der gegenwärtigen Generation von Computern bevorzugte Kommunikationsweise mittels einem Strom von bits.

Die Untersuchung der theoretischen und praktischen Möglichkeiten mit raum-zeitlichen Mustern von Pulsen Information zu verarbeiten und zu kommunizieren, hat in den letzten Jahren eine neue Generation künstlicher Neuronaler Netzwerke entstehen lassen: pulsbasierte künstliche Neuronale Netze. In diesen wird die von der gegenwärtigen Computer-Generation bevorzugte künstliche Synchronisation durch der Biologie abgeschaute Methoden ersetzt, Informationen in raum-zeitlichen Mustern zu kodieren. Dies eröffnet für den Informatiker eine faszinierende neue Welt, nämlich die Möglichkeit Zeit als eine bisher in unseren Rechnern brachliegende Dimension zu erschließen (siehe [Maass, Bishop, 1999] für eine Übersicht zum gegenwärtigen Stand der Forschung). Erfreulicherweise kann man diese Strategien auch relativ leicht in neu entwickelter elektronischer Hardware anwenden [Mead, 1989, Deiss et al, 1999, Murray, 1999]. Diese hardware erfordert nicht mehr, daß alle Komponenten mittels einem globalen Zeittakt synchronisiert werden, was eine beträchtliche Energie-Ersparnis bewirkt.5 Ein großes ungelöstes Rätsel ist noch die Organisation der Informationsverarbeitungin wetware. Wir kennen noch keine für wetware geeigneten "Betriebssysteme", nicht einmal für die wetware des Tintenfisches. Daher konzentriert sich unsere gegenwärtige Forschung auf die gemeinsam mit Neurobiologen durchgeführte Untersuchung der Organisation von Informationsverarbeitung in Mikroschaltkreisen im Gehirn, also den stereotypischen lokalen Verbindungs-Strukturen von Neuronen die sich im ganzen Gehirn wiederholen, und die offenbar die unterste Ebene der Organisation von Informationsverarbeitung im Gehirn bilden (siehe Maass, Natschläger, Markram]).
 

Fußnoten:

1 Vor etwa 500 Millionen Jahren traten die ersten Organismen mit Nervensystemen auf. Man kann aber auch argumentieren daß die Entwicklungsgeschichte von Systemen zur Informationsverarbeitung noch weiter zurück reicht: nämlich 3 bis 4 Milliarden Jahre, als Zellen erstmals auf die vielfältigen Möglichkeiten der Informationsverarbeitung mittels RNA (und später DNA) stießen.

2 Eine Animation ist online erhältlich von http://www.wwnorton.com/gleitman/ch2/tutorials/2tut5.htm.

3 Eine Animation dieses Vorgangs ist online erhältlich von http://www.wwnorton.com/gleitman/ch2/tutorials/2tut2.htm.

4 Beschreibungen und Hintergrund Informationen dazu sind ebenfalls online erhältlich, siehe [Maass, 2000b], [Maass, 2000a], [Maass, 2001]. Die von http://www.igi.TUGraz.at/demos/index.html erhältliche Installation wurde programmiert von Harald Burgsteiner und Thomas Natschläger, mit finanzieller Unterstützung der Steiermärkischen Landesregierung.

5 Wetware erfordert nur einen Bruchteil der Energie die unsere gegenwärtige Generation von hardware verbraucht. Unser Gehirn, dessen Anzahl von Schaltern mindestens so groß ist wie die in den größten Supercomputern, verbraucht nur 10-20 Watt.
 
 
 

Literaturhinweise

Deiss, S. R., Douglas, R. J., and Whatley, A. M. (1999). A pulse-coded communications infrastructure for neuromorphic systems. In Maass, W., and Bishop, C., editors, Pulsed Neural Networks. MIT-Press, Cambridge.

Koch, C. (1999). Biophysics of Computation: Information Processing in Single Neurons. Oxford University Press (Oxford).

Krüger, J., and Aiple, F. (1988). Multielectrode investigation of monkey striate cortex: spike train correlations in the infragranular layers. Neurophysiology, 60:798-828.

Maass, W. (2000a). Das menschliche Gehirn – nur ein Rechner?. In Burkard, R. E., Maass, W., and P. Weibel, editors, Zur Kunst des Formalen Denkens, pages 209-233. Passagen Verlag (Wien), 2000.
Siehe #108 auf https://igi-web.tugraz.at/people/maass/publications.html.

Maass, W. (2000b). Spike trains – im Rhythmus neuronaler Zellen. In Kriesche, R., and Konrad, H., editors, Katalog der steirischen Landesausstellung gr2000az, pages 36-42. Springer Verlag.
Siehe #118 auf https://igi-web.tugraz.at/people/maass/publications.html.

Maass, W. (2001). Paradigms for computing with spiking neurons. In Leo van Hemmen, editor, Models of Neural Networks, volume 4. Springer (Berlin), to appear.
Siehe #110 (Gzipped PostScript) auf https://igi-web.tugraz.at/people/maass/publications.html.

Maass, W., and Bishop, C., editors (1999). Pulsed Neural Networks. MIT-Press (Cambridge, MA). Paperback (2001).
Siehe https://igi-web.tugraz.at/people/maass/PNN.html.

Maass, W., Natschläger, T., and Markram, H. (2001). Real-time computing without stable states: a new framework for neural computation based on perturbations, submitted for publication.

Mead, C. (1989). Analog VLSI and Neural Systems. Addison-Wesley (Reading).

Murray, A. F. (1999). Pulse-based computation in VLSI neural networks. In Maass, W., and Bishop, C., editors, Pulsed Neural Networks. MIT-Press (Cambridge, MA).

Natschläger, T. (1996). Die dritte Generation von Modellen für neuronale Netzwerke Netzwerke von Spiking Neuronen. In: Jenseits von Kunst. Passagen Verlag. Siehe http://www.igi.TUGraz.at/tnatschl/.

Recce, M. (1999). Encoding information in neuronal activity. In Maass, W., and Bishop, C., editors, Pulsed Neural Networks. MIT-Press (Cambridge, MA).

Rieke, F., Warland, D., Bialek, W., and de Ruyter van Steveninck, R. (1997). SPIKES: Exploring the Neural Code. MIT-Press (Cambridge, MA).


28/08/2001
by kkirch