Grundlage für die Rastertunnelmikroskopie bildet der Tunneleffekt. Dieser beschreibt das quantenmechanische Phänomen, dass Teilchen Potentialbarrieren durchdringen können, welche in der klassischen Physik unüberwindbar wären. Das "Tunneln" von Elektronen durch Potentialbarrieren ist Voraussetzung für die Detektion eines Tunnelstroms. Der folgende Abschnitt gibt einen einfachen Einblick auf der Basis des bekannten eindimensionalen Tunneleffektes.
Betrachtet man ein Metall im einfachen Modell des freien Elektronengases, so lässt es sich durch die Fermi-Energie $E_F$ und durch die Austrittsarbeit $\phi$ beschreiben (Abb. 1a). Alle Elektronen-Zustände bis $E_F$ sind aufgefüllt, während die Zustände oberhalb von $E_F$ unbesetzt sind. Um ein Elektron aus dem Metall herauszulösen, muss mindestens die Energiedifferenz $\phi$ zwischen dem Fermi-Niveau und dem Vakuum-Niveau überwunden werden. Man bezeichnet $\phi$ auch als die Austrittsarbeit des Metalls. Nähert man nun zwei Metalle (mit im allgemeinen unterschiedlichen Fermi-Niveaus und Austrittsarbeiten) bis auf einen Spalt von wenigen Ångström (entsprechend einem Abstand von wenigen Atomen) aneinander an, können Elektronen von besetzten Zuständen auf der einen Seite des Spaltes in unbesetzte Zustände auf der anderen Seite tunneln (Abb. 1b). Diese Art des elektrischen Kontaktes wird Tunnelkontakt genannt. Die beschriebenen Tunnelprozesse finden so lange statt, bis sich die Fermi-Niveaus der beiden Metalle aneinander angeglichen haben (Abb. 1c). Danach befindet sich das System im Gleichgewicht, so dass kein weiterer Ladungstransport über den Spalt hinweg stattfindet.
Legt man nun eine kleine externe Spannung $U$ an, bedeutet dies für die Elektronen auf einer Seite des Kontaktes ein zusätzliches Potential eU (Abb. 2a). Eines der Fermi-Niveaus wird aus der Gleichgewichtslage gebracht, und es stehen somit besetzte Zustände des einen Metalls unbesetzten Zuständen des anderen gegenüber. Dadurch sind die Voraussetzungen für Tunnelvorgänge gegeben, und es ist ein Tunnelstrom $I$ im Stromkreis messbar. Polt man die am Tunnelkontakt angelegte Spannung um, invertiert sich entsprechend die Tunnelstromrichtung (Abb. 2b). Die gerade getunnelten Elektronen befinden sich zunächst in Zuständen, die oberhalb des Fermi-Niveaus liegen. Sie relaxieren auf das Fermi-Niveau des Metalls, indem sie durch inelastische Prozesse Energie abgeben, z.B. in Form von Gitterschwingungen (Phononen) oder Lichtemission (Photonen).
Um die Tunnelwahrscheinlichkeit zu berechnen, ist die Schrödingergleichung für die Bereiche vor, in und hinter der Tunnelbarriere zu lösen. In einem einfachen Modell wird die Tunnelbarriere als rechteckiges Potential der Breite $s$ und der Höhe $V_0$ bezüglich der Energie des tunnelnden Elektrons beschrieben. Ohne angelegte Spannung zwischen den beiden Elektroden ($E_{F1} = E_{F2}$) führen die im allgemeinen unterschiedlichen Austrittsarbeiten $φ_1$ und $φ_2$ der zu einem trapezförmigen Potenzial. Durch eine Mittelung zu $\phi_m = {(\phi_1 + \phi_2) \over 2}$ nähert man hier ein Rechteckpotential an (Abb. 3a).
Setzt man den Nullpunkt auf die Energie eines von links einlaufenden Elektrons der Energie $E$, so ergibt sich ein effektives Rechteckpotential der Höhe (Abb. 3b) $$𝑉_0 = \phi_m − 𝐸 − {eU \over 2}.$$ Die Lösungen in den 3 Bereichen (I, II, III in Abb. 3b) müssen der Schrödingergleichung genügen: $$- {\hbar^2 \over 2 m_e} {d^2 \psi_i \over dz^2} = (E-V_0) \psi_i .$$
Das Elektron wird sowohl reflektiert als auch transmittiert. Man setzt nun die üblichen Lösungen für die Wellenfunktionen an, im Bereich I ein- und auslaufende Welle, im Bereich II eine exponentiell abklingende Welle (ein- und auslaufend) und im Bereich III eine auslaufende Welle.
Bereich I ($V=0$): $$\psi_1 = e^{ikz} + A e^{-ikz}$$ Bereich II ($V=V_0$): $$\psi_1 = B e^{-\kappa z} + C e^{i \kappa z}$$ Bereich III ($V=0$): $$\psi_1 = D e^{ikz}$$ mit $k^2 = {2 m_e E \over \hbar^2}$ und $\kappa^2 = {2 m_e (V_0-E) \over \hbar^2}$. Beachte, dass im Ansatz sowohl in Bereich I als auch im Bereich II derselbe Wellenvektor $k$ benutzt wurde. Dies bedeutet die ausschließliche Berücksichtigung sogenannter "elastischer" Tunnelprozesse, bei denen die Energie der Elektronen (und damit auch ihr Wellenvektor) vor und nach dem Tunneln dieselbe ist.
Der Transmissionskoeffizient $T$ gibt uns das Verhältnis von einlaufender zu transmittierter Stromdichte an: $$T = {j_3 \over j_1}$$ mit $j_i=-{i \hbar \over 2 m_e} \left( \psi_i^*(z) { d\psi_i \over dz}(z) - \psi_i(z) { d\psi_i^* \over dz}(z) \right)$ und $i=(1;3)$. Fordert man nun Stetigkeit der Wellenfunktionen und deren ersten Ableitungen in den Punkten $z = 0$ und $z = s$, dann berechnet sich der Transmissionskoeffizient zu $$ T = |D|^2 = \left[ \left( { k^2 + \kappa^2 \over 2 k \kappa} \right)^2 \sinh(\kappa s) \right]^{-1}$$ mit der Zerfallsrate $\kappa = { \sqrt{2 m_e (V_0 - E)} \over \hbar}$. In der Näherung einer stark dämpfenden Potentialbarriere, d.h. $\kappa s \gg 1$, vereinfacht sich der Transmissionskoeffizient zu $$ T \approx {16 k^2 \kappa^2 \over (k^2+\kappa^2)^2} e^{-2 \kappa s}.$$
Was bedeutet dies nun für den Tunnelstrom von der Probe in die Spitze? Bisher haben wir die Tunnelwahrscheinlichkeit für ein einlaufendes Teilchen aus der Probe mit Energie $E$ berechnet. Der Tunnelstrom setzt sich jedoch zusammen aus tunnelnden Elektronen aus dem gesamten Energiefenster $ E \in |E_{F1} − E_{F2}|$. Da die Potentialbarriere $V_0 - E$ für die Elektronen an der Fermi- Energie $E_{F1}$ am kleinsten ist, kann man näherungsweise nur diese Elektronen berücksichtigen und schließen: $$ I \propto T(E_{F1}) = I_0 e^{-2\kappa s} $$ mit $\kappa = \sqrt{{2 m_e \over \hbar^2} \left( { \phi_1 + \phi_2 \over 2} + {eU \over 2}\right)}$. Für Rastertunnemikroskopieexperimente bedeutet dies, dass der gemessene Tunnelstrom $I$ sehr stark (nämlich exponentiell) von der Breite der Potentialbarriere $s$ abhängt. Bei typischen Potentialhöhen von etwa 5 eV und einer Tunnelspaltbreite von 5 Å würde das Ändern der Breite um 1 Å einen Abfall des Tunnelstroms um eine Größenordnung zur Folge haben. Außerdem erhält man über das Bilden der logarithmischen Ableitung direkt Information über das Potential: $$ { d \ln I\over ds} \propto \sqrt{V_0 - E} = \sqrt{{\phi_1 + \phi_2 \over 2} + {eU \over 2}}. $$ Somit lassen sich über $I(s)$ - Graphen Informationen über das Potential $V_0$ und somit über die Austrittsarbeiten $\phi$ gewinnen.