Das Fragezeichen taucht erstmals in den Schriftreformen Karls des Großen auf. Allerdings wird seine Funktion und Gestalt erst später auf die heutige gebracht.
Über die Herkunft des Zeichens gibt es mehrere Vermutungen. Eine leitet es aus dem lateinischen Wort Quaestio für Frage ab. Dieses Wort wurde an den Schluss des Fragesatzes gesetzt. Mit der Zeit erschien dieses Wort zu lang, daraufhin wurde es als Qo abgekürzt. Etwas später wurde dann aus Platzgründen das große Q über das kleine o geschrieben, und diese Kombination entwickelte sich zu dem heutigen Zeichen ?.
Eine andere Erklärung sieht den Ursprung im 9. Jahrhundert, als man am Ende einer Frage einen Punkt setzte, dem dann eine geschwungene Linie folgte, gleichsam eine schräg nach oben verlaufende Tilde (~), die den Stimmverlauf andeuten sollte, ähnlich wie die frühe Notenschrift der Neumen. Aus dieser Kombination könnte sich dann das heutige Fragezeichen entwickelt haben.