Schon auf den ersten Blick verrät Matera seine vorgeschichtlichen Ursprünge. Ursprünge, die auf die weit zurückliegende Altsteinzeit (Paläolithikum) zurückgehen und die bis heute in den primitiven Strukturen der Stadt und ihres Umlands lebendig erhalten sind. Menschliche Spuren aus diesen weit zurück liegenden Epochen fand man direkt am Fuße der Schlucht, in der Grotta dei pipistrelli (Fledermausgrotte). Sie gehen auf das Paläolithikum, das Neolithikum und die Eisenzeit zurück.

Die ersten Siedlungen gehen auf sesshaft gewordene Bevölkerungsgruppen der so genannten Magna Graecia zwischen dem 4. und 5. Jahrhundert v. Chr. zurück. Im 3. Jahrhundert v. Chr., unter dem römischen Konsul Metello, bekamen diese Siedlungen eine neue organisatorische Dimension und den Namen Metheola.

Der erste Stadtkern wurde Civita genannt. Er befindet sich auf der rechten Seite der Schlucht und wird heute von der majestätischen Kathedrale dominiert. Auf deren Seiten liegen die Stadtviertel der Sassi, Sasso Caveoso und Sasso Barisano. Weltweit einzigartige städtische Strukturen, die 1993 von der UNESCO in die Liste des Weltkulturerbes aufgenommen wurden.

Die Langobarden eroberten Matera 664 n. Chr. und schlossen es dem Fürstentum von Benevento an. In der Folgezeit erlitt die Stadt Angriffe und Zerstörungen durch die Invasionen der Franken.
Nach der gänzlichen Zerstörung der Stadt durch Ludwig II. (867 n. Chr.) wanderten in dem Gebiet Gemeinschaften von Mönchen und Eremiten ein. Sie kamen aus dem Osten und bewohnten die Grotten der Schlucht und verwandelten diese in Krypten und Felsenkirchen.
Als ständiger Zankapfel zwischen Sarazenen, Normannen und Byzantinern wurde Matera noch zwei Mal dem Erdboden gleichgemacht, zum letzten Mal 994, aber es wurde immer wieder aufgebaut.

Im 12. und 13. Jahrhundert war Matera ein Feudalstaat, danach fiel es unter die Krone Aragon, die es wiederum an den Grafen Giovanni Carlo Tramontano abtraten, dem die Stadt ihr Schloss verdankt, das auch seinen Namen trägt.
Matera wurde 1663 Regia Udienza (Berufungsgerichtshof) der Basilicata ernannt, eine hoch angesehene Rolle, die ihm bis 1806 erhalten blieb. Heute ist die Stadt eine von zwei Provinzhauptstädten der Basilicata.