Au premier regard, Matera révèle ses origines antiques. L’endroit plonge ses racines dans le lointain Paléolithique qui, dans sa forme primitive, subsiste dans la ville et ses environs. Un témoignage de la présence humaine en cette époque reculée a été découvert au pied de la gravina – une formation géologique semblable au canyon – dans la « grotte aux chauves-souris » ; des traces de la présence humaine datent du Paléolithique, du Néolithique et de l’âge des Métaux.

Les premières communautés qui s’établissent à Matera, sont des populations de la Grande-Grèce, qui entre le IVe et le Ve siècle av. J.-C. fondèrent les premiers centres habités. Au IIIe siècle av. J.-C., sous le consulat de Metellus, les établissements se dotèrent d’une organisation qui prit le nom de Metheola.

Le premier noyau urbain de la ville se baptisait « Civita ». Il s’élève sur le versant droit de la Gravina, dominée par la majestueuse cathédrale autour de laquelle se sont développés les quartiers des Sassi, à savoir le Sasso Caveoso et le Sasso Barisano. Cette configuration urbanistique unique au monde a été inscrite, en 1993, au Patrimoine Mondiale de l’Humanité de l’UNESCO.

Les Lombards conquirent Matera en 664 ap. J.-C. qu’ils annexèrent au duché de Bénévent. Par la suite, la ville endurera des attaques et des dévastations consécutives aux invasions franques.
Après que Ludovic II eut presque complètement détruit la ville (867 ap. J.-C.), des communautés de moines et d’ermites venus d’Orient commencèrent à confluer et s’installèrent dans les grottes de la Gravina qu’ils transformèrent en cryptes et en églises rupestres.
Les Sarrasins, les Normands et les Byzantins se disputèrent Matera, rasée à deux autres reprises –  la dernière fois en 994 –  mais toujours reconstruite.

Entre le XIIe et le XIIIe siècle, Matera devint un fief nobiliaire, puis territoire des Aragonais qui cédèrent la ville au comte Giovanni Carlo Tramontano, auquel on doit le château du même nom.
En 1663, Matera reçoit le siège de la Regia Udienza de la Basilicate, rôle prestigieux que la ville conserve jusqu’en 1806. Matera est aujourd’hui l’un des deux chefs-lieux de la province de la Basilicate.