Per sottrarsi alle frequenti ed improvvise scorrerie dei saraceni, è probabile che già intorno al IX secolo un piccolo nucleo di contadini e pastori hanno occupato questo colle abbastanza elevato e lontano dal mare.

Le popolazioni salentine non solo dovevano difendersi dalla crudeltà dei corsari che venivano dal mare, ma anche dalle numerose guerre intestine combattute dai baroni del Regno, per la conquista di un feudo più grande e più ricco ed in assenza di un forte potere centrale.

La collina di Specchia costituiva un luogo sicuro. Il nucleo di persone che aveva trovato facile rifugio nelle numerose grotte di questi luoghi prevalentemente carsici, si ingrandiva sempre più con l’aggiunta di nuovi fuggiaschi. La collina cominciò ad essere cinta di grandi muraglie, torrioni ed altre opere militari.

Delle mura oggi non rimane più niente ma fino al 1931 c’erano ancora alcuni resti. Il fortino è rimasto intatto fino al 1952 quando è stato demolito per l’ampliamento della piazza del mercato. A ricordo delle mura sono rimaste due strade: Via Mura di Ponente e Via Mura di Levante. Delle torri quattrocentesche ne restano ancora due anche se sono inglobate in costruzioni successive. Hanno base rettangolare e sono ornati da una finestrella circolare forse per l’uso delle armi da fuoco.

Notizie certe e documentate sul paese si hanno a partire dall’anno Mille quando, durante la dominazione Normanna, venne incorporato da Re Tancredi al contado di Lecce e data in feudo alla famiglia Monteroni, verso il 1191.

Il feudo fu poi acquistato, nel 1319, dai Ramondello Orsini Del Balzo che lo associarono al principato di Taranto di cui fece parte fino al 1463.

In questo periodo Specchia, come tutti i feudi del principato di Taranto, passo al regio Demanio e da questo a Ferdinando d’Aragona che lo donò ai Guarini.

Fino al 1806, epoca della soppressione feudale, si successero numerosi feudatari a cui ancora oggi sono intitolate numerose strade del centro storico.

La famiglia che più onorò la cittadina fu quella dei Ripa il cui capostitipe, Nicolò, fu notaio di Federico II.