Im 7. Jahrhundert nach Christus wird Torrox in einem Bericht des Reisenden Alldrisi zum ersten mal an seinem historischen Standpunkt erwähnt. Allerdings wurde diese Siedlung möglicherweise bereits drei- oder sogar vierhundert Jahre vorher errichtet. Laut einigen Geschichtsforschern versteckte sich Abderraman in Torrox, nachdem er im Jahre 755 in Almunecar an Land gegangen war. Auch soll im Jahre 939 der arabische Heeresführer Almanzor in Torrox geboren worden sein.

Nach mehr als 500 Jahren maurischer Herrschaft kapitulierte auch Torrox am 30.04.1487 vor den katholischen Spaniern aus dem Norden. Nach der Niederschlagung eines Aufstandes der Mauren wird das Dorf Torrox mit Christen neu besiedelt. Doch die Straßen der Altstadt zeugen auch heute in Torrox wie auch in vielen anderen Dörfern der Axarquía noch von der maurischen Vergangenheit: Der arabische Festungsturm aus dem 12. Jahrhundert in der Calle Baja, ein Tor der ehemaligen Festung in der Calle Alta oder das Stadtviertel El Castillo, welches auf den ehemaligen Festungsmauern errichtet wurde.

Aus den kirchlichen Epochen stammen u.a. die Iglesia San Roque oder die Iglesia de la Encarnicacíon, welche im 17. Jahrhundert auf den Resten einer maurischen Moschee erichtet wurde. Sehenswert sind auch die Reste des Krankenhauses San José; aus dem 18. Jahrhundert. Hier wütete der Überlieferung nach die Inquisition. In Torrox lebte mit großer Wahrscheinlichkeit auch der zum Christentum übergetretene Jude Luis de Torres, der Columbus auf seinen Reisen als Dolmetscher begleitete. Die Herrschaftshäuser Casa de la Moneda aus dem 18. Jahrhundert sowie die Casa de la Hoya, das Recreo und das Cortijo Sevilla (alle aus dem 19. Jahrhundert) sind sehenswerte Plätze in Torrox Pueblo. In der Casa de la Hoya soll der König Alfons XII nach dem großen Erdbeben von 1885 übernachtet haben. Am Plaza de la Hoya befindet sich auch ein ehemaliges Lagerhaus, das restauriert wurde und heute eine Ausstellung beherbergt.

Die Römer waren die ersten, die ihre Spuren an der Küste des heutigen Torrox Costa hinterließen. An der Promenade und unterhalb des Balcon Mirador de Torrox kann man heute noch Reste römischer Siedlungen besichtigen. So sind noch Spuren der alten Pökelfabrik von Caviclum, der Keramiköfen, der Thermen, der Villa und des Friedhofes vorhanden. Die Bewohner von Torrox zogen es zur damaligen Zeit allerdings vor, auf den Hügeln, im heutigen Torrox Pueblo, zu wohnen. Hier war man vor den Piraten und Räubern wesentlich sicherer.

Obwohl sich das Dorfleben jahrhundertelang in der Altstadt des heutigen Torrox Pueblo und im nahen Flußgebiet abspielte, wurde auch der Küstenabschnitt nach und nach mit kleinen Fischerdörfern wie z.B. in El Morche besiedelt.

Aus dem 19. Jahrhundert stammen die Mühle Perez und auch das Äquadukt von la Granja, das den Landwirten der damaligen Zeit zur Bewässerung ihrer Felder diente. Auch die Zuckerfabrik Ingenio San Rafael, die auf den Resten der ursprünglichen Zuckerfabrik Ingenio Bajo errichtet wurde, stammt aus dieser Zeit. Die alte Zuckerfabrik Ingenio Bajo wurde von den Melilla noch vor der Vertreibung der Mauren aus Andalusien gegründet.

Auch Siedlungen wie Los Casarones sowie Güi, wo die berühmten Fandangos (eine Art Singtanz mit Kastagnetten) her stammen, blicken auf eine lange und traditionsreiche Vergangenheit zurück.