La fantasia popolare ha dato ai vari luoghi pittoresche denominazioni.
Partendo dallo sperone nord - orientale di Punta dell' incenso e proseguendo per sud, il periplo dell' isola manifesta posti incantevoli: l'isolotto di Gavi, Cala Gaetano, Scoglio di Aniello, il caratteristico Scoglio Spaccapolpi o Arco Naturale, Punta Nera, Cala d' Inferno, Cala del Core, Punta Bianca, Cala di Frontone, Santa Maria, Giancos, fino alla rada.
Questa è protetta ad est dalla Punta della Madonna (con i vicini faraglioni), sotto la quale si aprono le Grotte di Pilato, antico murenario romano, sul quale la leggenda ha intessuto storie pittoresche.
Proseguendo nel giro, si incontrano i Faraglioni del Calzone Muto, la Punta della Guardia (col faro), Punta del Fieno, la spiaggia lunata di Chiaia di Luna chiusa da Capo Bianco e via via: i Faraglioni di Lucia Rosa, Capo Bosco, Cala Feola, Cala dell'Acqua, Punta del Papa, Cala Fontana, Punta Beppe Antonio ed infine Calacaparra.

Il Porto di Ponza, costruito nell'anfiteatro naturale, formato dalle colline della Madonna e di Punta Bianca, ha più di duecento anni. Ferdinando IV di Borbone ne ordinò il progetto all'architetto F. Carpi e al Maggiore del Genio A. Winspeare, i quali, sui resti delle antiche istallazioni romane, ricavarono due piani: uno per la banchina d'ormeggio e l'altro, superiore, a servire i caseggiati civici, utilizzando in parte strutture di epoca volsca.
Sovrastano l'emiciclo del porto la Torre borbonica, poderosa costruzione rielaborata su una preesistente d'epoca imperiale e la Chiesa, dalla cupola bramantesca, dedicata ai Santi Silverio e Domitilla. La piazzetta Carlo Pisacane, centro mondano dell'Isola, ha per fondale il palazzo del Municipio caratterizzato da arcate ellittiche. Il Porto rispecchia oggi la storia di genti diversissime, che in questo minuscolo angolo di mondo hanno lasciato l'impronta dei loro sogni e delle loro esperienze. Da un'antica statua consolare come quella famosa di Mamozio, da un'anfora infissa in un muro borbonico o da un marmo ciclopico utilizzato in un palazzotto del Settecento, è possibile ancora ricostruire quella continuità storica che le isole, pur con momenti di oblio, hanno vissuto. Rispondendo al richiamo di un segreto destino, numerosi isolani sono espatriati alla fine dell'Ottocento e la prima metà del nostro secolo, ripercorrendo qua-si le rotte delle antiche migrazioni. Ma il 20 giugno, da lontani paesi d'oltremare, ritornano per celebrare la festività del loro patrono, San Silverio Papa.