Rakastan kävellä Silvesin historiallisessa keskustassa; se tuntuu todella rauhalliselta, ja löydän aina uuden paikallisen kaupan tai kahvilan, jossa on kotitekoisia leivonnaisia. Silvesin linna, yksi Portugalin parhaiten säilyneistä linnoista, sijaitsee kaupungin yläpuolella. Kadut ovat melko kapeita ja paikoin hieman jyrkkiä, mutta se on osa kaupungin viehätystä. Matkan varrella on pieniä kahviloita ja muutama kauppa, mutta se ei koskaan tunnu liian vilkkaalta.

Mielenkiintoista on, että Silvesissä on yleensä hiljaisempaa kuin muissa Algarven kaupungeissa jopa kesäisin. Helteen vuoksi useimmat ihmiset suuntaavat suoraan rannikolle, jolloin kaupunki tuntuu rauhallisemmalta. Heinäkuun lopussa kaikki kuitenkin muuttuu Silvesin keskiaikaisen messun aikana, jolloin kadut täyttyvät musiikista, ruoasta ja aivan toisenlaisesta ilmapiiristä.