Naselje Brezovac Žumberački formirano je od četiri međusobno udaljena zaseoka: Brezovac, Pavkovići, Pavlanci i Višoševići. U neposrednom kontaktu uz okućnice su voćnjaci, vrtovi i oranice, a u širem prstenu su pašnjaci i šume. Zaseoci Brezovac i Pavkovići su do danas sačuvali prostorne i arhitektonske značajke karakteristične za seoske aglomeracije Žumberka, a nove intervencije nisu bitno narušile izvorne i tradicijske vrijednosti. Selo Brezovac Žumberački i njegovi zaselci su kao kulturno-povijesna cjelina registrirani kao kulturno dobro.