La Pesga se ubica en la umbría de la sierra del mismo nombre, entre esta y el río de los Ángeles —hoy la cola del pantano—, límite con las Hurdes. Su entorno lo marcan el pantano y la montaña, con olivares que ascienden por laderas imposibles y abundantes bosques de castaño.
Su casco urbano, alargado y oscilante en la dirección del pantano, se acomoda a los movimientos de la ladera; en el casco viejo abundan las calles estrechas y las recoletas plazas.
Son interesantes la arquitectura tradicional, la iglesia de San Francisco Javier, el pantano con su paseo fluvial, su embarcadero y el mirador del Pico Blanco.