Esta casa tiene su origen en los vizcondes de Vilamur cuyos dominios fueron originalmente una jurisdicción feudal del condado de Pallars. Por esta razón, en un principio se titularon vizcondes de Pallars, y efímeramente, entre una y otra denominación y ya como vizcondes soberanos, también se intitularon de Siarb. 
Aunque se tiene noticia de la existencia de vizcondes que actuan en el condado de Pallars durante el periodo en que éste era dependiente de los condes de Tolosa (s. IX), no se conocen ni siquiera sus nombres.
Hay que esperar hasta 1118 para encontrar el primer documento con la titulación completa de "vizcondes de Pallars". Un siglo antes, coincidiendo con las fechas iniciales de la división del condado de Pallars en dos, Sobirá y Jussá, aparecen menciones a dos vizcondes, sin más precisión, (Ató y Oromir) coexistiendo entre 1015 y 1022, lo que invita a pensar que cada uno de los dos condados resultantes de la partición pudo tener su propio vizconde. El primer documento que aparece firmado con el título de Vizconde de Vilamur data de 1149.