Priododd y Parchedig James Buckley o Swydd Gaerhirfryn â Maria, merch y bragwr o Lanelli Henry Child yn 1798 ac ymuno â’r busnes. Cymerodd eu plentyn ieuengaf, James, reolaeth dros y cwmni cyfan pan fu farw ei dad yn 1839.

Yn ôl y sôn, roedd James yn achosi pryder mawr i’w rieni, yn gofyn byth a beunydd am arian. Ond, daeth yn ddyn pwysig ym mywyd cymdeithasol, masnachol a gwleidyddol Llanelli. Cafodd ef a’i wraig Elizabeth naw o blant a bu farw yn 1883.

Prynodd James Blasdy Bryncaerau (sef Amgueddfa Parc Howard erbyn heddiw) i’w fab, oedd hefyd o’r enw James, a’i wraig newydd Marianne Hughes.  Cafodd y plasty ei weddnewid gan James Buckley Wilson, un o’i gefndryd, rhwng 1882 a 1886, a newidwyd ei enw i Gastell Bryncaerau. Dyma’r tŷ, yn yr arddull Eidalaidd gan Buckley Wilson, a welwch chi heddiw.

Bu farw James Buckley yn 56 oed yn 1895, ac etifeddwyd Castell Bryncaerau gan ei fab James 'Frank' Buckley. Gwerthodd yntau’r eiddo yn 1911 i Syr Edward Stafford Howard, Gwleidydd Rhyddfrydol blaenllaw am £7,750 (tua £840,000 heddiw), ffigur sy’n llawer is na’i wir werth yn ôl y sôn.

Rhoddodd Syr Edward a’i wraig yr Arglwyddes Catharine y tŷ a’r tir yn rhodd i’r dref ym mis Medi 1912. Dyma oedd eu pen-blwydd priodas cyntaf. Cafodd Castell Bryncaerau yr enw newydd Parc Howard i’w hanrhydeddu nhw. Un o amodau’r brydles 999 mlynedd oedd y dylai’r tŷ fod yn lle i’r cyhoedd ei ‘fwynhau’, rhywbeth fel amgueddfa.