大治3(1128)年、清衡が73歳で亡くなると、相続をめぐって長男惟常(これつね)と弟基衡(もとひら)との間に対立が生まれます。基衡は惟常を襲撃し、討ち果たすことで二代目の地位を得ました。
基衡は清衡から受け継いだ領地を経営し、やがて国府多賀城にも影響力をもつまでに成長すると同時に摂関家に近づき、濃密な関係を築きます。基衡が京の仏師運慶に注文した毛越寺本尊の薬師如来像があまりに見事なもので、鳥羽上皇が京から持ち出すことを禁じたとき、上皇を説得したのは関白藤原忠通(ただみち)でした。また上皇の近臣で、以降の陸奥守や鎮守府将軍を一族で歴任する藤原基成(もとなり)と姻戚関係を結ぶなど、国府多賀城の政治的な懐柔に力を注ぎました。
毛越寺を建立し門前を政治・経済の中心地として、宗教の地・中尊寺周辺から分けることで「都市・平泉」の基礎を築いたのも基衡でした。