استمر العملُ في توسعة الحرم إلى سنة 164، وحجّ المهدي في ذلك العام وشاهدَ الكعبة المعظمةَ ليست في وسط المسجد بل في جانبٍ منه ورأى المسجِدَ قد اتسع من أعلاهُ وأسفله ومن جانبه الشاميّ، وضاق المسجدُ من الجانب اليماني الذي يلي مسيلَ الوادي، وكانَ الناسُ يلوّثون في محلّ المسيل ، وكانوا يسلكونَ من المسجد في بطنِ الوادي، ثم يسلكونَ زُقاقًا ضيقًا ثم يصعدونَ إلى الصفا. فلمَّا رأى المهدي تربيع المسجد الحرام ليسَ على الاستواء، ورأى الكعبةَ الشريفةَ في الجانب اليمانيّ من المسجد، جمعَ المهندسين وقال لهم أريدُ أن أزيدَ في الجانب اليمانيّ من المسجد، لتكون الكعبةُ في وسطِ المسجد فقالوا له :”لا يمكنُ ذلك إلا بأن تُهدَمَ البيوتُ التي على حافة المسيل في مُقَابَلَة هذا الجدار اليماني، ويُنقلَ المسيلُ إلى تلك البيوت ويُدخَلَ المسيل في المسجد ومعَ ذلك فإن وادي إبراهيم له سيولٌ عارمة، وهو وادٍ حدورٌ يُخاف إن حولناه عن مكانِه أن لا يثبت أساسُ البناءِ فيه على ما يزيد من الاستحكامِ فتذهَبَ به السيولُ وتعلو فيه فتنصَبَّ في المسجدِ الحرام، ويلزمُ هدمُ دور كثيرة وتكبر المؤنةُ وتكثر ولعل ذلك لا يتم”.
فقال المهدي :”لا بدَّ أن أزيد هذه الزيادة ولو أنفقتُ جميعَ بيوت الأموال، وصمم على ذلك، وعظمت نيتُه واشتدت رغبته، وصار يلهجُ به، فهندس المهندسونَ ذلك بحضوره وربطوا الرماحَ ونَصبوها على أسْطِحَةِ الدور من أولِ الوادي إلى ءاخره، وربّعوا المسجدَ من فوق الأسطحة، وطلعَ المهديُّ إلى جبلِ أبي قبيس، وشاهد تربيعَ المسجد، ورأى الكعبةَ في وسط المسجد ورأى ما يُهدمُ من البيوت ويُجعل مسيلاً ومحلاً للسَّعي، وشخَّّصوا له ذلك بالرماحِ المربوطة من الأسطحة، ووزنوا لهُ ذلك مرةً بعد أخرى حتى رضي عنه.
ثم توجه إلى العراق، وخلَّفَ الأموالَ الكثيرة لشراء هذه البيوت وللصَّرْفِ على هذه العمارة العظيمة، وكانت هذه الزيادةَ الثانيةَ للمهدي في المسجد الحرام.
ثم تولى بعد المهدي ولدُه الهادي، فلما استقرَّ في سريرِ الخلافة كان أولَّ شىءٍ أمر به إكمالُ بناءِ المسجد الحرام، فبادر الموكَّلون إلى إتمامِه وكملوا إلى أن اتصلَ بعمارة المهدي وبنوا بعضَ أساطينِ الحرم الشريف من جانب بابِ أمّ هانئ بالحجارة ثم طُليت بالجصّ، وكان العملُ في خلافة الهادي دونَ العملِ في خلافةِ والده في الاستحكام والزينة والاهتمامِ