Officieel behoorde Jemen vanaf de zevende eeuw tot het kalifaat van Damascus, later Bagdad. In de zestiende en een deel van de zeventiende eeuw maakte het deel uit van het Osmaanse rijk. Maar in werkelijkheid beheersten lokale machthebbers het ontoegankelijke Jemenitische berg- en woestijngebied. Arabische en Osmaanse expedities om het gebied te onderwerpen bleken steeds weer tot mislukken gedoemd.

Alleriei koninkrijkjes en stamgebieden met eigen dynastieen bestonden naast elkaar. In onderlinge rivaliteit beheersten zij, al dan niet gesteund door machten van buiten, delen van het gebied. Sulayhieden en Ayyubieden lukte het om in de middeleeuwen hegemonie over een groot deel van Jemen te krijgen en in 1232 doet in het zuiden een nieuwe dynastie, de soennietische Rassulieden, van zich spreken. Zij bleven tot 1446 aan de macht en het zwaartepunt van hun rijk lag in de kustgebieden en het zuidelijk bergland. De Rassulieden wisten handel, wetenschap en cultuur tot grote bloei te brengen. Zij hechtten veel waarde aan onderwijs en wetenschap. De stad Ta' izz werd een centrum van islamitische wetenschap met zijn bibliotheek van meer dan honderdduizend boeken. De universiteit van Zabid kreeg wereldfaam op het gebied van geneeskunde en wiskunde; hier zou de algebra zijn geboren. San'a en Sad'ah werden grote steden met een indrukwekkende architectuur. De Zaydi's, die vanaf omstreeks 900 als ware koningen over het noordelijke binnenland hadden geregeerd, werden teruggedrongen tot de rand van de Rub aJ Khali, het woestijngebied. De Rassulieden werden opgevolgd door de Tafirieden, maar zij wisten de Zaydi's niet te bedwingen. Jemen viel ten prooi aan anarchie en daarvan profiteerden buitenlandse indringers.

Mammelukken en Turken
De ontdekking van de zeeweg naar India om Afrika heen door Vasco da Gama (1497-1499) leidde tot een verlegging van de handelsroutes. De handel door de Rode Zee werd minder belangrijk, maar de strategische handelsposten aan de Zuidarabische kust des te meer. Ze moesten gaan dienen als bevoorradingsposten op de route naar India. In 1507 veroverde de Portugees Alfonso d' Albuquerque de eilanden Socotra en Perim en de stad Muskat (in Oman). In 1513 deed hij een vergeefse poging om Aden in te nemen. Slechts enkele jaren later werden de Portugezen alweer verdreven door de Egyptische Mammelukken die Ta'izz en Zabid plunderden, maar Aden niet konden innemen.

Toen de Mammelukken in 1517 in hun eigen land werden verdreven door de Osmaanse Turken kwam het grootste deel van Jemen onder Turkse heerschappij.

Sultan Sulayman de Prachtlievende nam in 1538 met een list de haven van Aden in, en in 1545 volgden Ta'izz en San'a. De Turken voorzagen de steden onmiddellijk van allerlei vestingwerken en wisten zich bijna een eeuw te handhaven. Hun pogingen zich ook van het noordoostelijke achterland meester te maken, bleken echter tot mislukken gedoemd. In 1590 begon Zaydi-imam Qasim de Grote een guerrilla tegen de Turken die er uiteindelijk toe leidde dat dezen San'a in 1629 moesten overdragen aan Muayyad, Qasims zoon. Vijf jaar later verlieten de laatste Turkse troepen het land en Muayyad herstelde Jemen in zijn oude glorie, van Aziz in het noordwesten tot Dhofar in het zuidoosten.

Europese handelsposten
In het begin van de zeventiende eeuw kwamen Engelsen en Hollanders naar Jemen, waar zij poogden in onderlinge rivaliteit steunpunten en handelsnederzettingen te vestigen. Mocca (AI Mukha) werd het centrum van de buitenlandse handel van Jemen die grotendeels bestond uit koffie, een voor Europa nieuwe drank. Tot de negentiende eeuw zouden de Hollanders en Britten de Jemenitische ex- en import beheersen.

Wat de Europeanen aantroffen was een gebied met een zelfbewuste bevolking en de sporen van rijke oude culturen. De plaatselijke machthebbers waren bereid tot handelscontacten en onderhandelingen, maar ze waren niet van zins hun macht af te staan. Door de handel in Mocca wisten de Zaydi-imams zich daar wel te handhaven, maar andere kustgebieden en buitengewesten ontglipten aan hun macht. Zo werden Aden en Lahij in 1731 onafhankelijke sultanaten. Ook de Hadramaut en de noordelijke Tihama stonden aan het einde van de achttiende eeuw niet langer onder het gezag van de imam.

Noord-Jemen werd in 1918 onafhankelijk van het Ottomaanse Rijk. In 1967 verlieten de Britten het protectoraat Aden dat zij in het zuiden hadden, en dat later Zuid-Jemen werd. In 1990 werden Noord-Jemen en Zuid-Jemen verenigd in de Republiek Jemen.

Noord-Jemen in 1918 een onafhankelijk vorstendom onder de sjiitsische imam, en vanaf 1926 tevens koning, Yahya ibn Muhammad. De imam regeerde als een conservatief en feodaal vorst, maar introduceerde tevens de Westerse techniek en wetenschap in zijn land. In de jaren '20 was er een kortstondig conflict met de Saoedische koning Abdoel Aziz al Saoed. In 1924 versloeg deze de imam, waarna het grensconflict werd opgelost in het voordeel van de Saoedi's.

Op 22 mei 1990 vond er een vereniging plaats tussen de Arabische Republiek (Noord-)Jemen en de Democratische Volksrepubliek (Zuid-)Jemen. De nieuwe republiek kreeg de naam Arabische Republiek Jemen.

   
Locatie Noord-Jemen en Zuid-Jemen voor de vereniging.