Het land ligt ten zuiden van Saoedi-Arabië, ten zuidwesten van Oman, ten oosten van Eritrea, ten noordoosten van Djibouti en ten noorden van Somalië. Ten westen van het land ligt de Rode Zee, en ten zuiden ervan de Golf van Aden, die deel uitmaken van de Indische Oceaan.

Jemen bestaat voor een deel uit woestijnlandschap, gebergten, en aan de kust ook uit laagland. Je vindt er zowel woestijn, bergen en actieve vulkanen als hete geisers en tropische planten.

In het noorden liggen voor de kust van de Rode Zee talrijke woestijnachtige eilanden (waaronder de Kamaran-eilanden). De kust zelf kent talrijke lagunes en zoutmoerassen. Parallel aan de Rode-Zeekust Jigt de Tihama-vlakte (woestijnsteppe, langs de kust zoutminnende vegetatie) die 50 tot 70 km breed is en dunbevolkt.

Richting binnenland loopt de gemiddelde hoogte op tot ca. 300 m aan de voet van het Jemenitisch bergland. Vanuit het bergland lopen in diepe kloofdalen talrijke wadi's (tijdelijke rivieren) richting kust. Deze staan in de vlakte vrijwel altijd droog maar scheppen aan de voet van de bergen de mogelijkheid tot landbouw.

Het vulkanische Jemenitisch Bergland stijgt abrupt met een steilrand uit de Tihama-vlakte op en wordt doorsneden door talrijke diepe dalen. In het zuiden strekt het zich op sommige plaatsen uit tot aan de kust. Zo liggen de stad en de haven van Aden in een vulkaankrater. De centrale delen van het bergland liggen op een hoogte van 1500 tot 2500 m en zijn grotendeels in cultuur gebracht. Ten zuiden van San'a zijn de vulkanische bodems (ontwikkeld uit lava en tufsteen) zeer vruchtbaar en dichtbevolkt. Vlakbij de westrand van het bergland ligt ten westen van San'a de hoogste berg van het Arabisch Schiereiland: Jibal an Nabi Shuayb 3760 m.
 

Het Jemenitisch Bergland daalt langzaam richting noordoosten, waar tussen geisoleerde, met woestijnsteppe overdekte bergketens aparte wadi-bekkens liggen (wadi-oasen van Al Jawf, Ma'rib) en gaat dan over in de woestijn van Rub al Khali (Het Lege Kwartier). In het gebied waar Saudi-Arabie en het vnn. Noord- en Zuid-Jemen elkaar raken, ligt de zandwoestijn van Ramlat as Sab'atayn (Zandwoestijn van Saba), waar thans olie wordt gewonnen.

De zuidelijke delen van het bergland gaan richting oosten over in drogere, lagere bergketens (bijv. Jibal an Nisiyin, Al Wahidi, bedekt met woestijnsteppe) en vervolgens in het barre, onvruchtbare kalksteen plateau van Jol. Het plateau wordt in het noorden en oosten afgesloten door de imposante canyon van de Wadi Hadra-maut, met talrijke zijdalen. In zijn midden loop voert de Wadi Hadramaut vrijwel altijd water, dankzij de aanwezigheid van (aangetapt) grondwater op geringe diepte.

Hier bevinden zich zeer oude op irrigatie gebaseerde oaseculturen. In de benedenloop zijn de omstandigheden veel minder gunstig. Ten noorden van Wadi Hadramaut ligt het plateau van AI Kathiri. Nog verder naar het noorden wordt het Zuidarabische tafelland stapsgewijs lager en gaat over in de zandwoestijn van Rub al Khali. Aan de zuidrand van de woestijn liggen een aantal geisoleerde oasen. In het uiterste oosten ligt het lage droge gebergte van AI Mahrah (woestijnsteppe), met enkele oasen. Langs de gehele zuidkust wisselen bergketens en vlakten elkaar af. Deze laatste reiken tot 30 km landingwaarts en bestaan grotendeels uit zandwoestijn.