Il mahjong si gioca tradizionalmente utilizzando un insieme di tessere, sebbene esistano anche mazzi di carte per il mahjong (detti talvolta mhing). In molti casi, l'equipaggiamento per il mahjong include speciali "chips" utilizzate per tenere i punti, o tenere traccia del "vento" di un particolare turno, chi è "di mano", e altre informazioni di questo tipo. In alcuni casi sono anche forniti dei supporti su cui appoggiare le tessere, sebbene queste ultime siano spesso sufficientemente spesse da poter essere collocate in piedi senza bisogno di ulteriori supporti.

L'insieme delle tessere può variare da regione a regione. In genere include almeno 136 tessere, più spesso 144, o ancora di più per le varianti americane e giapponesi. Le tessere includono:

Del mahjong esistono numerose varianti. In molti luoghi, i giocatori conoscono una sola variante, o pensano che la variante locale sia l'unica corretta. Al giorno d'oggi, le varianti più giocate differiscono quasi esclusivamente per il metodo di conteggio dei punti.

• il mahjong classico cinese è la variante più antica, introdotta negli Stati Uniti negli anni '20.
• il mahjong di Hong Kong o mahjongg cantonese è la variante più giocata, e presenta solo poche differenze minori rispetto alla versione classica.
• il mahjong giapponese è una versione standardizzata e semplificata del gioco, molto utilizzata anche per i videogiochi. Oltre a variazioni nel conteggio dei punti, la versione giapponese si distingue per le regole riichi e dora.
• il mahjong classico occidentale è un derivato della versione del mahjong descritto nel "libro rosso" di Babcock, e la sua forma principale è il mahjong americano, spesso scritto mahjongg o mah-jongg. Quest'ultimo è stato oggetto di due diversi sforzi di standardizzazione: da parte della National Mah Jongg League (NMJL) e da parte della American Mah-Jongg Association (AMA), con piccole differenze di conteggio dei punti fra questi due standard. Il mahjongg americano (in entrambe le forme) presenta molte differenze rispetto al gioco classico: l'introduzione di tessere jolly, il Charleston, e una serie di altre variazioni importanti.
• altre varianti minori, e meno diffuse, sono il mahjong di Fuji, il mahjong di Taiwan, il mahjong vietnamita, e il mahjong delle Filippine.

Nel tempo, sono stati fatti diversi tentativi di produrre un insieme di regole standard che potessero essere apprezzate a livello internazionale, e servire da base per campionati mondiali di mahjong, ma nessuno di questi sforzi è riuscito. In genere, i tentativi di creare regole internazionali si sono basati sulle varianti cinese classica, cantonese e giapponese, ignorando le variazioni americane, considerate troppo lontane dallo spirito originale del gioco.

La prima descrizione scritta del gioco non in lingua cinese apparve nel 1895, in un articolo dell'antropologo statunitense Stewart Culin. Fra il 1895 e il 1910 furono pubblicate altre descrizioni in altre lingue, inclusi francese e giapponese. In occidente, all'inizio del XX secolo, il testo di riferimento più importante in lingua inglese fu Rules of Mah-jongg di Joseph Park Babcock, noto anche come "il libro rosso"; descriveva le regole del gioco con numerose semplificazioni, che in seguito costituirono elementi fondanti del cosiddetto mahjong americano. Altri libri di regole seguirono quello di Babcock, in generale caratterizzati da numerose imprecisioni (non fanno eccezione neppure quelli pubblicati dalla National Mah Jongg League, l'associazione di Mahjongg ufficiale americana). Fu in pubblicazioni di questo genere che si iniziò a sostenere (falsamente) che il gioco fosse antichissimo, allo scopo di renderlo più affascinante. Affermazioni false dello stesso genere vengono utilizzate, oggi, per il Mahjong in solitario, che è un gioco ancora più recente.

Negli anni '20, il gioco sbarcò negli Stati Uniti, con un notevole successo, diventando una sorta di moda. Le tessere furono vendute sotto una serie di diversi trademark, come Pung Chow o Game of Thousand Intelligences ("il gioco delle mille intelligenze"). Vennero persino incise canzoni di successo che parlavano del gioco, per esempio Since Ma is Playing Mah Jong di Eddie Cantor. In quest'epoca nacque il cosiddetto "mahjongg americano", un gioco principalmente giocato da donne. Nel 1937, dopo numerose revisioni delle regole, venne fondata negli Stati Uniti la "National Mah Jongg League" (NMJL) e fu pubblicato il primo libro sulle regole del mahjongg americano: Maajh: The American Version of the Ancient Chinese Game. Nonostante l'origine cinese del gioco, il mahjongg americano viene considerato gioco ebreo; esso veniva infatti giocato principalmente da ebrei, e tali erano anche tutti i fondatori della NMJL. Pochi anni dopo (nel 1945), con la nascita della Repubblica Popolare Cinese, il gioco veniva bandito dal nuovo governo comunista del paese, in quanto il gioco d'azzardo (tale era il mahjong in Cina) veniva visto come uno dei simboli della corruzione capitalista.

Una delle leggende sull'origine del mahjong (ma si tratta probabilmente di una leggenda di origine occidentale) attribuisce l'invenzione del gioco al grande filosofo cinese Confucio, intorno al 500 a.C., che lo avrebbe diffuso durante il suo peregrinare per il paese, mentre divulgava la propria dottrina. Questa leggenda (considerata falsa dagli storici, vedi sotto) presenta alcune curiose corrispondenze con la realtà: nell'insieme delle tessere, i "tre dragoni" sono coerenti con le tre virtù cardinali sostenute da Confucio: il rosso Chung, il verde Fa e il bianco Po, infatti, rappresentano rispettivamente Benevolenza, Sincerità, e Amore filiale. Si dice che Confucio avesse un grande amore per gli uccelli, il che spiegherebbe il nome del gioco ("uccello di canapa"). Anche molti dei termini usati nel gioco (per esempio pong, chee e kong) trovano una spiegazione alla luce dell'origine confuciana del gioco. Confucio infatti apparteneva alla famiglia "Kong" (il suo nome completo era Kong-fu-tze), sposò una ragazza di nome "Che" e adottò la parola chee col significato di "connettere".

Per gli storici, tuttavia, il mahjong è un'invenzione molto più recente, databile attorno al 1850 d.C.. Il gioco potrebbe derivare dal Mádìao (馬吊) (anche detto Ma Tiae, letteralmente "cavallo appeso" o Yèzí, 葉子), letteralmente "foglia") giocato in Cina all'inizio della dinastia Ming. Il Mádìao si giocava con 40 carte simili a quelle dello Ya Pei (un altro gioco cinese). Le 40 carte erano numerate da 1 a 9 in quattro diversi semi, più 4 carte speciale "dei fiori", il che ricorda molto da vicino la composizione dell'insieme di tessere del mahjong. Non esiste un'ipotesi unica circa l'inventore effettivo del gioco. Secondo alcuni, esso fu creato da ufficiali dell'esercito cinese, per passare il tempo, durante la ribellione di Tai Ping (1851-1864). Secondo altri, l'inventore fu un nobile di Shanghai fra il 1870 e il 1875. Un'altra teoria ancora attribuisce il gioco a due fratelli della città di Ningpo (1850).