Istilah ini pertama kali muncul berdasarkan hadis Nabi tentang Iftiraq (perpecahan umat) :
Umatku ini akan terpecah-belah menjadi tujuh puluh tiga kelompok,
semuanya akan masuk neraka kecuali satu saja. Para sahabat bertanya :
Siapa mereka itu wahai Rasulullah ? Nabi Shallallahu alaihi wa sallam
menjawab : Mereka itu yang mengikuti sunnahku dan jamaah para sahabatku
pada hari ini [HR Tirmidzi dan Ath-Thabrani]
Ahlus Sunnah = mengikuti sunnah Nabi
Wal Jamaah = dan jamaah para sahabat, serta selalu bersatu dalam jamaah kaum muslimin.
Bani Umayah pernah mengklaim sebagai Ahlus Sunnah Wal Jamaah untuk
propaganda kekuasaannya, karena kenyataannya mayoritas kaum muslimin
bersatu dibawah kepemimpinan khalifah dari kalangan mereka. Propaganda
itu untuk menyudutkan kelompok-kelompok yang menentang dan memberontak
terhadap Khalifah, yaitu kelompok Syiah dan Khawarij.
