Desa Babakanmadang terbentuk berdasarkan asal usul wilayah dimana pada jaman duhulu terkenal akan kesuburan tanahnya, hal ini dapat dilihat dengan banyaknya penduduk yang bercocok tanam dan menetap di wilayah Babakanmadang, secara etimologi Babakan Madang terdiri dari dua kata yaitu Babakan dan madang, dalam bahasa sunda Babakan adalah Kampung tempat orang mendirikan bangunan rumah tinggal untuk menetap sedangkan madang adalah nama sebuah pohon yang diyakini mempunyai khasiat untuk mengobati segala macam jenis penyakit seperti panas, demam dan lainnya.
Terdapat beberapa perbedaan penafsiran arti madang, ada beberapa tokoh masyarakat menafsirkan bahwa madang berasal dari bahasa arab yaitu Ma’dan  yang artinya Harta terpendam.
Namun bila dilihat dari daerah-daerah sekitarnya kata madang lebih mendekati kepada nama pohon, hal ini bisa diambil contoh daerah yang bernama Babakan jengkol, babakan haur (Bambu), babakan pari (mangga) dan lain sebagainya.
Sebelum tahun 1985 Desa Babakanmadang mencakup wilayah Desa Sumurbatu yang berbatasan dengan Desa karang tengah dan desa Bojongkoneng. Namun pada tahun 1985 terjadi Pemekaran desa yaitu Desa  Babakanmadang sebagai Induk dan Desa Sumurbatu sebagai pemekaran.