Desa Babakan Madang terbentuk berdasarkan asal usul wilayah dimana pada jaman duhulu terkenal akan kesuburan tanahnya, hal ini dapat dilihat dengan banyaknya penduduk yang bercocok tanam dan menetap di wilayah Babakan Madang, secara etimologi Babakan Madang terdiri dari dua kata yaitu Babakan dan Madang, dalam bahasa sunda Babakan adalah Kampung tempat orang mendirikan bangunan rumah tinggal untuk menetap sedangkan Madang adalah nama sebuah pohon yang diyakini mempunyai khasiat untuk mengobati segala macam jenis penyakit seperti panas, demam dan lainnya.
Terdapat beberapa perbedaan penafsiran arti madang, ada beberapa tokoh masyarakat menafsirkan bahwa madang berasal dari bahasa arab yaitu Ma’dan yang artinya Harta terpendam.
Namun bila dilihat dari daerah-daerah sekitarnya kata madang lebih mendekati kepada nama pohon, hal ini bisa diambil contoh daerah yang bernama Babakan Jengkol, Babakan Haur (Bambu), Babakan Pari (mangga) dan lain sebagainya.
Sebelum tahun 1985 Desa Babakan Madang mencakup wilayah Desa Sumur Batu yang berbatasan dengan Desa karang Tengah dan desa Bojong Koneng. Namun pada tahun 1985 terjadi Pemekaran desa yaitu Desa Babakan Madang sebagai Induk dan Desa Sumur Batu sebagai pemekaran.