Sekolah Kebangsaan Mergong terletak lebih kurang 5 km dari pusat bandar Alor Setar.Sekolah ini mula ditubuhkan pada 6 JANUARI 1957 dikenali sebagai Sekolah Umum Mergong. Sekolah sementara ini menggunakan bangsal mengundi pilihanraya pertama yang diadakan pada tahun 1957 bertempat di Masjid Kampung Mergong.Seramai 80 orang  orang murid diterima masuk belajar di sekolah ini, pada ketika itu tenaga pengajar terdiri daripada 2 orang guru.Penubuhan sekolah ini adalah  atas daya usaha  Tuan Haji Puteh b. Arshad iaitu Penghulu Mukim Mergong.

                                                    Bangunan A     

                                                    Bangunan B

Guru Besar pertama sekolah ini ialah En. Osman b. Yunus.Pada tahun 1958 murid baru diterima belajar bagi Darjah 1 dan persekolahan sesi petang terpaksa diadakan akibat pertambahan murid.

Pada 3 Januari 1960 murid-murid Sekolah Umum Mergong dipindahkan ke sekolah baru iaitu Sekolah Kebangsaan Mergong.Sekolah Kebangsaan Mergong ini dibuka dengan rasminya pada 17 JANUARI 1960.Bangunan yang baru dibina ini terdiri daripada 6 kelas.Pada tahun tersebut seramai 320 orang murid diterima belajar di sini dengan dibantu oleh 9 tenaga pengajar.Dari tahun ke tahun bilangan murid sekolah ini semakin bertambah.

            Untuk menampung pertambahan murid ini bangunan baru telah dibina.Pada tahun 1965 bangunan B telah dibina, bangunan C dibina pada tahun 1983.

            Sesi persekolahan 1980an hingga 1990an didapati bilangan murid sekolah ini semakin bertambah.Ini menyebabkan persekolahan terpaksa dijalankan dalam dua sesi.Bilangan tenaga pengajar juga turut bertambah.

            Dalam keadaan serba kekurangan inilah,Sekolah Kebangsaan Mergong semakin menunjukkan prestasi cemerlang dalam bidang Kurikulum dan Kokurikulum hingga ke hari ini.