Jurusan Matematika di Universitas Negeri Jakarta sudah ada di Fakultas Matematika dan Ilmu Pengetahuan Alam (FMIPA) pada tahun 70-an saat Universitas Negeri Jakarta (dahulu IKIP Jakarta) masih dalam satu area bagian Universitas Indonesia. Pada saat itu, FMIPA masih bernama FKIE (Fakultas Keguruan Ilmu Eksakta). Dari nama fakultas yang ber-title “keguruan”, jelas bahwasanya jurusan yang ada pun berkaitan dengan dunia pendidikan. Saat itu, dalam Jurusan Matematika hanya ada Pendidikan Matematika saja (belum ada nama program studi). Kemudian pada kisaran tahun 80-an, nama FMIPA mengalami beberapa kali pergantian nama diantaranya dari FKIE menjadi FMPA (Fakultas Matematika dan Pengetahuan Alam), lalu dari FMPA menjadi FPMIPA (Fakultas Pendidikan Matematika Ilmu Pengetahuan Alam).

Selanjutnya, nama IKIP Jakarta berubah menjadi Universitas Negeri Jakarta (UNJ) pada tanggal 4 Agustus 1999 dan pada akhir tahun 1999 pun, nama FPMIPA berganti menjadi FMIPA (Fakultas Matematika dan Ilmu Pengetahuan Alam) serta memulai sistem pembagian program studi (prodi). Mulai saat inilah prodi-prodi non-kependidikan berkembang di UNJ secara bertahap. Program Studi Matematika pun mulai dikembangkan pada tahun akademik 2001/2002, kemudian disusul dengan munculnya Program Studi Sistem Komputer (Siskom) pada tahun 2013. Pada tahun 2016 Program Studi Siskom berganti nama menjadi Program studi Ilmu Komputer (Ilkom). Pada tahun 2017, sudah direncanakan untuk membuka Program Studi baru yaitu Statistika. Akhirnya rencana itu terlaksana pada tahun 2017 dibuka Program Studi Statistika. Sampai tahun 2022, Jurusan Matematika memiliki 4 program studi yaitu Pendidikan Matematika, Matematika, Ilmu Komputer, dan Statistika.