SMA Negeri 31 Jakarta didirikan pada tahun 1978 di atas lahan + 8120 m2 yang merupakan milik Pemerintah Daerah Khusus Ibukota Jakarta, terletak di Jalan Kayumanis Timur No. 17, Kelurahan Utan Kayu Selatan, Kecamatan Matraman, Wilayah Jakarta Timur.

Kepala SMA Negeri 31 yang pertama dipimpin oleh Drs. R. Pasaribu sampai dengan tahun 1981. SMA Negeri 31 adalah pecahan dari SMA Negeri 5 menjadi SMA Negeri 22 dan SMA Negeri 31. Gurunya sebagian ada yang dari SMA Negeri 22 dan SMA Negeri 31, sedangkan muridnya murni dari penerimaan murid baru.

Selanjutnya pada tahun 1981 – 1983 SMA Negeri 31 dipimpin oleh Drs. Subroto, tahun 1983 – 1987 dipimpin oleh Dra. Retty Surjanah. Pada saat inilah nama dari SMA Negeri 31 melambung tinggi keseluruh pelosok nusantara, dikarenakan  beberapa prestasinya yang diraih oleh SMA Negeri 31 sangat memuaskan yaitu, lulusan SMA Negeri 31 yang diterima di Perguruan Tinggi Negeri (PTN) hamper mencapai 95 %.

Seluruh kegiatan ektrakurikuler seperti PMR, Pramuka selalu membawa nama baik Provinsi DKI Jakarta. Kemudian pada tahun 1987 – 1992 SMA Negeri 31 dipimpin oleh Drs. H. Maksum Habibi, tahun 1992 – 1994 dipimpin oleh  Drs. B. Manurung, tahun 1994 – 1997 dipimpin oleh Drs. Sujono Kuslan, pada saat inilah gedung SMA Negeri 31 direnovasi total oleh Pemerintah DKI Jakarta. Seluruh proses KBM sementara menumpang di SDN Kebon Manggis Matraman Jakarta Timur. Kemudian tahun 1996 – 2000 SMA Negeri 31 dipimpin oleh Drs. P. Parman AS. P, tahun 2000 – 2006 Dra. Hj. Sutinah Dwiastuti, M.Sc. tahun 2006 – 2008 dipimpin oleh Drs. H. Asmuni Hasan tahun 2008 – 2010 dipimpin oleh Drs. Muhammad Effendi, M.Pd tahun 2010 – 2011 dipinpin oleh Ibu Dra. Hj. Nani Kurniasih, M.Pd tahun 2012, sampai tahun 2020 SMA Negeri 31 dipimpin oleh Ibu Dra. Era Yulvita, MM. Pada tahun 2021 SMA Negeri 31 dipimpin oleh Ibu Agnes Sukasni, M.Pd.