南京农业大学的研究生教育具有悠久的历史,为我国的农业教育、科技、管理和生产做出了重要贡献。学校前身私立金陵大学农学院和国立中央大学农学院于1936-1945年共招收和培养了65名研究生,占当时全国农科的50%。新中国成立后,南京农学院于1949-1966年,累计招收和培养了64名研究生。两期培养的研究生成为我国农科重要的学科带头人和骨干。
1981年我国实施学位制度后,南京农业大学成为我国首批有权授予博士、硕士学位的单位之一,同时有权授予同等学力博士和硕士学位,开展专业学位研究生教育,面向在职人员举行硕士研究生入学单独考试,接受和推荐优秀应届大学本科毕业生免试攻读硕士学位,面向港澳台招收研究生,自费招收国外留学生,开展“硕-博连读”和“学-硕连读”试点,自行审定博士生指导教师和自行审批硕士点。1999年,被国家教育部和国务院学位委员会授予“全国学位与研究生教育管理工作先进集体”。2000年6月经教育部批准建立研究生院。