档案馆前身为安徽建筑工业学院综合档案室，成立于1992年2月，科级建制，隶属原学院办公室。2017年1月，学校成立独立建制档案馆，处级建制，原综合档案室及工作人员整体归并。
学校高度重视档案工作，明确了分管档案工作的校级领导，并将档案工作纳入学校教育事业发展“十三五”规划、年度工作要点、年度目标管理综合考核指标等。校属各单位均有明确分管档案工作负责人和兼职档案员，档案管理网络健全。档案馆经费列入学校预算，新馆基建、装修、设备、档案信息化等经费保障充分。
档案馆原位于北区行政楼五层，总面积160㎡，其中库房面积约122㎡。2017年11月，整体搬迁至南区实验综合楼二楼、三楼，面积约1100㎡，其中库房面积约750㎡，严格执行库房、办公室、技术用房“三分开”。配备计算机、复印机、打印机、扫描仪、碎纸机和保密柜、防磁柜、光盘柜、实物柜、空调、除湿机、温湿度仪等专业技术设备，切实做好档案库房“八防”工作。