中国科学技术大学物理学院由物理系、近代物理系、光学与光学工程系、天文学系、工程与应用物理系和物理实验教学中心等单位组成。建校之初，著名物理学家严济慈、赵忠尧、施汝为、张文裕、钱三强、钱临照、彭桓武、马大猷、朱洪元等人曾在各系担任重要职务并执教多年。现任院长沈保根院士，执行院长陈宇翱教授，党委书记周正威教授。
1958年，中国科学技术大学在北京成立之时，所建立的13个系中与物理直接相关的有7个系，其中原子核物理和原子核工程系、技术物理系及物理教研室是现在物理学院的主体源头。1964年，学校以学科为基础将全校合并成6个系，原子核物理和原子核工程系更名为近代物理系，技术物理系吸纳了生物物理系、地球物理系而更名为物理系。1994年，学校成立了以加强学术交流为目标的理学院，涵盖数学、物理、化学、天文、地学、生物众多学科。 2000年，在化学与材料科学、生命科学、地球与空间科学等系先后建成实体学院后，理学院成为实体学院，包括数学、物理、近代物理、天文与应用物理等4个系。2009年，数学系析出，理学院更名为物理学院。同年，以光学学科及中国科学院量子信息重点实验室等为基础成立光学与光学工程系；物理实验教学中心独立建制；天文与应用物理系更名为天文学系。2018年，工程与应用物理系成立。
物理学院共有教职员工446人，其中教授116人，副教授（含特任教授）118人，聘期制科研人员159人。现有中国科学院与中国工程院院士（含外聘）17名，国家级教学名师2人，教育部人才计划20人（含青年学者），国家高层次人次特殊支持计划入选者20人（含青年人才），国家杰出青年基金获得者43人，国家创新人才计划人才（含长期项目）63人，国家优秀青年基金获得者35人，中国科学院人才计划学者50人。物理学院设有“严济慈大师讲席”、“赵忠尧大师讲席”和“王绶琯大师讲席”，并聘请国内外数十名兼职和客座教授。
中国科学技术大学物理学院建有核探测与核电子学国家重点实验室，及量子信息、星系与宇宙学、强耦合量子材料物理、微观磁共振、光电子技术、物理电子学等6个中国科学院及安徽省重点实验室；物理学院还紧密依托合肥微尺度物质科学国家研究中心、国家同步辐射实验室开展研究工作；发起并推动了合肥国家实验室的成立和建设。物理学院涵盖了物理学、天文学、光学工程、电子科学与技术4个一级学科，2021年新获批量子科学与技术自设一级学科。2016年，在教育部第四轮全国高校学科评估中，物理学、天文学被评为A+学科，并入选国家“双一流”建设。物理学、天文学、应用物理学、光电信息科学与工程先后获批“双万计划”国家级一流本科专业建设点。2021年，经教育部批准，新设量子信息科学本科专业。严济慈物理科技英才班入选教育部“拔尖计划”、“拔尖计划2.0”，王绶琯天文科技英才班入选教育部“拔尖计划2.0”。
中国科学技术大学物理学院坚持社会主义办学方向，全面贯彻党的教育方针，坚持立德树人，促进学生全面发展，培养德、智、体、美、劳全面发展的社会主义建设者和接班人。物理学院以培养从事前沿和交叉科学的基础研究、应用研究和研制开发的领军人才为目标，注重对学生的物理素质和创新精神的培养。学院的物理学和天文学均为国家理科基础科学研究和教学人才培养基地，物理实验教学中心为国家首批国家级示范教学中心。本科生前期主要进行系统的基础理论教学和严格的实验动手能力训练，后期可根据自己的志趣爱好分别在14个学科方向内自主选择专业。
中国科学技术大学物理学院每年招收本科生和研究生各约300名。目前物理学院在校学生2954人，其中本科生1177人，博士研究生855人，硕士研究生683人，代培研究生239人。物理学院本科毕业生约80%进入国内外大学或研究院所继续深造，博士毕业生约3/4继续从事学术研究工作，已经成为国际知名的物理学人才培养重镇。在我国学位制度建立最初10年（1990年前）所授予的454名物理学博士中，物理学院培养了51位，其中范洪义博士是首批获学位的18位博士之一。 我国改革改革开放初期施行的“中美联合招收物理研究生项目（CUSPEA）”10年共选拔919人，中国科学技术大学的毕业生最多，达219人。 自1999年教育部组织全国优秀博士论文评选以来，物理学院共有13篇物理学与天文学博士论文入选，占此两学科入选总数的1/9。半个世纪以来，中国科学技术大学物理学院已经培养了一大批不同领域的杰出人才，包括赵忠贤、朱清时、何多慧等18名中国科学院和中国工程院院士，王子义、常永福等多名从事国防事业的将军，以及文小刚、潘卓华、周冰、谢心澄、林海青、许怒、赵政国、侯建国、翁征宇、王力军、斯其苗、崔伟、赖东、陈仙辉、毛淑德、常进、杜江峰、葛健、潘建伟、庄小威、段路明、李巨、封东来、李传锋等众多活跃在国际科学研究前沿的中青年学者。
中国科学技术大学物理学院积极参与国家基础及应用研究领域的重大研究课题以及大科学工程建设，承担了大量国家级科研项目，连续五年获得竞争性研究经费超过3.0亿元。 近10年来，学院在物理学重要的学术期刊《Physical Review Letters》上每年发表论文约50篇，其中第一作者单位论文每年约30篇。近两年在《Nature》、《Science》上发表论文近10余篇。2002年以来，学院有2项成果获国家自然科学一等奖，1项成果获国家科技进步一等奖，6项成果获国家自然科学二等奖，31项成果40余次入选国际物理学重大年度进展、国家科技部年度基础科学研究十大新闻和中国高校科技十大进展。
中国科学技术大学物理学院具有优质的人才资源、勤奋的师资队伍、自由的学术环境、均衡的学科布局、坚实的研究基地，通过持之以恒的努力，在未来若干年内，有望发展成为国际一流的物理学人才培养基地、活跃的科学研究和学术交流中心。