1899년 일본 오사카에서 태어났다. 일찍이 부모를 잃고 15세 때 10년간 함께 살던 조부마저 지병으로 세상을 떠나 외로운 어린 시절을 보내야 했다. 그로 인해 생겨난 허무와 고독, 죽음에 대한 집착은 평생 그의 작품에 그림자를 드리운다. 1920년 도쿄 제국대학 영어영문학과에 입학하지만 곧 일어일문학과로 전과, 1924년 졸업했다. 이후 《문예시대》를 창간, 요코미쓰 리이치 등과 감각적이고 주관적으로 재창조된 새로운 현실 묘사를 시도하는 ‘신감각파’ 운동을 일으켰다.
1924년 서정적인 필체가 빛나는 첫 소설 「이즈의 무희」를 발표한 이래, 『서정가』 등 여러 뛰어난 작품을 발표하여 작가로서의 지위를 확고히 했으며, 1937년 『설국』을 출간하여 국내외에서 독보적인 일본 작가로 자리 잡았다. 이 작품은 발표 후 12년 동안 여러 번의 수정 작업을 거쳐 1948년 마침내 완결판 『설국』으로 출간되었다. 이후 『천우학』, 『산소리』, 『잠자는 미녀』, 『고도』 등의 대표작에서 줄곧 지고의 미의 세계를 추구하여 독자적인 서정문학의 장을 열었다. 1968년 그간의 작품 활동으로 노벨 문학상을 수상했으며, 이 외에도 괴테 메달, 프랑스 예술문화훈장, 일본 문화훈장 등 여러 상을 수상했다. 1972년 3월, 급성 맹장염으로 수술을 받은 후 퇴원 한 달 만에 자택에서 가스 자살로 생을 마감했다.