出生於日本本州東北，今日的岩手縣遠野市。早年就讀岩手縣師範學校，因被認為鼓動學潮而遭退學，而後師事東京帝國大學坪井正五郎教授，加入東京人類學會。

1895年底，隨日本政府來到殖民地臺灣，在臺期間，歷任總督府雇員、山地事務調查員、囑託等職，並展開其研究。早期以臺灣北部平埔族原住民為研究對象，1897年5月起開始192天的全島大調查，其後又多次進行局部的調查旅行，在此期間跋山涉水，歷經種種艱難危險，獲得豐富詳實的田野資料，使其成為當時在臺日本人的「蕃通」與「臺灣通」，建立起在臺灣研究領域的知識權威。

1906年，辭去在臺職務返回故鄉之後，仍持續致力於臺灣及故鄉遠野的鄉土研究。1925年，由於早年在臺踏查感染的瘧疾復發，於59歲去世。

伊能嘉矩是日治時期渡臺的日本研究者中「用力最勤，成就最大的第一人」，影響力至今不墜，被譽為偉大的臺灣學開拓者。