Родился в городке Ганау в семье юриста. Окончил университет Марбурга. Под влиянием Клеменса Брентано и Йоахима фон Арнима, опубликовавших сборники народных баллад, вместе с братом Вильгельмом увлекся фольклором и начал собирать сказки. В 1812 году братьяГримм опубликовали первый том своих знаменитых "Детских и семейных сказок", три года спустя появился второй том; в эти два тома вошло 200 народных сказок и 10 так называемых "детских легенд". Через два года после публикации "Сказок" братья Гримм выпустили сборник "Немецкие предания" в двух томах. В 1819 году оба брата за свои ученые заслуги были удостоены степени доктора в университете Марбурга. Проработав более десяти лет в библиотеке города Кассель, в 1829-1830 гг. братья Гримм перебрались в Геттинген, где им предложили должности профессоров и заведующих университетской библиотекой. В 1835 году Якоб Гримм опубликовал весьма объемное исследование "Германская мифология"; эта работа и поныне считается классическим трудом по сравнительной мифологии.(Братья Гримм - основоположники так называемой "мифологической школы" в фольклористике; к этой школе принадлежали, в частности, Фридрих Шеллинг и братья Шлегели). В 1840 году за участие в политической манифестации оба были уволены из университета Геттингена; впрочем, без должности они оставались недолго и вскоре перебрались в Берлин, где также преподавали в университете. В 1848 году Якоб Гримм вышел в отставку. Последние годы жизни он целиком посвятил научным изысканиям в области лингвистики и народного творчества.