1900년 9월 충청북도관찰부 주사로 관직에 진출했다. 1901년 8월 중추원 의관에 임명되었으나 다음 달에 사임하고 11월 내장원 봉세관(封稅官)으로 임명되었다. 봉세관으로 근무하면서 충청남도 지역의 역토·둔토·개간지에서 도조(賭租)·해세(海稅)·포사세(庖肆稅) 등을 수납했다.

1902년 4월 충청남도관찰부 부여군수로 자리를 옮겼다. 이후 1903년 8월 노성군수, 1905년 6월 임천군수, 1906년 7월 공주군수, 1908년 강원도관찰도 김화군수, 1909년 9월 충청남도관찰도 사무관, 1910년 1월 충청남도관찰도 아산군수를 역임했다. 합병 후에도 재직하다가 1911년 3월 사직했다. 1912년 8월 한국병합기념장을 받았다.

봉세관과 군수로 근무하면서 지세와 수세를 면밀히 조사하여 황무지를 매입했다. 군수직을 사임한 후 본격적으로 황무지 개간, 택지 매립 및 수리사업에 뛰어들었다. 합병 후 땅값이 오르면서 대지주로 성장했다.

1910년대 조선총독부가 도로공사를 할 때 인부와 부지를 제공했는데, 1912년 3월 충청남도 노성군 도로공사를 시작으로 부여와 공주 간 도로, 논산 내 도로, 경상남도 마산과 칠원 간 도로 등 다수가 있다. 그 대가로 조선총독부가 1913년 3월과 10월, 1914년 12월, 1915년 12월 등 4회에 걸쳐 목배(木杯)를 수여했고, 1914년 5월과 1915년 12월에 은배(銀杯)를 주었다.

1913년 7월 충청남도 지방토지조사위원회 위원으로 위촉되어 1918년 8월까지 일제의 토지조사사업에 협력했다. 이와 함께 계속 토지를 매입해서 1918년에는 몇 천석을 받아들이는 갑부가 되었다. 이후에도 꾸준히 개간사업에 힘쓰며 여러 직책을 맡았다. 1914년 9월 조선물산공진회 평의원, 1915년 10월 일본적십사자 특별사원을 지냈다. 1915년 11월 다이쇼[大正] 천황 즉위기념 대례기념장을 받았다. 1916년 4월 공주위생조합 부조합장, 1917년 6월 제국군인후원회 통상회원, 같은 해 10월 공주군 공주면 상담역, 1919년 9월 공주금융조합장을 역임했다.

1920년 11월 ‘신일본주의’를 표방하면서 조선인 참정권운동을 추진한 국민협회의 충청남도 지부장이 되었고, 12월 충청남도 도평의회원으로 선출되었다. 이듬해인 1921년 4월에는 조선총독의 자문기구인 중추원 참의에 임명되었다. 이후 1930년대까지 공주읍 협의회원 2회, 중추원 참의 3회, 충청남도 도평의회원 4회를 역임했다.

대전군 유성면에 있는 유성온천을 주식회사로 개발하여 1921년 11월 대전온천주식회사(이후 유성온천주식회사로 개칭) 전무취체로 참여하였다. 이와 함께 대전역과 유성온천을 왕래하는 자동차 운수업을 개시했다. 자동차 운수업을 계속 확장하여 공주·대전·금산·평양·대구·안동 등에서 여객운수사업을 했다.

1920년 창립한 해동은행에 대주주로 참여했고, 1921년 공주전기에 주주로 참여해 이사가 되었고, 같은 해 설립한 공주식산에서 이사, 1922년 조선미술품제작소에 주주로 참여했다. 1926년 논산극장과 공중목욕탕을 지었다. 1927년 9월 충청남도 공주군 우성면의 우성수리조합 조합장이 되었다. 1927년 내선융화를 주장하던 친일단체 동민회(同民會) 공주지부 상담역이 되었고, 1929년에는 평의원이 되었다.

1928년 조선소방협회 충청남도지부 평의원으로 위촉되었고 같은 해 11월 쇼와[昭和] 천황 즉위기념 대례기념장을 받았다. 1929년 5월 조선박람회 평의원, 1931년 2월 『매일신보』 충청남도지국 고문에 추대되었다.

1931년 충청남도 도청이 공주에서 대전으로 이전하며 김갑순의 재산이 한차례 더 늘어났다. 충청남도 도청이 대전에 있는 김갑순의 부지 위에 세워지면서 도청 인근에 있던 김갑순의 토지(대흥동·은행동·선화동·대전역전)가 전부 대지로 변하였고, 집세가 4∼5배로 올랐다. 1930년대 김갑순의 토지는 공주와 대전 지역에 논 1,200여 정보, 밭 250여 정보, 기타 1,800여 정보 등 3,300여 정보로 2만석을 헤아리며 충청남도 제1의 부호가 되었다. 1931년 대전극장, 1932년 공주극장을 설립했다.

1932년 2월 애국기 ‘조선호’ 헌납을 위한 충청남도지역 모금운동의 상임위원을 맡았다. 1935년 10월 조선총독부가 시정 25주년 기념 표창을 수여했다. 1937년 유성온천주식회사 사장에 취임했다.

1938년 1월에는 조선유림연합회를 대표하여 중국전선에 있는 일본군을 위문했다. 1938년 6월 국민정신총동원조선연맹 발기인, 7월 국민정신총동원 경성부연맹 상담역, 8월 국민정신총동원 충청남도연맹 평의원, 9월 조선연맹조선방공협회 경기도연합지부 평의원이 되었다. 1938년 9월 일본인이 경영하던 조선신문사를 인수하여 사장에 취임했다. 1939년 2월 경성부 육군병지원자후원회 고문으로 참여했고, 7월 배영동지회 상담역으로 위촉되었다. 같은 해 11월 전쟁협력을 목적으로 유림을 통합해 조직한 조선유도연합회 평의원으로 활동했다.

1940년 10월 국민총력조선연맹 평의원이 되었고, 11월 기원2600년 축전에 초대를 받았다. 1941년 8월 흥아보국단 충청남도 준비위원으로 위촉되었다. 그해 9월 전시체제기 최대 민간 전쟁협력단체인 조선임전보국단 발기인으로 참여하고 10월에는 이사가 되었다. 해방 후 1949년 1월 반민특위에 체포되어 재판을 받았으나 보석으로 풀려났다.

김갑순의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제9·13·17호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-1: 친일반민족행위자 결정이유서(pp.678∼719)에 관련 행적이 상세하게 채록되었다.