По описанию, он был высоким и худым, обладал страстным характером и огромным чувством собственной важности.
Несмотря на то, что Джексон был юристом, это не мешало ему участвовать в дуэлях. Так, во время одной дуэли пуля засела прямо в его груди в паре сантиметров от сердца, где и оставалась на протяжении всей жизни. Вынуть ее было невозможно, и он до конца своих дней часто кашлял кровью.
Когда в 1804 году Джексон купил плантацию площадью более 400 гектаров, у него уже было 9 рабов - деятельность хлопковой плантации полностью держалась на рабском труде. Чем больше он скупал земли, тем больше нуждался в рабах. В итоге в его владении находилось порядка 150 человек.
Джексон яростно нападал на тех, кто противился рабовладельческой системе - называл их монстрами, которые должны поплатиться жизнью за свои злые намерения нарушить общественный уклад.
Всю свою жизнь Джексон провел в ссорах и стычках. Он считал, что любой, кто не согласен с его мнением, обязательно желает ему зла. Кроме того, он был своеволен и не терпел, когда вмешивались в его дела. Когда началась англо-американская война (1812-1815 гг.), Джексон командовал войсками на юге, и если правительство давало указания его подчиненным, он приказывал не подчиняться, если командует не он.
Несмотря на то, что некоторые индейские племена сражались на стороне американцев, Джексон начал постепенно воплощать в жизнь свой план по изгнанию коренного населения, в результате которого исконные владения индейцев должны были перейти к переселенцам.