Lejos del campo de béisbol y las cámaras, Brown fue arrestado en 1965 por asalto y agresión que involucraba a una joven de 18 años llamada Brenda Ayres. Aunque fue absuelto de los cargos, Ayres luego demandó a Brown por la paternidad de su hijo. En ese momento, Brown estaba casado con Sue Jones, con quien tuvo tres hijos, incluidos gemelos. En 1968, Brown supuestamente arrojó a la modelo Eva Bohn-Chin desde el balcón del segundo piso de su apartamento. Los cargos fueron desestimados debido a la falta de cooperación de Bohn-Chin con el fiscal, pero la reputación se mantuvo. En 1973, Brown, de 37 años, le propuso matrimonio a un estudiante universitario de 18 años. Terminaron su compromiso al año siguiente. En varios incidentes en las décadas de 1970 y 1980, Brown fue acusado de agresión contra hombres y mujeres y, en 1985, violación (después desestimado). A pesar de que fue absuelto de la mayoría de estos presuntos delitos en papel o por tecnicismos, se hizo más difícil distinguir entre la pantalla de Brown y la personalidad pública. En todo momento, insistió en su inocencia.
En la edición del 11 de noviembre de 1968 de Nueva York revista, Gloria Steinem escribió que Jim Brown, a quien llamó en su título, “El John Wayne negro”, era “… John Wayne, o tal vez John Wayne con solo una pizca de Malcolm X”. Para 1967, Brown había recibido a un pequeño grupo de atletas negros en The Cleveland Summit, una reunión de verano de 1967 donde los hombres se reunieron para escuchar a Muhammad Ali sobre su resistencia a alistarse y servir en el ejército estadounidense durante la guerra en Vietnam. En 1968, Brown obtuvo su primer papel protagónico en “The Split”, una película sobre el robo en el Coliseo de Los Ángeles. Diahann Carroll coprotagonizó como la ex de Brown. Brown coprotagonizó “Ice Station Zebra” de 1968, un thriller ambientado en el Ártico protagonizado por Ernest Borgnine y Rock Hudson. Brown interpretó a la “Capitán Leslie Anders”, una figura de autoridad sensata que, como en “Rio Conchos” y “The Dirty Dozen”, es asesinada.
En 1969, protagonizó tanto “Riot” (una película de prisión) como con Welch la sexy “100 Rifles” (otro western). Los directores sabiamente no intentaron presentar a Brown como el arquetipo digno que había sido Poitier. La historia de amor “interracial” con el personaje de Welch fue controvertida para la época, en parte por sus matices violentos (el arte del cartel de la película juega con los físicos de Brown y Welch).
Después de un par de estrenos cinematográficos mediocres en 1970, Brown ayudó a marcar el comienzo de Blaxploitation en “Slaughter” y “Black Gunn” de 1972, ambos papeles principales. Para entonces, los fanáticos del cine habían disfrutado de “Shaft” de 1971, que presentaba a un detective privado negro empuñando un arma, duro y cariñoso. La proliferación de tales tarifas ayudó a Brown a encontrar su timonera; el trasfondo irónico de estos vehículos pegajosos permitía dar rienda suelta a producciones de presupuesto limitado donde su gama limitada de expresión y matices no era un factor. Cuando los estudios se alejaron del mercado de acción negro y los cinéfilos superaron los estereotipos y la previsibilidad del género, la fortuna cinematográfica de Brown se desvaneció. En la década de 1980, dedicó sus esfuerzos a aplastar la carne de las pandillas a través de su fundación Amer-I-Can, con sede en el sur de California. Los jóvenes miembros del “club”, muchos de los cuales habían crecido siendo testigos de los papeles implacables de Brown, respetaban al actor y ex atleta por respetarlos y tomarse el tiempo para comprender sus vidas.