En 1877 aparece ya afiliado al partido republicano federal siendo pronto secretario general en Vigo; acaba el bachillerato en 1880 y colabora en El Estudiante. Se intereso por el periodismo fundando las publicaciones La Verdad y La Propaganda, siendo ésta última la que supone su paso del federalismo al anarquismo e influyendo también notablemente en el proletariado de la comarca viguesa. Se ve desterrado a Madrid debido a un conflicto con un cacique local y allí se verá muy ligado a Serrano Oteyza, casándose con una de sus hijas; animado por Serrano, iniciará estudios de topografía y profundizará en su pensamiento anarquista alejándose definitivamente de su republicanismo juvenil. En 1883 sobresale ya como escritor anarquista desde la Revista Social, forma parte en el jurado que expulsa a Pablo Iglesias del FRE y protestó por la represión iniciada a raíz del caso de la Mano Negra en Andalucía. Adopta las tesis bakuninistas del colectivismo, doctrina que define como la posesión común de la riqueza natural y social, así como de todos los medios de producción, pero la posesión privada de los bienes de consumo elaborados individual o colectivamente En 1895, regresa a Vigo, para trasladarse dos años después a Pontevedra, obligado siempre por su trabajo de técnico en la construcción del ferrocarril. En su estancia pontevedresa, aparece, según J. A. Durán, "estrechamente ligado a los jóvenes y combativos redactores de La Unión Republicana... Se le ve junto con la izquierda obrera, republicana y socialista de la ciudad, en la campaña de mítines de protesta por los procesamientos barceloneses", e inicia la tarea de extender la propaganda anarquista entre el campesinado gallego, inspirándose en su experiencia andaluza.
En 1887 se publica su obra La reacción en la revolución que supone una defensa del colectivismo frente al comunismo; un año después funda en Sevilla La Solidaridad, baluarte colectivista. En los años sucesivos, su pensamiento sufre cierta evolución, simpatizando primero con la variante colectivista mutualista de Lum, rechazando el dogmatismo económico anarquista y adoptando más tarde el anarquismo sin adjetivos de Tárrida de Mármol y mantendrá hasta su muerte. En 1889 funda La Alarma; durante esos años se ve inmerso en la gran rebelión de la Andalucía luchadora y da numerosos mítines. En 1899 publica el famoso folleto La ley del número, en el cual desmitifica el electoralismo y el parlamentarismo; en 1900 fue delegado delegado español en el Congreso Anarquista Internacional y en 1901 se traslada a Asturias como topógrafo del ferrocarril de Langreo e influirá notablemente en el obrerismo libertario de la región; en los primeros años del siglo las publicaciones de Mella son menos numerosas, aunque sigue colaborando para revistas como Tierra y Libertad y La Revista Blanca, de Madrid, Juventud, de Valencia, y Natura, de Barcelona. Pero a partir de 1904, inicia en Gijón, ciudad a la que se había trasladado dos años antes por motivos de trabajo y exigencias de su numerosa familia -tenía doce hijos-, un período de silencio, ante el surgimiento de grandes divisiones en el seno del anarquismo y el sindicalismo revolucionario en España. De todos modos, su estancia en la ciudad asturiana se dejó sentir en las organizaciones de corte libertario, a través de la huella que dejó en Pedro Sierra, su primer biógrafo, y Eleuterio Quintanilla. En 1909 vuelve con fuerza al denunciar el jacobinismo reinante desde las páginas de Tribuna Libre, Solidaridad Obrera y otras publicaciones. En 1910 fija su residencia en Vigo donde alcanza notoriedad social como director de la compañía de tranvías y escribe para Acción Libertaria y El Libertario, polemiza con Tierra y Libertad y traduce a Kropotkin; en este año publica el folleto Cuestión de enseñanza donde defiende una escuela neutra en la que se huya del dogma (inclusive el ideal ácrata que no se debe enseñar o imponer), se respeten las propias conclusiones del educando y en la que el racionalismo no es necesariamente la respuesta ya que se trata de un concepto relativo. En la Primera Guerra Mundial se muestra a favor de los aliados y parece que vuelve a alejarse del anarquismo de nuevo debido a la polémica del jacobinismo aunque su escrito Doctrina y Combate, perteneciente a 1922, parece desmentirlo. Apunta J. A. Durán que ese mismo año lo visita Abad de Santillán y se confiesa acabado para la lucha, distante de la experiencia sindicalista de un Seguí o de un Pestaña". Al parecer, según señala Pedro Sierra, "en los últimos años, aun sin dejar de ser profundamente libertario, había evolucionado Mella hacia una comprensión de las ideas por encima de todos los dogmas, una suerte de escepticismo filosófico con gran fondo idealista".
Mella es uno de los teóricos más brillantes del anarquismo español, de extensa labor caracterizada por la moderación y de gran influencia en la CNT asturiana; muchas de sus ideas están lejos de estar desfasadas y son, todavía hoy, ejemplos de libertad, antiautoritarismo, tolerancia y heterodoxia, que traen a colación las palabras del anarquista gallego, "no pongáis muros al pensamiento". Como ya se ha señalado, recogía la herencia del colectivismo y simpatizaba con el anarquismo literario de Azorín; el conflicto con el jacobinismo anarquista era constante debido a su antiautoritarismo radical, cree en el empuje de las minorías y su individualismo le alejaban de la organización aunque saludó la creación de CNT; defiende la revolución personal y cree que el progreso social es fruto del individualismo en rebelión contra la masa por lo que aspira a mutar la misma por una comunidad de individuos que actúen como Dios/Rey. No considera una bondad ni maldad innatas en el hombre, dependiendo ello de la dirección que se le imprima; la pasión, posible elemento distorsionador en una sociedad anárquica, no la entiende como algo negativo, lo malo es su corrupción y su medio en la sociedad autoritaria; rechaza el pactismo social de Hobbes y Rousseau, al que opone la coacción moral y social y espíritu público -aunque ello le enfrenta parcialmente a su desconfianza del espíritu revolucionario de la masa-. Su gran objetivo fue la asunción de la triple libertad/igualdad/fraternidad.