lass am besten erst mal die a's  weg 
(das ax im log kann man leicht über substitution wieder rein bekommen)
und nimm partielle Integration 
in der Form  Integral u * v '  =  u * v  -  integral  u ' * v
mit u = ln(x)  ist das  u ' = 1/x
und v ' = ln(x) gibt v = x*ln(x)  - x
also wird   u * v  -  integral  u ' * v  zu
ln(x) * ( x*ln(x) - x )  - integral 1/x * ( x*ln(x) - x ) 
= x*ln^2(x) - x*ln(x) - integral ( ln(x) - 1 )
= x*ln^2(x) - x*ln(x) -  ( (x*ln(x) - x) - x )
= x * ( ln^2(x) - 2ln(x) + 2 )
Damit hast du eine Stammfkt  für  ln^2(x)
dann noch bei  ln^2(ax)    die substitution z = ax mit z ' = a also dz= a*dx 
bzw  dx durch  dz / a ersetzen und am Schluss wird aus dem angehägten -a in
der Stammfunktion ein angehägtes -ax und du bist fertig.