J'ai des problèmes avec...
j'ai un souci avec...
je ne me sens pas à l'aise avec...

Das ist wohl regional unterschiedlich, der Duden erlaubt beide Formen

http://www.duden.de/rechtschreibung/schwertun
Beispiel
anfangs habe ich mich/mir mit der neuen Aufgabe schwergetan

Mir selbst ist das nur mit dem Akkusativ ("tu mich schwer mit...") bekannt, aber ich freue mich, dass der Duden da flexibel ist. Bei umgangssprachlichen Ausdrücken kann man ohnehin nicht auf eine verbindliche Vorgabe hoffen.

Aber warum mal mir, mal mich?

Im Stammbaum des "sich-schwer-Tuns" könnte "Es fällt mir schwer, ..." vorkommen.

"tun" kann man zwar auch jemandem (also "mir", Dativ) etwas (nämlich weh oder dergleichen), aber normalerweise tut man "etwas" (Akkusativ).
Wenngleich auch nicht sich selbst - außer wenn man gut rheinisch "ich _tu mich_ gleich mal waschen" als Deutsch akzeptiert.

Hmmm. Ehrlich gesagt finde ich jetzt das "mir" sogar plausibler.