スーツでなく私服で問題はありません。
アパレルやファッション系の企業であれば、私服のセンスを見る目的もあると考えられます。また、服装から人間性を見極めたいという意図もあります。
企業の意図を考え、適切な服装で面接に臨みましょう。