Det framgår av Svensk Handels Handelsbarometer.
Framtidsindikatorn, som väger samman förväntningar kring försäljning, antal anställda och lönsamhet, sjönk till 95,8 i maj jämfört med 99,9 i april.
E-handlarnas framtidstro försämrades också. Framtidsindikatorn sjönk till 105,5 i maj från 108,8 i april.
Svensk handel noterar att optimismen ökar något i dagligvaruhandeln inför sommaren samtidigt som sällanköpsvaruhandlarnas framtidsutsikter är "mer modesta".
"Sommarhandeln brukar innebära goda tider för dagligvaruhandeln. Grillen plockas fram och ljumma sommarkvällar gör att vi unnar oss lite extra god mat på tallriken. E-handeln brukar däremot gå svagare under sommaren när fler vill vara ute i solen", säger Karin Johansson, vd på Svensk Handel.