Gut:
"Du redest dummes Zeug"
"Du benimmst dich dämlich"
"Ich mag dein Verhalten nicht"
Schlecht:
"Du bist dumm"
"Du bist dämlich"
"Ich mag dich nicht"
Ist alles persönlich.^^
Einmal, weil es um die Einschätzung der Intelligenz des Anderen geht (und wer ist da nicht empfindlich) und andererseits, weil man sich ein persönliches Urteil jenseits aller "Fakten" erlaubt. (Was sind in dem Fall schon Fakten?)
Was der eine als dummen Witz empfindet, ist für den anderen ein Mordsbrüller.
Was man machen könnte, ist, es in etwas positives umzuformulieren, auch wenn das eine heikle Angelegenheit ist. Denn möglicherweise ist der von dir als dumm betrachtete Mensch gar nicht so dumm und versteht es als das, was es gemeint ist. Oder aber sein dümmlich-emotional-agressives Verhalten richtet sich gegen dich ("Glaubst du etwa ich bin doof?"), etc.
Du könntest ihm also zum Beispiel sagen, dass er "naiv" ist (wenn du ihm weismachen kannst, dass Naivität etwas positives ist), wobei dann der Bruch immer noch nicht vollzogen wäre...
Ich denke, die Wahrheit ist immer noch das Beste. Und zwar nicht in seiner groben Form, sondern ausgefeilt. Was findest du an ihm dumm? Sein Humor, seine sprachlichen Fähigkeiten, seine Interessen und Hobbys? Wenn du nicht gewillt bist, zu versuchen, ihm ein bisschen deine Art näher zu bringen ("Lass uns mal nen Film gucken, den
ich gut finde."), kannst du so vielleicht einen Bruch erklären, indem du einfach auf unterschiedliche Interessen verweist.