Что такого ужасного в словах Добби?

В книге эта сцена описывается немного иначе, чем в фильме, а также содержится пояснение (курсив мой):

— Ты не мог встретить много приличных волшебников, — сказал Гарри, пытаясь подбодрить его.

Добби покачал головой. Затем без предупреждения он вскочил и начал яростно биться головой об окно, крича: « Плохой Добби! Плохой Добби!

— Не надо… что ты делаешь? Гарри зашипел, вскочив и потянув Добби обратно на кровать — Хедвиг проснулась с особенно громким визгом и дико била крыльями о прутья своей клетки.

— Добби пришлось наказать себя, сэр, — сказал эльф, глаза которого слегка косились. — Добби почти плохо отзывался о своей семье, сэр…

Таким образом, проблема с тем, что Добби сказал (или в книге сообщил невербально), заключается в том, что это неявно осуждало семью, которая ему принадлежала, и/или почти привело к тому, что он открыто осудил их.