Ответ на этот вопрос может быть разным для различных "ветвей" и версий Unix'а.
Поэтому, то, что здесь написано (далее) справедливо только для FreeBSD текущих версий (2.*.*).
Вообще групп в конкретной машине можно завести сколько угодно (по крайней мере, я не нашел явных ограничений).
Членов группы, которые перечисляются в самом файле /etc/group, должно быть не больше 200, но при этом вся строчка, описывающая группу, не должна быть длиннее 1024 символа.
Однако, это ограничение не распространяется на тех юзеров, "членство" которых задается полем "group" в их личных учетных карточках.
И, наконец, отдельный юзер может быть членом не более 16 групп (включая свою "первичную" группу, т.е. ту, которая указана в его учетной карточке). Конечно, никто вам не помешает вписать юзера более чем в 16 групп, но все программы будут считать его членом только первых 16 групп.