Вот как связаны эти предложения.
Первое и второе предложения: противопоставление (уступка). Причина: в слове "впрочем" выражено противопоставление — сначала говорим об обширных знакомствах, а затем акцентируем внимание на том, что сильнее всего привязанности именно к дедушке Илье.
Второе и третье предложения: переход к следующей детали, развитие темы (логическая связка без явного союза). Причина: второе предложение переходит к другой стороне темы — к тому, с кем именно формируются привязанности и как складывалась общественная жизнь героя; между ними есть плавный переход через смысловую связку и паузу, без явного соединительного союза (здесь заметна связь через тему дружбы/общения и контекст рассказа).
Третье и четвертое предложения: противопоставление (контраст). Причина: начинается с "но", что сигнализирует контраст между тем, что герой мог общаться с ребятами, и тем, что по характеру он больше держался за общество дедушки Ильи.
Если нужно, могу привести варианты формулировок связей на основе школьной терминологии или пометить места, где именно видно противопоставление и переходы.