庐山旅游人少的时候通常是非节假日和非夏季，而去庐山最好的时间是夏季。以下是具体分析：

人少的时间： 非节假日：由于庐山是中国著名的旅游胜地，节假日时游客较多。因此，避开节假日，如春节、五一、国庆等长假，选择平日前往，人数会相对较少。 非夏季：虽然庐山四季皆宜游，但夏季是旅游高峰期。因此，春秋两季以及冬季前往，游客数量相对较少，可以更加悠闲地欣赏庐山的自然美景。

最佳旅游时间： 夏季：庐山夏季气候凉爽，平均温度为16.9℃，极端最高温度仅为32℃，是避暑的绝佳去处。此外，夏季也是观赏庐山瀑布和云海等自然景观的最佳时节。瀑布水量充沛，云海变幻无穷，给游客带来视觉上的盛宴。

综上所述，如果想要避开人流高峰，可以选择非节假日和非夏季前往庐山；而如果想要欣赏庐山的最佳自然景观，夏季则是最佳的选择。