这是一个相当普遍的问题，但答案并不那么简单。从法律和实践的角度来看，我们需要考虑以下因素：

首先，根据我国的社会保障法规定，个人确实有可能退回他们缴纳的社会保险费。然而这是有条件的。对于某些保险类型，例如医疗保险、养老保险和工伤保险，有可能会因为不同保险类型的规定和细则有所不同。比如说，养老保险可能需要缴费满15年才可以申请退保。 而对于失业保险和生育保险来说，其情况通常是不允许个人退保的。

此外，还要考虑退保的影响。取出社保后，您将失去该保险所提供的所有利益以及将来可能获得的所有返还金额。同样，您还可能会失去一些税务抵免，例如在部分城市缴纳社保时可以获得的公积金抵免。

最后也是最重要的一点，如果该保险是您单位为您提供的，那么不管您是否同意，都有可能会被单位强制保留。此外，大多数情况下，您只能退回您自己缴纳的那部分社保金额。如果您取出的金额大于您自己缴纳的金额，则您的单位可能需要为其余部分作出相应的贡献。

因此，当考虑是否要退回社会保险以及何时退回时，这些因素都需要考虑进去。在做出任何决定之前，最好先确认您所拥有的保险类型，了解退保的规定和条件，考虑所有利弊以及咨询一位税务或财务专家，以便更好地做出决定。

注意：以上内容如果有关保险产品需注意，保险的具体条款可能会更新，购买时务必与保险规划师确认最新的产品详情。