之前写过一篇文章，pyspark】parallelize和broadcast文件落盘问题，这里后来倒腾了一下，还是没找到 PySpark 没有删掉自定义类型的广播变量文件，因为用户的代码是一个 While True 的无限循环，类似下面的逻辑（下面的代码实际上 destroy 是可以删除落盘的广播变量文件的，但是用户的代码删不掉，因为没有仔细研究用户的代码 ，所以其实这个问题我感觉也不算 PySpark 的问题，只是在帮用户解决问题的时候另辟蹊径了 ，所以就记录下来了）。

class KK:def __init__(self):self._dummy = 'kk' * 10000000self.m = 'k'def test(k):return k.value.mdef run():k = KK()a = sc.parallelize(list(range(1000)))broad_k = sc.broadcast(k)kk = a.map(lambda x: test(broad_k))kk.collect()broad_k.destroy()while True:run()

Driver 的磁盘大小有效，如果这些变量文件不删除，迟早会把磁盘刷爆，Driver 进程就可能会挂掉，所以后来想到一个比较猥琐的方法 ，就是每次 loop 结束之前，或者下一个 loop 开始之后，把临时目录的文件删一次 ，因为广播变量的文件路径是固定，这个在 python 里还是很好实现的。