在將string類型的數據類型轉換為spark rdd時,一直報這個錯,StructType can not accept object %r in type %s” % (obj, type(obj)))
...s = str(tree)y = str(YESTERDAY)list0 = [s, y]outRes = self.sc.parallelize(list0)df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")...查了半天的資料,問了不少同事都沒能解決掉這個bug。最后終于google到一個類似的case,終于把問題解決。記錄一下!
...s = str(tree)y = str(YESTERDAY)list0 = [s, y]outRes = self.sc.parallelize([list0])df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")...上面的問題辦法是,將sc.parallelize([list0])中的list0再轉成一個整體list,問題即可解決。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對武林站長站的支持。如果你想了解更多相關內容請查看下面相關鏈接
新聞熱點
疑難解答