spark中各种连接操作以及实用方法

下面是脚本之家 jb51.cc 通过网络收集整理的代码片段。

脚本之家小编现在分享给大家，也给大家做个参考。

     val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))  
         val b = sc.parallelize(Array(("123",8.0),10)))  
      
        val c = a.join(b)  
        c.foreach(println)  
        /*  
        (123,(4.0,8.0))  
        (789,(9.0,10))  
         */  
        val d = a.cogroup(b)  
        d.foreach(println)  
        /*  
        (456,(CompactBuffer(9.0),CompactBuffer()))  
        (123,(CompactBuffer(4.0),CompactBuffer(8.0)))  
        (789,CompactBuffer(10)))  
        */  
        val e = a.leftOuterJoin(b)  
        e.foreach(println)  
        /*  
          (456,None))  
          (123,Some(8.0)))  
          (789,Some(10)))  
          */  
        val f = a.fullOuterJoin(b)  
        f.foreach(println)  
        /*  
          (456,(Some(9.0),(Some(4.0),Some(10)))  
          */  
        val g = a.cartesian(b)  
        g.foreach(println)  
        /*  
    ((123,(123,8.0))  
    ((123,(789,10))  
    ((456,8.0))  
    ((456,10))  
    ((789,8.0))  
    ((789,10))  
          */  
        /*val h = a.coalesce(6,true)  
        h.foreach(println)  
        a.dependencies.foreach(println)*/  
        val i = a.keyBy{case (k,v)=>("haha",234)}  
        i.foreach(println)  
        /*  
          ((haha,234),4.0))  
          ((haha,(456,9.0))  
          ((haha,9.0))  
         */  

以上是脚本之家(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错，欢迎将脚本之家网站推荐给程序员好友。

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!