QQ 咨询
喝杯饮料
微信交流
wx公众号
432

由于之前在 PHP 中使用 Kafka 是通过 composer 包的方式,由于 nmred/kafka-php 很久没有维护,并且网上相关问题的文章也比较少。所以我这次换成 PHP 扩展 RdKafka 继续使用,主要介绍扩展安装和这种方式的基本操作。
  2022-06-15 19:49:13 作者:北桥苏 分类:[ 大数据 ]

这次的 Spark 有点突兀,但是也可以先忽略,重要的是先在 IDEA 中安装 bigData 插件连接 hadoop 已经 HDFS,而后再简单介绍使用 Spark 操作 Hive。
  2022-05-18 16:37:58 作者:北桥苏 分类:[ 大数据 ]

周末空闲时间无意找到了一套个性化推荐的源码,整体项目运用了 SSH,HDFS,Flume,Hive,Kafka,Spark,Scala 等。运行时,本来通过 spark 计算业务埋点数据时,却发现本地没有 Kafka。因为我一直也没使用过 Kafka,所以也作为新人,浅谈以下 Kafka 的环境安装与分别在 PHP,Scala 中的使用。
  2022-05-08 16:57:10 作者:北桥苏 分类:[ 大数据 ]

因为在项目中集成了 ElasticSearch,用于某些业务场景的搜素或筛选。这里关于 ElasticSearch 就不做介绍了,虽然解决了全文搜索的性能问题。但是当出现一些频繁更新的数据放置在 ES 就有点麻烦
  2022-05-08 16:52:37 作者:北桥苏 分类:[ 大数据 ]

Hive是一个基于Hadoop的数据仓库工具,以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总,所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装,网上其实有很多文章,这里更多的是小北在安装过程中的遇到的各种坑的汇总以及解决方法。
  2022-02-21 09:57:11 作者:北桥苏 分类:[ 大数据 ]





用户登录


     QQ登录

我的标签


随机文章

  • websocket测试工具的环境搭建与使用安装jmeter前,可以先安装一下jdk,但…… 查看详情
  • 关于使用elascticsearch的两个小技巧es自带分词,但是没有中文分词,在一众ela…… 查看详情
  • Thinkphp5.1允许uni-app的H5跨域请求接口解决方法 uni-app使用vue框架开发混合AP…… 查看详情

友情链接





Copyright© 2016-2021 北桥苏 & 版权所有    赣ICP备16002525号-1
如有侵权、不妥之处,请联系站长的客服并出示版权证明以便删除。敬请谅解! 站长客服联系方式:QQ2652364582