• SparkSQL 基本可以取代 hive 了?

    互联网时代,数据源变得越来越丰富,出现了大量非结构化数据,互联网的在线特性也将业务需求推向了实时化。实时推荐系统、搜索系统、交互式用户行为分析系统成为各大互联网企业的重点技术项目。而Spark 作为同时支持大数据和人工智能的统一分析平台,成为目前实时流计算的不二选择,甚至有社区的大佬直言:感觉 SparkSQL 基本可以取代 hive 了!近些年,Spark 更是这些大厂面试时筛选人才的重要考核点。但由于Spark技术栈相对复杂,它的功能既强大又丰富,因此掌握起来尤其困难。很多初入大数据开发这一方向的人,一...
  • 无法从Spark查询外部Hive表

    我有一个Hive外部表作为TEXTFILE FORMAT hive> SHOW CRAETE TABLE customers; CREATE EXTERNAL TABLE `customers`( `id` int, `name` string, `age` int, `address` string, `salary` double) COMMENT 'Customer Details' ROW FORMAT SERDE 'org.apache.hado...
  • 'YYYY-MM-dd'和'yyyy-MM-dd'日期格式之间的Spark-sql差异

    我有一个用例,可以向timestamp列中添加一些值并从中得出日期。我正在尝试使用from_unix和unix_timestamp函数。但是它以不同的格式显示了不同的值。 select from_unixtime('1577582583', 'YYYY-MM-dd'), from_unixtime('1577582583', 'yyyy-MM-dd'); from_unixtime(CAST(1577582583 AS BIGINT), YYYY-MM-dd) from_unixtime(CAST(...
公告

欢迎访问 goshare  点击这里设置您的邮箱  可以接收站内跟帖、回复邮件提醒,不错过任何一条消息。

关注公众号订阅更多技术干货! 码农俱乐部