跳转至

数据库

  • 分类于 数据库
  • 需要 2 分钟阅读时间

Python安装Confluent Kafka库

参考文档：

1. Pip 安装

pip install confluent-kafka==1.9.2

注意

建议安装 confluent-kafka 1.9.2 版本，其他版本可能回出现公网发送消息报 SSL_HANDSHAKE 错误。此外，Centos 服务安装 confluent-kafka 更高版本时编译报错，无法正确安装。

2. Conda 安装

如果使用 pip 无法正确安装的情况下，可以试试 conda 安装，且该方式支持更高版本。

conda install conda-forge::python-confluent-kafka
  • 分类于 数据库
  • 需要 2 分钟阅读时间

Hive Multi Insert

1. 分区表

1
2
3
4
5
6
7
CREATE TABLE mydb.yumm_multi_insert_demo
(
    id BIGINT,
  name STRING
)
PARTITIONED BY (batchdate STRING)
;

2. Multi Insert插入数据

1
2
3
4
5
6
7
FROM (
    SELECT 1 AS id, 'n1' AS name
  UNION ALL
  SELECT 2 AS id, 'n2' as name
)
INSERT INTO TABLE haier_afterloan_dev.yumm_multi_insert_demo PARTITION(batchdate='2025-01-01') SELECT * WHERE id = 1
INSERT INTO TABLE haier_afterloan_dev.yumm_multi_insert_demo PARTITION(batchdate='2025-01-02') SELECT * WHERE id = 2
  • 分类于 数据库
  • 需要 2 分钟阅读时间

Impala截取中文乱码

1
2
3
SELECT 
  SUBSTR('我的中国心', 1, 2) AS text1,
  LEFT('我的中国心', 2) AS text2

在 Impala 中使用 SUBSTR 和 LEFT 函数截取中文字符串，结果会乱码。但这种表达式在 Hive 中运行结果则是正常的，主要原因是 Impala 中一个中文字符串实际占用 3 个长度，需要自己手动调整截取长度。