您正在使用 IPV4 [3.95.231.212] 访问本站,您本次已经查看了 1 页
用户名: 密 码: 验证码:     用QQ登录本站
首页 软件 编程 笑话 知识 公告 台风 日历 计算器
[公益]保护绿色环境,构建和谐社会       悟空收录网      

【腾讯云】 爆款2核2G3M云服务器首年 61元,叠加红包再享折上折      
[公益] 地球是我家,绿化靠大家      
2024年 清明节 006
2024年 劳动节 033
2025年 元 旦 278
2025年 春 节 306
 
您现在的位置:首页 >> 数据库 >> 内容
本类新增
本类热门
shell脚本操作postgresql的方法
内容摘要: PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),是以加州大学计算机系开发的POSTGRES,4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性,如复杂查询、外键、触发器、视图、事......
PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),是以加州大学计算机系开发的POSTGRES,4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性,如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样,PostgreSQL也可以用许多方法扩展,例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外,因为许可证的灵活,任何人都可以以任何目的免费使用、修改和分发PostgreSQL。

以前抽数据都是从其他数据库抽取到postgres数据库的所以选择kettle。新项目需求里需要把客户给的csv文件数据抽到postgresql,其中还需要对相关字段进行清洗。先声明下kettle也可以实现,但是总感觉依赖第三方软件抽数据不如直接操作数据库,除非逼不得已,尽量不用(纯属个人见解)。于是就研究linux直接连接数据库处理这部分需求。代码如下

#!/bin/bash

#*****************************************************

#**linux_schedule_test

#*****************************************************

#\copytestfrom'/etl-script/test.csv'delimiter','csvheaderencoding'UTF8';

#copytest_copyto'D:\test_copy1.csv'delimiter','csvheaderencoding'GBK';

exportPATH=/usr/pgsql-10/bin:/usr/bin;

psql"host=127.0.0.1port=5434user=adminpassword=123456dbname=linux_schedule_test"<<EOF#2>/dev/null

\copytestfrom'/etl-script/test.csv'delimiter','csvheaderencoding'GBK';

createtabletest$(date+%Y%m%d_%H%m%S)asselect*fromtest;

\q

EOF

exportPATH=/usr/pgsql-10/bin:/usr/bin:因为环境作用域问题,最好在脚本开始处将要用到的命令添加PATH路径。

psql"host=127.0.0.1port=5434user=adminpassword=123456dbname=linux_schedule_test":连接数据库

<<EOF:通过重定向,停留在psql客户端。

#2>/dev/null脚本出错不输出,调试时建议注释掉,不然都不知道脚本为什么没有跑。

\copytestfrom'/etl-script/test.csv'delimiter','csvheaderencoding'GBK';:通过copy命令抽取csv文件数据。

createtabletest$(date+%Y%m%d_%H%m%S)asselect*fromtest;:备份test表数据,测试用的。

\q:退出psql。这个不写也可以最后的EOF也会接受psql客户端的。

EOF:结束重定向。

版权声明:本内容来源于网络,如有侵犯您的版权,请联系站长,本站收到您的信息后将及时处理。
上一篇:SQL Server自动生成日期加数字的序列号

 

下一篇:使用sqlplus连接Oracle数据库问题

发布日期:2022/12/13
手机扫二维码直达本页
发布时间:15:55:43
点  击:2
录  入:壹家怡园
相关文章
Baidu
YiJiaCMS 7.3.8 build231228(MSSQL) 闽ICP备05000814号-1
本空间由腾讯云(轻量应用服务器)提供,Cloudflare提供加速防护
运行时间载入中.....