pgspider zombodb集成使用

zombodb 是一个强大的pg 扩展,我们可以像操作数据库一样操作es,以下是pgspider 与zombodb 的构建

说明,使用最新版本v5.6.16-1.0.20 构建失败,使用了v.40

dockerfile

老样子基于已经构建好的pgspider base 镜像

FROM dalongrong/pgspider:base as build
WORKDIR /app
RUN apt-get update && apt-get install -y libcurl4-nss-dev
RUN wget https://github.com/zombodb/zombodb/archive/v4.0.tar.gz && tar zxf v4.0.tar.gz && mv zombodb-4.0 zombodb && cp -rf zombodb /app/postgresql-11.6/contrib/zombodb
RUN cd /app/postgresql-11.6/contrib/zombodb && make clean install
?
FROM debian:stretch-slim
ENV GOSU_VERSION 1.11
RUN apt-get update && apt-get install -y wget libcurl4-nss-dev libreadline-dev
# explicitly set user/group IDs
RUN set -eux; \
 groupadd -r postgres --gid=999; \
# https://salsa.debian.org/postgresql/postgresql-common/blob/997d842ee744687d99a2b2d95c1083a2615c79e8/debian/postgresql-common.postinst#L32-35
 useradd -r -g postgres --uid=999 --home-dir=/var/lib/postgresql --shell=/bin/bash postgres; \
# also create the postgres user‘s home directory with appropriate permissions
# see https://github.com/docker-library/postgres/issues/274
 mkdir -p /var/lib/postgresql; \
 chown -R postgres:postgres /var/lib/postgresql
?
RUN wget -O /usr/local/bin/gosu "https://github.com/tianon/gosu/releases/download/$GOSU_VERSION/gosu-$(dpkg --print-architecture)" \
   && chmod +x /usr/local/bin/gosu \
   && gosu nobody true
# make the "en_US.UTF-8" locale so postgres will be utf-8 enabled by default
RUN set -eux; \
   if [ -f /etc/dpkg/dpkg.cfg.d/docker ]; then \
   # if this file exists, we‘re likely in "debian:xxx-slim", and locales are thus being excluded so we need to remove that exclusion (since we need locales)
   grep -q ‘/usr/share/locale‘ /etc/dpkg/dpkg.cfg.d/docker; \
   sed -ri ‘/\/usr\/share\/locale/d‘ /etc/dpkg/dpkg.cfg.d/docker; \
   ! grep -q ‘/usr/share/locale‘ /etc/dpkg/dpkg.cfg.d/docker; \
   fi; \
   apt-get update; apt-get install -y locales; rm -rf /var/lib/apt/lists/*; \
   localedef -i en_US -c -f UTF-8 -A /usr/share/locale/locale.alias en_US.UTF-8
ENV LANG en_US.utf8
?
# install "nss_wrapper" in case we need to fake "/etc/passwd" and "/etc/group" (especially for OpenShift)
# https://github.com/docker-library/postgres/issues/359
# https://cwrap.org/nss_wrapper.html
RUN set -eux; \
   apt-get update; \
   apt-get install -y --no-install-recommends libnss-wrapper; \
   rm -rf /var/lib/apt/lists/*
?
RUN mkdir /docker-entrypoint-initdb.d
COPY --from=build /usr/local/pgspider /usr/local/pgspider
RUN sed -ri "s!^#?(listen_addresses)\s*=\s*\S+.*!\1 = ‘*‘!" /usr/local/pgspider/share/postgresql/postgresql.conf.sample; \
   grep -F "listen_addresses = ‘*‘" /usr/local/pgspider/share/postgresql/postgresql.conf.sample
RUN mkdir -p /var/run/postgresql && chown -R postgres:postgres /var/run/postgresql && chmod 2777 /var/run/postgresql
ENV PATH $PATH:/usr/local/pgspider/bin
ENV PGDATA /var/lib/postgresql/data
RUN mkdir -p "$PGDATA" && chown -R postgres:postgres "$PGDATA" && chmod 777 "$PGDATA"
VOLUME /var/lib/postgresql/data
COPY docker-entrypoint.sh /usr/local/bin/
RUN ln -s usr/local/bin/docker-entrypoint.sh / # backwards compat
ENTRYPOINT ["docker-entrypoint.sh"]
?
EXPOSE 5432
CMD ["postgres"]

集成plv8 的版本

FROM dalongrong/pgspider:zombodb
RUN apt-get update && apt-get install -y libc++1
COPY --from=dalongrong/pgspider:plv8 /usr/local/pgspider/lib/postgresql/plv8-2.3.12.so /usr/local/pgspider/lib/postgresql/plv8-2.3.12.so
COPY --from=dalongrong/pgspider:plv8 /usr/local/pgspider/share/postgresql/extension /usr/local/pgspider/share/postgresql/extension

使用

  • docker-compose 文件
version: "3"
services: 
  pg-zombodb:
    image: dalongrong/pgspider:zombodb-plv8
    ports:
    - "5432:5432"
    environment: 
    - "POSTGRES_PASSWORD=dalong"
  elasticsearch:
    image: elasticsearch:6.6.0
    ports: 
    - "9200:9200"
    environment:
      - http.host=0.0.0.0
      - transport.host=0.0.0.0
      - network.host=0.0.0.0
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  • 创建扩展
CREATE EXTENSION zombodb;
CREATE TABLE products (
  id SERIAL8 NOT NULL PRIMARY KEY,
  name text NOT NULL,
  keywords varchar(64)[],
  short_summary text,
  long_description zdb.fulltext, 
  price bigint,
  inventory_count integer,
  discontinued boolean default false,
  availability_date date
);
CREATE INDEX idxproducts 
                   ON products 
                USING zombodb ((products.*))
                 WITH (url=‘http://elasticsearch:9200/‘);
INSERT INTO "public"."products"("id","name","keywords","short_summary","long_description","price","inventory_count","discontinued","availability_date")
VALUES
(1,E‘Magical Widget‘,E‘{magical,widget,round}‘,E‘A widget that is quite magical‘,E‘Magical Widgets come from the land of Magicville and are capable of things you can\‘t imagine‘,9900,42,FALSE,E‘2015-08-31‘),
(2,E‘Baseball‘,E‘{baseball,sports,round}‘,E‘It\‘s a baseball‘,E‘Throw it at a person with a big wooden stick and hope they don\‘t hit it‘,1249,2,FALSE,E‘2015-08-21‘),
(3,E‘Telephone‘,E‘{communication,primitive,"alexander graham bell"}‘,E‘A device to enable long-distance communications‘,E‘Use this to call your friends and family and be annoyed by telemarketers. Long-distance charges may apply‘,1899,200,FALSE,E‘2015-08-11‘),
(4,E‘Box‘,E‘{wooden,box,"negative space",square}‘,E‘Just an empty box made of wood‘,E‘A wooden container that will eventually rot away. Put stuff it in (but not a cat).‘,17000,0,TRUE,E‘2015-07-01‘);
SELECT * FROM products WHERE products ==> ‘sports box‘;

说明

关于pgspider以及zombodb 的我写了一些相关简单文章,可以参考,最好多多看看官方文档

参考资料

https://www.cnblogs.com/rongfengliang/category/1433947.html
https://www.cnblogs.com/rongfengliang/category/1641930.html
https://hub.docker.com/repository/docker/dalongrong/pgspider
https://github.com/rongfengliang/pgspider-docker

原文地址:https://www.cnblogs.com/rongfengliang/p/12302923.html

时间: 2024-11-23 22:55:27

pgspider zombodb集成使用的相关文章

pgspider 集成hypopg 虚拟索引扩展

虚拟索引是不占用空间的,可以用来方便的进行sql 查询的性能评估,帮助我们了解查询优化的效果 hypopg 是一个pg 扩展,提供了比较方便的函数,我们可以用来评估查询,以下是pgspider 集成hypopg 的一个学习 环境准备 dockerfile 使用docker 运行,参考我的相关连接 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y autom

pgspider 其他扩展的集成

目前的测试,pgspider 对于pg 的侵入不大,很多已有的pg扩展都是可以使用的,所以基于比较常用的 添加了mongdb,sql server 等的容器镜像,构建比较简单,都是基于现有构建的base mongdb FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y automake autoconf libtool pkg-config libssl-d

zombodb 几点说明

内容来自官方文档,截取部分 默认es 索引的副本为0 这个参考可以通过修改索引,或者在创建的时候通过with 参数指定,或者通过pg 的配置文件中指定 索引更多的列以为这使用了更多的es 能力 索引的列越多,说明我们对于es 的使用更好,可以更好的使用es 的能力 zombodb 存储整个数据在es 中 为了方便使用mvcc 的处理,zombodb 存储所有pg 表的数据在es 中(当然除非你使用了llapis ,指定数据直接存储在es 中) 所以这个也意味着存储的大小接近2倍 zombodb

pgspider clickhouse fdw docker 镜像

老样子集成base 镜像构建,以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openssl unixodbc-dev # RUN wget https://github.com/ClickHouse/clickhouse-odbc/releases/download/v1.1.3.

pgspider cstore fdw docker 镜像试用

cstore_fdw 是citus 团队开源的pg 列式存储扩展,可以加速我们的数据分析,关于列式存储以及行式存储的比较 可以参考下边连接的动图(来自clickhouse 官方网站) https://clickhouse.tech/docs/en/ 以下是关于cstore fdw 的简单使用 环境准备 docker-compose 文件 version: '3' services:  pgspider-cstore:    image: dalongrong/pgspider:cstore  

Ensemble_learning 集成学习算法 stacking 算法

原文:https://herbertmj.wikispaces.com/stacking%E7%AE%97%E6%B3%95 stacked 产生方法是一种截然不同的组合多个模型的方法,它讲的是组合学习器的概念,但是使用的相对于bagging和boosting较少,它不像bagging和boosting,而是组合不同的模型,具体的过程如下:1.划分训练数据集为两个不相交的集合.2. 在第一个集合上训练多个学习器.3. 在第二个集合上测试这几个学习器4. 把第三步得到的预测结果作为输入,把正确的回

GoldenGate系列之集成模式

一.集成模式进程配置1.用户授权:exec dbms_goldengate_auth.grant_admin_privilege('goldengate');2.参数调整:alter system set streams_pool_size=12g scope=spfile;3.执行注册:dblogin userid goldengate password xxxregister extract capture01 database4.增加extract进程方法一:add extract cap

集成Android免费语音合成功能(在线、离线、离在线融合)

集成Android免费语音合成功能(在线.离线.离在线融合),有这一篇文章就够了(离线)集成Android免费语音合成功能(在线.离线.离在线融合),有这一篇文章就够了(离在线融合) 转眼间,大半年没写文章了,没什么理由,就是人变懒了.囧~ 看标题,其实大家都被骗了,有这一篇文章还不够,我其实是打算分3篇文章来写的,如果合在一章里面就太长了,不过现在这个标题党横行的网络世界,我也被污染了,哈.那么为什么要分3篇文章来讲呢?看标题也能猜到了,就是在线.离线.离在线融合这3种语音合成方式,我将分别使

videojs集成--播放rtmp流

之前说到已经把流推送过来了,这时候就可以使用videojs来进行显示播放. 首先要先有一个文件,那就是video-js.swf 因为,这种播放方式html已经不能很好的进行播放了,需要用到flash来播放,videojs在这个地方就用到了这个. 代码就是下面这样. 里面一些细节注释都有. 重点就是看<video>标签里面的内容 [html] view plain copy <!DOCTYPE html> <html lang="en"> <he