发表于 | 分类于 | 阅读次数:
字数统计: 786 | 阅读时长 ≈ 4

之前一直在本机使用Kubernetes部署Airflow项目，K8S很好，但对于小项目来说，不需要”杀鸡用牛刀”，一般使用Docker-compose就行，这几天将一个Airflow项目改造适配后，使用Docker-compose部署到了腾讯云服务器。

Fork了一份puckel/docker-airflow的Airflow Dockerfile镜像文件，做了很多调整和修改，比如将Debian apt源换成清华的apt源，将PyPI官方PIP源换成豆瓣的PIP源等等，修改完后的Dockerfile放在benbendemo/docker-airflow仓库的develop分支下面。

主要修改内容如下，详细介绍请见develop分支README.md文件。

1
2
3
4
5
6
7
1. Add airflow-common-library-master utility
2. Update the default settings in airflow.cfg
3. Use Tsinghua Debian mirror to replace default Debian apt-get source, see apt-source.list
4. Add an email-templates for airflow to automatically send alert email and success email
5. Use Douban PIP mirror to replace default PIP source, see pip.conf
6. As for Dockerfile, i have added some more Debian apt packages and Python pip packages
7. In script/airflow_create_user.py, there are two ways to create airflow login user when RBAC enabled.Oh forget to inform that it's defaulted to enable RBAC in airflow.cfg
阅读全文 »

发表于 | 分类于 | 阅读次数:
字数统计: 711 | 阅读时长 ≈ 3

（Photo by Iker Urteaga on Unsplash）

今天使用puckel提供的Airflow Dockerfile镜像文件build镜像时遇到prison这个包提示如下报错。

Docker build过程中，安装flask-appbuilder包时候由于它需要依赖prison包，但pip源里prison包的版本不对，因此报错，镜像打不成功。

我用的是清华的pip源。

阅读全文 »

发表于 | 分类于 | 阅读次数:
字数统计: 1,081 | 阅读时长 ≈ 6

这几天将一个Python Airflow Project部署到了本机K8S环境，前天一切都很正常。昨天开始出现了这样一个异常情况。

一般情况下，在Airflow里打开Dag的开关后，调度器会自动trigger一次Dag Run，但昨天开始Airflow的调度器自动trigger一直不成功。

（图1）

使用kubectl proxy和kubectl -n kube-system describe secret default| awk '$1=="token:"{print $2}'进入K8S Dashboard，查看容器组（也就是Pod）airflow-79885d4bf5-464g5里shceduler这个容器日志，发现如下报错信息。

阅读全文 »

发表于 | 分类于 | 阅读次数:
字数统计: 590 | 阅读时长 ≈ 2

最近在学习Go语言。

发现很多优秀的软件服务其后台程序都是基于Go来实现，今天补缺websocket这一块内容时看到阮一峰老师文章《WebSocket 教程》提到WebSocketd，点进去一看，又是一个使用Go语言实现的web服务。

我来了兴趣，决定实现它。

在macOS里实现它非常简单，安装Go语言环境后，直接brew install websocketd即可安装成功，参照官方实例开箱即用；但监控Linux CPU/IO/Mem stats的那个example只能在Linux上跑，我想着在Docker Linux上实现。

阅读全文 »

发表于 | 分类于 | 阅读次数:
字数统计: 3,361 | 阅读时长 ≈ 11

我奶奶在2020年农历正月初一过世了，享年89.5岁，自然死亡离开的，走得很平安。除夕晚上回到家，我妈跟我说奶奶这次可能真的不行了，我特地下楼去看了一下，她躺在床上半睁着眼，呼气急促没有规律，完全不省人事，情况确实不太好。

初一早上再去看的时候，就没有生命气息了。

今年情况特殊，恰逢”武汉肺炎”冠状病毒肆虐荆楚大地，我们老家离武汉非常近，是重灾区，村委不允许大张旗鼓。若按往常，这一类红白喜事，都是要大摆宴席的，血缘关系近的父老乡亲们都会请来吃席，丧葬礼仪会办得热热闹闹。唢呐吹奏、敲锣打鼓、炮竹鞭炮这些必不可少，童年时期碰到出殡队伍最喜欢做的事情就是跟在丧葬队伍后面玩耍。

今年一切从简，从讣告到出殡总共3天时间。村里面的习俗还是讲究入土为安（我提议过火葬父辈们没同意），明天出殡，今晚由我来守夜，坐在她的灵柩旁边，很多陈年往事一下子在脑海里浮现出来。小时候她去集贸市场卖菜回来给我带的烧饼、她和妈妈吵架、暑假里她做的那些好吃的肉馍馍…..想着想着眼泪就忍不住地掉下来，那些事仿佛就发生在昨天。

时间一晃20多年过去了，我们从年少无知到长大成人，从不当家不知柴米贵到养儿方知父母恩……忽然想起有人说过”成长不一定能够得到，但一定会失去”……

阅读全文 »