大西洋暖流

Airflow常用操作手册

发表于 2020-01-21 | 分类于编程 | 阅读次数:

字数统计: 3,014 | 阅读时长 ≈ 11

发表于 2020-01-19 | 分类于编程 | 阅读次数:

字数统计: 4,072 | 阅读时长 ≈ 19

本篇记录工作项目中经常使用的Docker和K8S命令，我所运行Docker和K8S的工作环境如下所示，大部分本文使用的命令都可以在Linux K8S和Windows10 K8S环境使用，少数命令存在预期结果不一致的地方，请自行查阅资料解决。

注意，这并不是一篇介绍Docker和K8S是什么的文章，入门课程请自行查阅官方文档学习；如果安装Docker和K8S环境也请自行查阅资料解决。

发表于 2020-01-12 | 分类于编程 | 阅读次数:

字数统计: 1,279 | 阅读时长 ≈ 7

Airflow pipeline作业流遇到这样一个问题：使用paramiko下载小文件成功，下载大文件出现Server connection dropped报错。

问题描述

下图可以看到aml_dwn_native_gz、aml_dwn_deleted_daily、aml_dwn_premium_daily三个作业执行成功，但aml_dwn_premium_fullsize_gz出现报错。

发表于 2019-11-30 | 分类于投资 | 阅读次数:

字数统计: 1,200 | 阅读时长 ≈ 4

今天去广州参加2019年雪球嘉年华活动，收获很多，在此整理记录一下。

我参加这个活动的目的是去听雪球上各路大V对证券投资的分析，以及听券商分析师们对行业的研究与分析。

发表于 2019-10-16 | 分类于编程 | 阅读次数:

字数统计: 299 | 阅读时长 ≈ 1

Amazon AWS使用方法：

1.参照官网方法安装AWS-CLI

直接使用“pip install awscli”即可。

直接使用“pip install boto3”安装就行。

3.配置文件

先阅读官网，了解配置文件信息，进入终端：

使用”open -t ~/.aws/credentials”，先设置access token.