Python

June 28, 2020 · 1 min · Gray King

Table of Contents

Python vendor package
IPython
- EIN
Python Dark Magic
对应版本 manylinux2014 存在但是装不上

Python vendor package

之前一直在找 Python 类似 go mod vendor 部署的解决方案，今天在看 PySpark 的时候找到了，主要现存两种解决方案：

Conda 生态可以使用 conda-pack
原生 CPython 生态可以依托 venv-pack
pex

对比

时间	项目	活跃开发	贡献人数	提交数量
2021-08-28	venv-pack	否	2	30
	conda-pack	是	15	246
	pex	是	87	940

IPython

EIN

import numpy, math, matplotlib.pyplot as plt
%matplotlib inline
x = numpy.linspace(0, 2 * math.pi)
plt.plot(x, numpy.sin(x))

Python Dark Magic

Writing Python Extensions in Assembly

对应版本 manylinux2014 存在但是装不上

参见：PEP 599 – The manylinux2014 Platform Tag

CentOS 需要满足 glibc 版本为 2.17，参见 Platform Detection for Installers。

Links to this note

Speeding up Cython with SIMD

tags: Python, SIMD, High Performance source: Turner-Trauring, Itamar. “Speeding up Cython with SIMD.” Python⇒Speed, October 18, 2023. https://pythonspeed.com/articles/faster-cython-simd/.

pyenv

tags: Python

Speedup Python Installation of pyenv

tags: Python, pyenv export PYTHON_BUILD_MIRROR_URL_SKIP_CHECKSUM=1 export PYTHON_BUILD_MIRROR_URL="https://mirrors.huaweicloud.com/python/"

Pyright Type Stubs

tags: Python, LSP source: https://emacs-lsp.github.io/lsp-pyright/#usage-notes Download Default Type Stubs git clone https://github.com/microsoft/python-type-stubs $HOME/.local/src/python-type-stubs Use it in Emacs (setq lsp-pyright-stub-path (concat (getenv "HOME") "/.local//src/python-type-stubs")) ;; example Add Django Type Stubs git clone git@github.com:typeddjango/django-stubs.git ~/.local/src/django-stubs ln -sf ~/.local/src/django-stubs/django-stubs ~/.local/src/python-type-stubs/django Add Celery Type Stubs git clone https://github.com/sbdchd/celery-types ~/.local/src/celery-types ln -sf ~/.local/src/celery-types/amqp-stubs ~/.local/src/python-type-stubs/amqp ln -sf ~/.local/src/celery-types/billiard-stubs ~/.local/src/python-type-stubs/billiard ln -sf ~/.local/src/celery-types/celery-stubs ~/.local/src/python-type-stubs/celery ln -sf ~/.local/src/celery-types/django_celery_results-stubs ~/.local/src/python-type-stubs/django_celery_results ln -sf ~/.local/src/celery-types/ephem-stubs ~/.local/src/python-type-stubs/ephem ln -sf ~/.local/src/celery-types/kombu-stubs ~/.local/src/python-type-stubs/kombu ln -sf ~/....

Overhead of Python asyncio Tasks: 260K/s

tags: Python, High Performance source: Textual Documentation. “Textual - Overhead of Python Asyncio Tasks,” March 8, 2023. https://textual.textualize.io/blog/2023/03/08/overhead-of-python-asyncio-tasks/. Tasks of asyncio from create to run, then shutdown is about: 260K tasks per second.

Python lambda generate bitmap

tags: Python _ = ( 255, lambda V ,B,c :c and Y(V*V+B,B, c -1)if(abs(V)<6)else ( 2+c-4*abs(V)**-0.4)/i ) ;v, x=1500,1000;C=range(v*x );import struct;P=struct.pack;M,\ j ='<QIIHHHH',open('M.bmp','wb').write for X in j('BM'+P(M,v*x*3+26,26,12,v,x,1,24))or C: i ,Y=_;j(P('BBB',*(lambda T:(T*80+T**9 *i-950*T **99,T*70-880*T**18+701* T **9 ,T*i**(1-T**45*2)))(sum( [ Y(0,(A%3/3.+X%v+(X/v+ A/3/3.-x/2)/1j)*2.5 /x -2.7,i)**2 for \ A in C [:9]]) /9) ) ) It generates a Mandelbrot like the code likes:

Problems once solved by a metaclass can be solved by init_subclass

tags: Python source: “init_subclass.” Accessed January 6, 2022. https://til.simonwillison.net/til/til/python_init-subclass.md.

Spark

tags: Bigdata Spark 编程语言选择毋庸置疑，Python 应该是最简单也是大部分的选择，但是如果有依赖那么将要付出额外的心智负担（Spark 管理 Python 依赖）。 JVM 语言的依赖组织方式则具有天然的优势，可以将依赖（排除 Spark 生态之后）都 bundle 进 Jar 包里。其中 Scala 兼具简单和 JVM 的优势，但是它「不流行」。 Spark Driver & Executor Driver 执行 spark-commit 客户端，创建 SparkContext 执行 main 函数。 Executor Spark Worker 上的线程 See also: Understanding the working of Spark Driver and Executor Cluster Mode Overview Spark 代码执行我在配置 Spark 的时候就在好奇，从观察上看部分代码应该是执行在 Driver 上部分代码会执行在 Executer，这让我很好奇。但是我通过学习 Spark RDD 学习到了一些知识。以下代码是在 Executor 上执行的： Transformations 和 Actions 是执行在 Spark 集群的。传递给 Transformations 和 Actions 的闭包函数也是执行在 Spark 集群上的。其他额外的代码都是执行在 Driver 上的，所以想要在 Driver 打印日志需要上使用 collect：...

Python behind the scenes #2: how the CPython compiler works

tags: Translate,Incomplete,Python Python 幕后 #2: CPython 编译器如何工作今天的主题（Today’s subject）在本系列的第一篇文章中我们研究了 Python 虚拟机。我们学了解到它通过执行一系列叫做字节码（bytecode）的指令。我们也看到 Python 字节码没有完全描述代码片段的行为。这也是为什么存在一个代码对象（code object）的概念。执行诸如函数或模块的代码块也就是执行对应的代码对象。代码对象包含了代码块的字节码，包含代码中使用的常量和变量名，还有代码块的一些属性。通常，一个 Python 程序员不用编写字节码，并且也不用创建代码对象，而是编写正常的 Python 代码。所有 CPython 必须能够将源代码转换成代码对象。CPython 编译器就负责这部分工作。我们将通过这部分内容探索它是如何工作的。 Note: 本文参考 CPython 3.9。一些实现细节将必然会随着 CPython 的演进而改变。我将会尝试关注一些重要的改变并添加更新备注。什么是 CPython 编译器（What CPython compiler is）我们已经了解了 CPython 编译器的职责，但是在我们进入到它是如何实现的之前，让我们首先来搞清楚为什么我们称之为编译器？在通常情况加，编译器是一个将一个程序语言翻译到另一个与之等价的程序语言的程序。编译器有许多种类，但是通常情况下我们讨论的都是静态编译：将一个高级语言的程序翻译成机器码。CPython 编译器也是这样吗？要回答这个问题，我们先看一下静态编译器的传统三阶段设计（three-stage design）。编译器前端（frontend）将源代码转换成一种中间语言（IR,intermediate representation）。然后优化器（optimzer）拿到中间语言对其进行优化并把优化过的中间语言传递给编译器后端生成机器码。如果我们选择一种源语言和目标机器无关的中间语言，我们就得到了三阶段设计的关键益处：对于一个编译器来说，支持一种新的源语言仅仅需要新增一个对应的编译器前端，支持一种新的目标机器仅仅需要新增一个对应的编译器后端。 LLVM 工具集（toolchain）就是这个模型的一个很好的成功的例子。有很多编译器前端如 C、Rust、Swift 等其他很多编程语言基于 LLVM 提供给编译器更加复杂的部分。LLVM 的创建者 Chris Latter 提供了一个很好的 LLVM 架构概览。 CPython 尽管不需要支持多个源语言和目标机器，尔仅仅需要支持 Python 代码和 CPython 虚拟机。不过，CPython 同样实现了三阶段设计。如果想知道为什么，我们需要更加详细的解释编译器的三阶段的每个阶段。...

Python behind the scenes #1: how the CPython VM works

tags: Translate,Python 原文链接：Python behind the scenes #1: how the CPython VM works。 Python 幕后 #1: CPython 虚拟机如何工作介绍（Introduction）你是否曾经好奇过当你运行 Python 代码时 python 做了些什么？ $ python script.py 这篇文章将开启一个系列来尝试解答这个问题。我们将深入 Python 最流行的实现 CPython 的内部。通过深入 CPython 的内部我们将更深一层的去理解这门编程语言本身。这也是我们这个系列的最主要的目标。如果你熟悉 Python 并且可以阅读 C 代码，但是对 CPython 源码本身没有太多的经验，那么你可能非常适合本系列，并且对本系列感兴趣。什么是 CPython 并且为什么有人想学习它（What CPython is and why anyone would want to study it）我们首先来说明一些众所周知的事情。CPython 是用 C 编写的 Python 解析器。他是 Python 语言的众多实现的一种，其他还有诸如 PyPy、Jython、IronPython 等。CPython 的独特之处在于它是 Python 的起源、维护时间最长也是最受欢迎的。...

Python vendor package#

IPython#

EIN#

Python Dark Magic#

对应版本 manylinux2014 存在但是装不上#

Links to this note

Python vendor package

IPython

EIN

Python Dark Magic

对应版本 manylinux2014 存在但是装不上