Python decorator 库

上个月关于 Python 的 Decorator 写过一篇 Python 多层 decorator 内获取原始函数参数字典,后来熊提醒这种比较通用的东西应该都会有现成的库,搜了下果然有 个库就叫 Decorator

相关的项目地址在

看了下源码,他比之前我的做法更进一步,直接把要修饰的原方法的名字和参数,都扫代码解析出来,再到一个解析器的临时文件里原样写一个新的方法,并把相关需要复制的参数属性等都直接复制给这个新方法,这个新方法再调修饰方法,就可以更完美的实现对外界透明

例如这样的代码

def foo(x, y=2, *args, **kw):
  print(x)

def dec(func):
  def wrapper(*args, **kw):
    print("called %s with %s, %s" % (func.__name__, args, kw))
    return func(*args, **kw)
  return wrapper

foo = dec(foo)

在经过了 @decorator 后会变成

_func = foo
_caller = wrapper

foo = def foo(x, y=2, *args, **kw):
  return _caller(_func)(x, y, *args, **kw)

只有一些涉及到 func_code 内存地址的地方才可以发现不一样

果然还是有库用库,绝大部分情况人家还是实现得更好,就是原理能不能看懂了。自己折腾的好处是正向推过去,坑和原理都比较了解,而反向看别人的代码,有很多奇妙的地方先想明白为什么要考虑这个情况,以及这个情况为什么要这样处理,都需要花很久

最后小吐槽一下,在 decorator 库里,如果是 py3,replace('return', 'return await') 真的没问题?如果有人逗比写了个 returnVal = xxx 不就崩了

莫言莫语 3

爸爸打算回老家接莫莫回杭州了,继续记录这个每天被乐的不行的阶段

不好

问莫莫要不要回杭州,已经从暑假开始送回去,爸爸回来上班时,各种哭闹不要爸爸走,说「我要回杭州」变成了不要回去了(手动笑哭)

我在外婆家算了吧

问他为什么不好,小朋友用这样装作轻松又装作无奈的口气回答,最后那个「算了吧」真的是神作

我要睡觉了

在老家有弄细菌感染而发烧,喂他吃药了就开始各种逃避,要么就是眼睛一闭说要睡觉了,看你怎么办

我要尿尿

外婆陪着哄睡午觉,外婆都累得睡着了,莫莫还不睡,看没人陪他玩就开始喊,其实并没有尿,就是要把陪的人搞起来

外婆,请你抱抱我

小朋友真的很会看人下菜,外婆本来是严厉向的,在家也被小朋友嗲的开始娇惯他,然后小家伙就各种犯懒,可怜巴巴的说「抱抱我」

因为我喝了很多水呀

外公带去游乐场玩,没一会功夫带着去撒了两泡尿,外公问你今天怎么这么多尿,莫莫就逻辑清楚理所当然的这么回答

医生说了,不能吹电扇

在家不想吹电扇,也不让大人吹,就把去医院时听到的话来当挡箭牌,自己跑过去吧唧关掉

我热了,我出汗了

等自己想吹电扇了又开始找理由,反正自己想干的事情总有理由。不过似乎没有无理取闹都算好的?还有个说法

自己的事情自己做

外婆拖地板,非得把拖把抢过去,在自己房间使劲倒腾。弄累了自己爬床上睡着了,还记得用毯子裹了一下,平时可是哄都哄不着午睡的啊

9 个

平时都不数数或乱数的,某天视频说杭州家里有猕猴桃,爸爸回去时带给你吃,你数下看多少个,听他那边数了「一个、两个」后就没吭声,以为又懒的数,然后差不多速度数完时准确报总数,也不知道是真数对了还是瞎蒙的,反正让再数就不理了,真不知道是不是自己会了觉得你们太弱智(娃爸娃妈的美好期望。。。)

奇怪的电脑配置

前几天看到公司有一个主板盒,上面贴了一个看起来像淘宝店的发货单,看了配置真是哑然失笑

i7-9500x

在这个时间节点 Intel 应该还没发售 9 系的 CPU。如果第二位是 5,这个应该是 i5 序列,算不到 i7 序列。Intel 只有在至尊系列才有 x 后缀,x5xx 这个级别怎样也混不到 x 后缀

Z970 主板

确定 970 是主板而不是显卡?按这个搭配思路应该是 Z270 吧

GTX 1030 8GB 显卡

首先 GTX 这个前缀不可能给到 1030 这么低的定位,nVidia 有的型号是 GT1030,另外这个级别的卡也不可能有这么大显存,正常应该是 1G 或者 2G,而且大显存都是忽悠小白说你看这个卡是 4G 的比那个 2G 的牛多了用

其他的没这么夸张,有些还行,但整体看都像是被 xx 了。本来说是不是某人被装机商当小白狠狠宰了一顿,后面问了下说是只买了个鼠标垫,刷单的,这样估计就是卖家故意写的漏洞百出,自己好记得是刷单?

莫言莫语 2

我生气了

小朋友有时候不高兴了会傲娇

我会打你的

续上,真的说生气了还会接着说会打人的

这样是不公平的

世界杯的时候爸爸妈妈在客厅用电视看球,估计是不满平时我们在他看动画片看久了后要他关电视,等我们看球时跑过去把电视关掉,然后愤愤不平这样嚷


夏天爷爷奶奶外公外婆都放暑假了,把莫莫送回老家,在外公外婆家呆着。外公外婆住市区,旁边有大超市,大超市一楼有给小朋友玩的游乐场,99 包月,价格划算,莫莫每天都会去

我要买棒棒糖

爷爷奶奶去外公外婆家看莫莫,带莫莫去游乐场,玩到一半莫莫如是说。爷爷表示我不知道这哪里有棒棒糖卖呢,莫莫立马麻溜的说「我知道,二楼有」然后就拽着爷爷买去了

外婆给你吃吧,巧克力味的,很好吃的

小馋猫经常要吃棒棒糖,但偶尔也吃不完或吃腻了,就想着塞给外婆

这个我吃过了,有口水,外婆你不要吃了

棒棒糖给了外婆,外婆不想吃放在一边,一会莫莫又想吃,回来问外婆要回来

你不可以抢我的,这个是外婆买的不是你买的

担心莫莫吃糖太多会蛀牙,所以一般还是控制莫莫吃糖的情况,吃棒棒糖的莫莫看到外公过来,以为是要抢走他的,立马辩驳道

爷爷辛苦了

爷爷自己种了很多瓜果蔬菜,带到外婆家给莫莫吃,莫莫超开心的谢谢爷爷,似乎并没人这么特意教过他,把爷爷被感动的不要不要的

给外公买酒

有时候莫莫会玩当超市老板的游戏,完了问他赚了钱要给大家买什么,每次都会特别记得说给外公买酒,其他人每次就可能不一样。外婆就开玩笑说看你就贪的那一口,小朋友都一直记住了

MongoDB 升级注意事项

最近在 WSL 和 macOS 下都遇到了 MongoDB 升级时报错的问题,记录一下踩的坑

1. 确认已经兼容新的版本

参考 https://docs.mongodb.com/manual/release-notes/4.0/#feature-compatibility 看一下当前设置的是多少

db.adminCommand( { getParameter: 1, featureCompatibilityVersion: 1 } )

如果还不够新版本的,参考 https://docs.mongodb.com/manual/reference/command/setFeatureCompatibilityVersion/ 设置一下

db.adminCommand( { setFeatureCompatibilityVersion: "version" } )

注意版本跳太多了可能会失败,则需要启一个老版本把版本一步一步设上去(我的 WSL 就是从 2.6 跳 3.6 直接失败了,想 apt 退回去都不行,只能人肉下了个单独运行的 3.2 还是 3.4 做跳板,设完了才放弃)

2. 确认已经使用新的 YAML 格式配置文件

参考 https://docs.mongodb.com/manual/reference/configuration-options/,配置文件 Linux 一般是在 /etc/mongod.conf,macOS 如果是 brew 装的,一般是在 /usr/local/etc/mongod.conf

如果不是 YAML 的可以参考 https://github.com/mongodb/mongo/blob/master/debian/mongod.conf 新写一个,对着原来的文件把相关参数改一下就好(主要是 dbPathsystemLog.path,还有就是 processManagement 下要不要加 fork: true

3. 改用 wiredTiger 引擎

从 4.x 开始 MongoDB 就要放弃 mmapv1 引擎,尽快改成 wiredTiger

参考 https://docs.mongodb.com/manual/tutorial/change-standalone-wiredtiger/ 来做改动,大致步骤是

  1. 先在当前启动的 mongo 下做 mongodump,备份已有数据
  2. 停掉当前 mongo(注意 macOS 下 brew services stop 可能没有真的停,再 ps -el | grep mongo 看看还有没有进程)
  3. 修改配置文件,把 storage.engine 的注释去掉并改为 engine: wiredTiger
  4. 移除以前的 dbPath 下的所有文件(安全起见可以 mv 走而不是 rm -rf
  5. 按新配置文件启动 mongo
  6. mongorestore 来恢复之前的备份

做了个人人网的备份工具

总感觉哪天人人可能就不运营了,趁还能抓,先把能抓的抓到本地来,那些不管是牛逼还是傻逼抑或二逼的的过往,留着吧,偶尔看看也挺有意思的

项目在 GitHub 上:https://github.com/whusnoopy/renrenBackup,有问题可以在这里留言,或直接在 GitHub 上发 Issue 或 Pull Request

抓了状态、留言、相册和日志,以及对应的评论、点赞

其中点赞只有总数和最近的 8 个人的名单,受限没找到拿全量的接口,只能这样,翻状态发现 2014 年的时候就吐槽过只能看 8 个人点赞,当时还说有改版计划会看到全部,后来随着人人慢慢没落转型,应该也没人提这事了

评论看起来是人人本身就丢了一些,或者奇怪的隐私策略或怎样,总感觉漏掉一点,不过也尽力把人人按 API 给的对应评论和全站评论都保存了下来

状态应该漏掉早期的一部分,我只能抓到 2008 年左右的,更早的忘了是没有状态这个产品,还是就是数据丢了。状态有些是带图或带地理信息的,这部分都没抓,通过对于的 API 似乎也没拿到这些信息

分享的类型太杂,没有 json 接口,裸解析页面太伤了,暂时不打算做,后期如果有人一起或想起来再说

人人的图片大部分不允许跨域调,索性也爬到本地来,主要是照片和头像,然后照片的失真度比较大,有 EXIF 信息什么的也懒得爬了,毕竟这些不是重点

我的数据量应该只算一般,爬起来还没太大问题,那些量大类杂的,可能还会遇到新的坑,只能遇坑填坑

VS Code 里 Python 扩展提示 Path 有非法字符

最近在 Win10 下打开 VS Code 时总会遇到这个报错

VS Code 启动时 Python 扩展提示 Path 环境变量有错误

搜了一圈发现还是官方的锅,详见 https://github.com/Microsoft/vscode-python/issues/2076

看了下 GitHub 上的 issue 和 Stack Overflow 上的讨论,理解了下造成这个问题的大概原因

  1. VS Code 里 Python 扩展会检查 Windows 的 Path 环境变量并解析,如果有预期之外的分号 ';' 双引号 '"' 或连续分号 ';;' 则报错
  2. Windows 的 Path 很可能是由若干个变量组成的,比如 Path=%Path%;C:\Python27\;%LOCAL_PATH%
  3. 有的变量为了自我严谨,最后是加了分号的,有的环境变量在引用别人时,怕别人最后没加分号,就在引用后立马接上一个分号
  4. 拼起来就呵呵了

看起来官方已经知晓并明确问题,只能等下一个版本更新去掉这个严格检查,或看他们有什么更好的处理方法

莫言莫语 1

小朋友语言和逻辑能力越来越好,经常搞出让人哭笑不得的话

我没有胡子

问莫莫他是不是一只小花猫?他说我没有胡子,所以我不是

我又不是女生

妈妈穿了背带裤,然后问莫莫,说你要不要穿背带裤?莫莫说我又不是女生?不可以穿背带裤

我去度蜜月

问莫莫下午去哪里玩了?莫莫说我去度蜜月了,问说你跟谁度蜜月了呀,莫莫说我跟妈妈度蜜月去了。都不知道跟哪学的,是在小区玩听别的大人提到过么

不要看不起莫宝宝

在超市,爸爸买了一件矿泉水,莫莫要过来想提起,他爸爸说你还小,拎不动的,妈妈说不要看不起我莫宝宝,莫莫马上也说不要看不起我莫宝宝

我又不是妈妈

莫莫看爸爸妈妈吃饭,想要来一起吃东西,爸爸问莫莫你要不要吃凉拌菜呀?莫莫说我又不是妈妈,我不可以吃凉拌菜

我要吃麻花

有一天晚上睡到半夜,莫莫突然想起来大喊,我要吃麻花

我又不是兔子

跟莫莫唱儿歌,小白兔白又白,最后一句是爱吃萝卜爱吃菜,蹦蹦跳跳真可爱,问莫莫你爱不爱吃萝卜?莫莫说我又不是兔子,不爱吃萝卜

太不可思议了

白天跟别的小朋友一起出去玩,别的小朋友妈妈会说这一句,然后带莫莫出去玩的时候他就突然来了这么一句。然后是大人们都表示你太不可思议了

follow me

出去商场吃饭玩,在停车楼停好车后妈妈问爸爸说应该往哪边走?爸爸说「Follow me」,然后莫莫立马就学会了,一直喊「Follow me」

我是狗狗,因为我叼了勺子

在超市里遇到卖酸奶的导购,给了小纸杯酸奶用勺子舀着吃,吃完了一直不舍得放,坐上车给他扣安全座椅的安全带都还拿着,扣好后突然就来了这么一句

我很小气

天气太热了,在外面听别的家长有说冰淇淋,回家一直闹着要吃冰淇淋,给了他一盒小的,和伯伯一起吃完,然后开心的跑开看着爸爸说「我很小气,没有留给爸爸」

Python 多层 decorator 内获取原始函数参数字典

0. 在 decorator 里获取原始函数的参数值

项目里做了一个通用锁,使用 decorator 来方便的包住某些需要限制并发的函数。因为并发不是函数级别的,而是根据参数来限制,所以需要把参数传到通用锁的 decorator 里,代码大致如下

def lock_decorator(key=None):
    def _lock_func(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            # TODO: get lock_key
            lock_key = kwargs.get(key, '')
            with LockContext(key=lock_key):
                return func(*args, **kwargs)
        return wrapper
    return _lock_func

@lock_decorator(key='uid')
def apply_recharge(uid, amount):
    # ...

考虑到函数调用不一定都是带着参数名的,就是说调用时不一定所有参数都会进 **kwargs,那就需要从 **args 里面按参数名捞参数

怎么能知道原函数的参数名列表,翻各种手册的得知可以用 inspect.getargspec(func) 来搞到,那么上面的 TODO 部分就可以改写如下

            args_name = inspect.getargspec(func)[0]
            key_index = args_name.index(key)
            if len(args) > key_index:
                lock_key = args[key_index]
            else:
                lock_key = kwargs.get(key, '')

自此,一切都很美好

1. 在 decorator 里获取原始函数的调用参数字典

项目里又做了个通用的 Logger,也做成 decorator 往目标函数一套,就可以打印出调用时的入参和结果,大致如下

def log_decorator():
    def _log_func(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            # TODO: get full args
            print('call func [{}] with args [{}] and kwargs [{}]'.format(func.__name__, args, kwargs))
            ret = func(*args, **kwargs)
            print('func [{}] return [{}]'.format(func.__name__, ret))
            return ret
        return wrapper
    return _log_func

@log_decorator()
def apply_recharge(uid, amount):
    # ...

看起来也还好,不过因为函数可能带默认参数,而且也希望看到 **args 到底传到哪个参数上,还是希望把所有参数按 Key-Value 的形式打印出来,跟处理通用锁一样,用 inspect.getargspec(func) 把参数名和默认值都摸出来,再考虑一下可变参数的情况,对上面的 TODO 部分改写如下

            args_name, _, _, func_defaults = inspect.getargspec(func)
            parsed_kwargs = dict()
            # default args
            default_args = dict()
            default_start = len(args_name, func_defaults)
            for idx, d in enumerate(func_defaults):
                default_args[args_name[default_start + idx]] = d
            parsed_kwargs.update(default_args)
            # args with name
            varargs_start = len(args_name)
            for idx, a in enumerate(args[:varargs_start]):
                parsed_kwargs[args_name[idx]] = a
            # varargs
            if len(args) > varargs_start:
                parsed_kwargs['varargs'] = args[varargs_start:]
            # kwargs
            parsed_kwargs.update(kwargs)
            print('call func [{}] with args [{}]'.format(func.__name__, parsed_kwargs))

到这里,还是很美好

2. 多层 decorator 怎么拿到最原始函数的参数表

注意到上面两个例子里,apply_recharge 都只套了一个 decorator,如果两个一起用会发生什么?

根据 PEP318 里对 decorator 的定义

@dec2
@dec1
def func(arg1, arg2, ...):
    pass

等价于

def func(arg1, arg2, ...):
    pass
func = dec2(dec1(func))

这里就出问题了,dec2 拿到的传入函数其实是 dec1 而不是 func。不过在把 lock_decoratorlog_decorator 混用时,不管谁写前面,func.__name__ 都是原始的函数名,说明也还是有神器的地方做了穿透,但是 inspect.getargspec 又拿不到最底层函数的参数表,导致不管谁前谁后,都有问题

注意到每个 decorator 构建的时候都又封了一个 @functools.wraps(func),这个是干嘛的呢?以前都是无脑用,也没想过为啥要包一层这个,去掉会怎样?

去掉这个 @functools.wraps(func) 后,inspect.getargspec 还是一样的只能拿到最近一层的信息,而之前本来可以拿到底层的 func.__name__ 也变成最近一层的函数名了,说明这里做了穿透。那么去看看代码吧

# functools.py

from _functools import partial, reduce

# update_wrapper() and wraps() are tools to help write
# wrapper functions that can handle naive introspection

WRAPPER_ASSIGNMENTS = ('__module__', '__name__', '__doc__')
WRAPPER_UPDATES = ('__dict__',)
def update_wrapper(wrapper,
                   wrapped,
                   assigned = WRAPPER_ASSIGNMENTS,
                   updated = WRAPPER_UPDATES):
    """Update a wrapper function to look like the wrapped function

       wrapper is the function to be updated
       wrapped is the original function
       assigned is a tuple naming the attributes assigned directly
       from the wrapped function to the wrapper function (defaults to
       functools.WRAPPER_ASSIGNMENTS)
       updated is a tuple naming the attributes of the wrapper that
       are updated with the corresponding attribute from the wrapped
       function (defaults to functools.WRAPPER_UPDATES)
    """
    for attr in assigned:
        setattr(wrapper, attr, getattr(wrapped, attr))
    for attr in updated:
        getattr(wrapper, attr).update(getattr(wrapped, attr, {}))
    # Return the wrapper so this can be used as a decorator via partial()
    return wrapper

def wraps(wrapped,
          assigned = WRAPPER_ASSIGNMENTS,
          updated = WRAPPER_UPDATES):
    """Decorator factory to apply update_wrapper() to a wrapper function

       Returns a decorator that invokes update_wrapper() with the decorated
       function as the wrapper argument and the arguments to wraps() as the
       remaining arguments. Default arguments are as for update_wrapper().
       This is a convenience function to simplify applying partial() to
       update_wrapper().
    """
    return partial(update_wrapper, wrapped=wrapped,
                   assigned=assigned, updated=updated)

原来就是这里耍花样了,把底层函数的 ('__module__', '__name__', '__doc__') 都赋给了 decorator 封起来的这一层,欺骗更上层用 __name__ 去判断时就当我是底层

那我也学这个,把 inspect.getargspec 的地方也处理下不就完了,去看看这个地方是怎么拿参数表的

# inspect.py

def getargspec(func):
    """Get the names and default values of a function's arguments.

    A tuple of four things is returned: (args, varargs, varkw, defaults).
    'args' is a list of the argument names (it may contain nested lists).
    'varargs' and 'varkw' are the names of the * and ** arguments or None.
    'defaults' is an n-tuple of the default values of the last n arguments.
    """

    if ismethod(func):
        func = func.im_func
    if not isfunction(func):
        raise TypeError('{!r} is not a Python function'.format(func))
    args, varargs, varkw = getargs(func.func_code)
    return ArgSpec(args, varargs, varkw, func.func_defaults)

看了下用到了 func.func_codefunc.func_defaults,按 Python 官方文档 https://docs.python.org/2/library/inspect.html 的解释,func_code 是运行时的字节码,从这里面捞参数表果然可行,那是不是我把这两个属性也传递上去就行了呢?改用自己的 wraps 如下

WRAPPER_ASSIGNMENTS = functools.WRAPPER_ASSGNMENTS + ('func_code', 'func_defaults')
def my_wraps(wrapped,
             assigned = WRAPPER_ASSIGNMENTS,
             updated = WRAPPER_UPDATES):
    return _functool.partial(functools.update_wrapper, wrapped=wrapped,
                             assigned=assigned, updated=updated)

运行时报错,看了下错误提示,func_code 不可覆盖,这也对,都是运行时的字节码了,这个覆盖掉那包的这层 decorator 到底还有没有自己的逻辑部分

还是自己动手丰衣足食,既然 func_code 不可覆盖,我自己另外弄一个总可以了吧,而且当前需求是拿到参数表和默认参数,那就直接解出来穿透,也懒得最后再解一次。修改 my_wraps 如下

WRAPPER_ASSIGNMENTS = functools.WRAPPER_ASSIGNMENTS + ('__func_args_name__', '__func_default_args__')

def my_wraps(wrapped,
             assigned = WRAPPER_ASSIGNMENTS,
             updated = functools.WRAPPER_UPDATES):
    if getattr(wrapped, '__func_args_name__', None) is None:
        setattr(wrapped, '__func_args_name__', inspect.getargs(wrapped.func_code)[0])
        func_defaults = getattr(wrapped, 'func_defaults') or ()
        default_args = dict()
        default_start = len(wrapped.__func_args_name__) - len(func_defaults)
        for idx, d in enumerate(func_defaults):
            default_args[wrapped.__func_args_name__[default_start + idx]] = d
        setattr(wrapped, '__func_default_args__', default_args)
    return _functools.partial(functools.update_wrapper, wrapped=wrapped,
                              assigned=assigned, updated=updated)

同时在运行时解参数表,也用一个通用函数来实现

def parse_func(func, *args, **kwargs):
    parsed_kwargs = dict()
    # default args
    parsed_kwargs.update(func.__func_default_args__)
    # args with name
    varargs_start = len(func.__func_args_name__)
    for idx, a in enumerate(args[:varargs_start]):
        parsed_kwargs[func.__func_args_name__[idx]] = a
    # varargs
    if len(args) > varargs_start:
        parsed_kwargs['varargs'] = args[varargs_start:]
    # kwargs
    parsed_kwargs.update(kwargs)

    return parsed_kwargs

这样在 lock_decoratorlog_decorator 里,用 my_wraps 来封装处理,同时在里面用 parse_func 来解析参数,就能拿到完整的参数表了

完整的测试代码见 https://gist.github.com/whusnoopy/9081544f7eaf4e9ceeaa9eba46ff28da

cmder 在 Win10 WSL 下粘贴丢字符的解决

Win10 升级到 1803 后,用 cmder 连的 bash,粘贴文本时总丢大量字符,怀疑某些部分被识别成了控制字符或怎样。一开始以为是 WSL 的问题,不过后面交叉验证,发现如果用 cmder 开 Windows 命令行,或直接在 Windows 命令行下运行 bash 就没事。翻了好久,终于在 ConEmu 项目下找到相关讨论,作者最近认可了这个问题并发布了更新:https://github.com/Maximus5/ConEmu/issues/1545#issuecomment-386444227

因为 cmder 就是封装了一下 ConEmu,所以去 https://github.com/Maximus5/ConEmu/releases/tag/v18.05.06 下载最新的 180506 版本 ConEmu,并解压到 cmder 目录的 cmder\vendor\conemu-maximus5 下替换原来的文件就好