【技术性】OO语言知识

论坛 期权论坛 编程之家     
选择匿名的用户   2021-5-21 12:16   350   0

持续更新。
--------------------C++篇------------------------

  1. 分布计算提高效率的库及库函数,比如FB的folly库就有folly::gen一大堆函数,e.g.
auto results = from(ids) | get<0>() | as<vector>();

本质上和e.g.Pyspark的分布式计算的底层思想是一致的。

--------------------Python篇-----------------------

  1. Python特别适用于搭data pipeline,比如FB的Dataswarm repo(用于run hive&presto tasks)和在Zillow用的Pyspark,其实根本上都是用了Python的脚本特性,串联起tasks来。
  2. dict的4种常见操作
    增:d['key1'] = 4
    删:d.pop('key1')
    找key:if 'key1' in d
    get值:d.get('key1')
  3. subprocess:
    Popen, e.g.

    process = Popen(['cat', 'test.py'], stdout=PIPE, stderr=PIPE)

    相当于执行了cat test.py这个命令
    然后可以用communicate函数来read,e.g. stdout, stderr = process.communicate(); print stdout

  4. yield & generators
    e.g.

    def foo():
        for i in range(0,100):
            yield i*i
    generator = foo()
    for i in generator:
        print(i)
        
  5. eee
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP