multimport: 一次性导入并合并多个文件

论坛 期权论坛 期权     
Stata连享会   2019-4-28 02:18   10191   0
作者:吴玉轩 (南开大学)
Stata 连享会:知乎 | 简书 | 码云
python 爬虫与文本分析专题-现场班

连享会-Python爬虫与文本分析现场班-山西大学 2019.5.17-19[h2]一起学空间计量……[/h2]
空间计量专题-西安 2019.6.27-30
特别说明
文中包含的链接在微信中无法生效。请点击本文底部左下角的
  1. 【阅读原文】
复制代码
,转入本文
  1. 【简书版】
复制代码

multimport : 一次性导入并合并多个文件实证分析中经常需要把多个 Excel 或 txt 文档导入 Stata 并纵向追加。
在此前的推文 [Stata: 如何快速合并 3500 个无规则命名的数据文件?] 中,我们介绍了如何使用循环语句
  1. foreach
复制代码
,以及外部命令
  1. openall
复制代码
一次性合并某个文件夹下的所有 .txt 文档。
这里任务通常需要两个步骤来完成:读入与纵向追加。
我们可以用
  1. fs
复制代码
命令解决读入的问题,用
  1. openall
复制代码
或者
  1. append
复制代码
循环对读入的文件进行纵向追加,但对于初学者而言略显繁琐。
今天介绍的
  1. multimport
复制代码
命令可以将上述两步合二为一,真正实现一次性导入并合并多个文件的目的。
1. 命令的安装该命令的安装较为简单,在 Stata 命令窗口输入如下代码即可 (若此前已经安装,附加
  1. replace
复制代码
选项可以自动更新):
    1. ssc install multimport, replace
    复制代码
这样就完成了安装的过程,下面是对该命令的介绍。
2. 命令的含义该命令的语法如下:
    1. multimport import_method,
    复制代码
    1.   [directory(filespec)
    复制代码
    1.   extension(ext1[ext2...])
    复制代码
    1.   include(file1[file2...])
    复制代码
    1.   exclude(file1[file2...])
    复制代码
    1.   importoptions(import_method_opts)
    复制代码
    1.   appendoptions(append_opts) ]
    复制代码
各个主要选项的含义:
    1. import_method
    复制代码
    , 必选项,包括
    1. excel
    复制代码
    1. delimited
    复制代码
    两个填项,
    1. multimport excel
    复制代码
    表示导入 excel 格式的文件,
    1. multimport delimited
    复制代码
    则表示导入文本文件(txt 或 csv)
    1. directory
    复制代码
    , 简记为
    1. dir
    复制代码
    , 可选项,设定导入文件所在的路径,若不填写则默认为当前工作路径
    1. extension
    复制代码
    , 简记为
    1. ext
    复制代码
    , 可选项,用以覆盖
    1. multimport
    复制代码
    默认导入的文件的类型 (即文件的扩展名 \ 后缀)。例如,下面的代码将会导入扩展名为 txt 与 csv 的文本文件
    1. multimport delimited,ext(csv txt)
    复制代码
    1. include
    复制代码
    1. exclude
    复制代码
    选项,顾名思义,就是包括与排除某些文件,这些文件不会被读入内存。
    1. multimport excel, include("svy2011.xls" "svy2012.xls" "svy2013.xls")
    复制代码
上述代码将导入 svy2011-svy2013 等3个 excel 文件,其余 excel 文件不会读入。
    1. importoptions
    复制代码
    1. appendoptions
    复制代码
    选项是对
    1. import_method
    复制代码
    1. append
    复制代码
    方法的进一步设定,较少使用。
3.命令的使用下面将通过一个实例来简要说明如何通过
  1. multimport
复制代码
命令来导入并合并文本文件与 excel 文件。
[h1]3.1 文本文件的导入与合并[/h1]为方便起见,基于 Stata 官方数据集 nhanes2.dta 构造所需要的文本文件,代码如下:
  • 虚构一些文本文件
    1. webuse nhanes2.dta, clear
    复制代码
    1. tab region //region 取值为1-4
    复制代码
    1. levelsof region // 根据region变量的不同取值构造暂元,并存储在r(levels)中
    复制代码
    1. foreach r in `r(levels)' {
    复制代码
    1. export delimited using nhanes_reg`r' if region == `r' //导出不同region分类的文本文件
    复制代码
    1. }
    复制代码
上述代码生成了基于不同 region 的文本文件:nhanes_reg1.csv-nhanes_reg4.csv,下面将选定的文本文件导入并进行合并。
  • 读入并合并文本文件
    1. multimport delimited, clear include(nhanes_reg1.csv nhanes_reg2.csv)
    复制代码
上述代码将 nhanes_reg1 与 nhanes_reg2 两个 csv 文件导入并进行了纵向合并。如果想合并所有的 csv 文件,去掉
  1. include
复制代码
选项即可。值得注意的是,在上述代码的执行过程中,Stata 输出界面会提示交互信息:
  1. Proceed(yes/no?)
复制代码
,需要手动输入
  1. yes/no
复制代码
,较为繁琐。为解决这一问题,加入
  1. force
复制代码
选项即可,强制读入并进行合并,修正后的代码如下:
    1. multimport delimited, clear include(nhanes_reg1.csv nhanes_reg2.csv) force
    复制代码
    1. save nhanes_csv, replace  // 保存合并后的数据文件
    复制代码
[h1]3.2 excel 文件的读入与合并[/h1]excel 文件的读入与合并过程与上面的类似,同样以数据集 nhanes2.dta 为例,相应的执行代码如下:
  • 虚构一些 excel 文件
    1. use http://www.stata-press.com/data/r14/nhanes2.dta
    复制代码
    1. levelsof region
    复制代码
    1. foreach r in `r(levels)' {
    复制代码
    1. export excel using nhanes_reg`r' if region == `r'
    复制代码
    1. }
    复制代码
上述代码生成了 nhanes_reg1.xls-nhanes_reg4.xls 等 4 个 excel 文件。
  • 读入并合并文件
    1. multimport excel, clear exclude(nhanes_reg2.xls) force
    复制代码
    1. save nhanes_excel,replace
    复制代码
上述代码排除了名称为 nhanes_reg2 的 excel 文件,并将剩余的 excel 文件导入并进行合并。
以上便是
  1. multimport
复制代码
命令的基本内容,掌握该命令的用法后可以迅速而简洁地完成文件的读入与合并工作。
最后,为了便于大家使用,提供如下模板:
    1. local in ""  //需要合并的文件
    复制代码
    1. local ex ""  //无需合并的文件,若无,可以留空
    复制代码
    1. multimport excel, clear exclude(nhanes_reg2.xls) force
    复制代码
    1. save nhanes_excel,replace
    复制代码
[h1]相关命令[/h1]
    1. help csvconvert
    复制代码
    // 纵向合并多个 csv 文件并存储为 Stata 数据格式
    1. help multimport
    复制代码
    //一次性总纵向合并多个非 Stata 格式的数据,并存储为 Stata 数据文件
    1. help dsconcat
    复制代码
    //一次性纵向合并多个 Stata 数据文件
[h1]相关推文和链接[/h1]
[h3]关于我们[/h3]
  • 【Stata 连享会(公众号:StataChina)】由中山大学连玉君老师团队创办,旨在定期与大家分享 Stata 应用的各种经验和技巧。
  • 公众号推文同步发布于 CSDN-Stata连享会 、简书-Stata连享会 和 知乎-连玉君Stata专栏。可以在上述网站中搜索关键词
    1. Stata
    复制代码
    1. Stata连享会
    复制代码
    后关注我们。
  • 点击推文底部【阅读原文】可以查看推文中的链接并下载相关资料。
  • Stata连享会 精彩推文1   || 精彩推文2
[h3]联系我们[/h3]
  • 欢迎赐稿:  欢迎将您的文章或笔记投稿至
    1. Stata连享会(公众号: StataChina)
    复制代码
    ,我们会保留您的署名;录用稿件达
    1. 五篇
    复制代码
    以上,即可免费获得 Stata 现场培训 (初级或高级选其一) 资格。
  • 意见和资料: 欢迎您的宝贵意见,您也可以来信索取推文中提及的程序和数据。
  • 招募英才: 欢迎加入我们的团队,一起学习 Stata。合作编辑或撰写稿件五篇以上,即可免费获得 Stata 现场培训 (初级或高级选其一) 资格。
  • 联系邮件:  StataChina@163.com
[h3]往期精彩推文[/h3]


欢迎加入Stata连享会(公众号: StataChina)[h2][/url][/h2][url=http://mp.weixin.qq.com/s?__biz=MzAwMzk4ODUzOQ==&mid=2247485104&idx=1&sn=8c47b6a91d36cd81fc57f9b9cdd550b6&chksm=9b338be4ac4402f2e2b7358a827202258691bdd76d656d07eca27ce50905f1d47dd6042e0071&scene=21#wechat_redirect]

[url=http://mp.weixin.qq.com/s?__biz=MzAwMzk4ODUzOQ==&mid=2247485064&idx=1&sn=58e05c5ef029356ddfe71cb6defefd4b&chksm=9b338bdcac4402caebd7ff2e33af05ad0133351e277040f5d365a3da2fdbf2d6036fe75f9789&scene=21#wechat_redirect][/url]
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:190
帖子:39
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP