关于统计软件-在读PhD学生讨论

永远没多远

大家好，目前是金融在读PhD，在等待学校老破电脑运行SAS指令的时候来讨论一下；
目前主流的统计软件，各位的学校都用的是什么？
我这边是SAS/STATA熟练工，python的话会是会，就是效率低下，他的{}【】（）以及大小写的要求还有经常更新的指令导致老指令用不了我觉得特别反人类。。。

另外想问问大家学校电脑都是啥配置，我这边i5-9600+8G内存是真的崩溃，有时候数据集大了（300,000个obs，真不算大啊）等很久，甚至是死机，丢失数据才是很恼火（他程序出错了之后临时的数据集处理了的都没了，虽然可以再运行一次代码，但是又要等很久。。。）。我这边学院的电脑lab里面我看最好的也就是i5-11400+8G。想问问大家这个电脑如果是跑统计软件的话，是要加内存还是CPU频率高了好？GPU可以加速吗？

raccoon_paw

以前SAS+STATA，现在全程用STATA。Python用来爬数据，也有朋友用Julia。一部分ECON BG的用R和MATLAB。自己顺手就行。
学校有research service，一般都挂在上面跑。

zzzz_zzzz

1. r/matlab/python/julia都可以做这些事情，python有很多加速的方法，虽然最后可能还是没有其他软件快。另外python已经是高级语言里面最不反人类的了。

2. 每个学校应该都有hpc center，直接把script扔进去跑就行了，应该没有很多人是用自己local跑的。。

永远没多远

zzzz_zzzz 发表于 2022-11-21 07:31
1. r/matlab/python/julia都可以做这些事情，python有很多加速的方法，虽然最后可能还是没有其他软件快。另 ...

hpc center是在理学院吗？计算机专业他们的labs？
我们PHD的台式机不太行，还不如我自己买的笔记本，都是8核心的5800H的都比这些快。
是不是SAS大家用的都不太多了，都被淘汰了吗？

永远没多远

raccoon_paw 发表于 2022-11-21 06:04
以前SAS+STATA，现在全程用STATA。Python用来爬数据，也有朋友用Julia。一部分ECON BG的用R和MATLAB。自己 ...

我老师说金融的要SAS比STATA好用，我目前都没看出来有啥优势。STATA比SAS运行块多了，代码还更简单。

raccoon_paw

永远没多远 发表于 2022-11-21 08:28
我老师说金融的要SAS比STATA好用，我目前都没看出来有啥优势。STATA比SAS运行块多了，代码还更简单。 ...

语言只是一种工具，顺手了什么都好用，不熟练什么都不好用。都读博了就没必要什么都“老师说”，你自己觉得什么熟练就用什么。很多senior的教授都很久不碰数据了了。
SAS最大的问题是fixed effect比较不友好，而对于金融/会计绝大多数的empirical research这个是刚需。一般用SAS也是SAS处理数据+STATA跑回归。
建议就是whatever语言，先从一种开始用熟练了再说。

roycheung

SAS蛮多人用的，但是SAS和stata在数据量太大的时候就容易爆内存，建议32G起步。CPU12代13代标压i7就差不多了。GPU不是深度学习的话基本用不上。

zzzz_zzzz

永远没多远 发表于 2022-11-21 08:27
hpc center是在理学院吗？计算机专业他们的labs？
我们PHD的台式机不太行，还不如我自己买的笔记本，都是 ...

理论上，每个学校都有hpc，每个学生应该都可以有权利使用。这点建议去自己学校官网看一下。

如果没有也建议和导师商量下，能不能拿些funding买aws用一下。cloud这么方便，感觉现在已经没有多少任务是会被放在local跑的了。SAS只听说过在商科/经济领域会用，统计一般用r，cs一般用python，c++。

关于cpu/gpu：这个取决于你的任务是需要gpu还是cpu，没法一概而论。

d.jiao

Python（处理数据）+STATA/R（回归）
8G完全足够处理0.3m obs，如果内存崩溃的话，你应该查一查自己代码内存的占用量，例如有没有定义过多的中间变量需要大量存储（通常是代码逻辑有优化空间），而没有及时删除
我身边很少有人用SAS了

raccoon_paw

zzzz_zzzz 发表于 2022-11-21 14:19
理论上，每个学校都有hpc，每个学生应该都可以有权利使用。这点建议去自己学校官网看一下。

如果没有也 ...

SAS的好处是能用WRDS Cloud，而且WRDS有各种现成的code可以抄。很多教授开源的code也是SAS，比如很多TAQ 的code