深入对比数据科学工具箱：Python和R的C/C++实现

概述

成都创新互联公司是专业的惠济网站建设公司，惠济接单;提供做网站、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行惠济网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

几周前，我有幸在 Scipy 大会上发表了 Civis如何使用Python和R的演讲。为什么要在一个Python大会上大谈R呢?这是要挑起一个Python和R语言的一场战争吗?不是的!讨论哪个语言比较好简直是浪费时间。在 Civis，我们很愉快地同时使用这两种语言，不仅仅是在我们日常工作中解决数据科学问题，也用它们来写一些其他工具。下面是我在SciPy 大会上的一些讨论。

问题现状

我们 Civis 的同事有着十分不同的学术背景。我效力的研发团队有一个物理学家、一个经济学家、两个统计学家以及一位土木工程师组成。在 Civis，每个人在数据科学上都会做一些不同内容的工作，有的领域是R比较流行，有的领域是Python比较流行，还有的一些是Matlab。在这种场景下只支持一种语言并不是一个明智的选择。迁移到一门新语言上会花费许多时间，抛开在学院或者业界多年的技能回报，允许人们使用它们所熟悉的工具可以确保大家有更高的生成效率。

另外一个我们同时使用两种语言的原因是已有的统计学工具与包。在解决数据科学问题上，我们经常遇到在某些特定管道上需要某一种特定语言。我们的调研管道是一个很好的例子。确保随机样本具有全集代表性是需要一个被称为 raking 的过程的，传统上，Python 在社会科学上并不流行，因此我们只会用R来完成这件事情。当然调查也包括了QA的全文检索，在某种程度上来说R在NLP社区上并不是很流行，因此这个部分将会由Python来完成。而分析调查数据只是我们在Civis解决问题的一个小步骤。

结合许多不同的语言来实现工作流是具有挑战性的。数据科学平台帮助我们可以提交一连串任务节点，然后交由基础设施负责独立调用每个任务节点，且前后不依赖。但是这并不是一个十分理想的情况。原因有二，其一，这样做整个任务就显得破碎化，稍有修改某个任务，往往会导致全局失败，而且任何人在这个分布式系统中所做的工作都只了解局部情况，而不知道全局情况。第二，这样做并不高效。在两个语言中切换通常需要将数据以特定格式加载到磁盘上(通常最坏的情况是csv格式)。这样不仅仅是解析成本比较高，而且还会丢失一些类型信息。

解决方案

我概述了在Civis遇到的种种问题，但是到底什么是理想的状态呢?最***的解决方案是我们可以无缝切换工具和语言。许多熟悉Python的人喜欢用Python做数据分析，R也是类似的。事实证明这是完全有可能实现,有相当数量的项目已经开始作为跨语言工具：TensorFlow, XGBoost, 和 Stan 都在Civis被广泛运用。移植或安利一个已有的工具也是可能的，我们已经成功地完成了glmnetR包的安利。

对另一些为读者写数据科学工具的人来说,他们从一开始就考虑了这些跨语言。有一些方法可以做到这一点,但我个人最喜欢的是用C语言来写底层，然后使用各自的Python和R C api做一些绑定/封装。Python和R实际上是用C实现的,这是条阻力最小的路径。C是一门古老语言，C语言社区已经演进出了一些强大的工具链。晦涩的编译器错误消息已经成为了过去时,GCC和Clang(***的编译器)给友善的消息反馈(Clang网站可以看到栗子)。现在还有各种各样的“消毒液”来辅助捕获内存泄漏等常见错误或未定义的行为(llvm文档)。

案例

下面我们通过一个小例子,用C编写一个函数,使这可调用的Python和R。代码以及幻灯片从我的GitHub上可以找到。

Python

我们将下面的Python函数转换为C:

 
 
    
  
  
  1. def tally(s): 
    2. 
  
  
  2.     total = 0 
    3. 
  
  
  3.     for elm in s: 
    4. 
  
  
  4.         total += elm 
    5. 
  
  
  5.     return total  
    6.

C

这是相同的功能用C实现:

 
 
    
  
  
  1. #include  
    2. 
  
  
  2.  
    3. 
  
  
  3. double tally(double *s, size_t n) { 
    4. 
  
  
  4.     double total = 0; 
    5. 
  
  
  5.     for (size_t i = 0; i < n; i++) { 
    6. 
  
  
  6.         total += s[i]; 
    7. 
  
  
  7.     } 
    8. 
  
  
  8.     return total; 
    9. 
  
  
  9. }  
    10.

注意到它看起来并不是都不同的Python函数。当然,除了有一些类型注解和额外的语法噪音大括号外，我们还必须跟踪数组的长度,但整体逻辑是一样的。

接下来,我们需要实现一个Python绑定,允许用户调用这个函数就像任何其他Python函数。

Cython 

 
 
    
  
  
  1. #include  
    2. 
  
  
  2. #include "Python.h" 
    3. 
  
  
  3. #include "tally.h" 
    4. 
  
  
  4.  
    5. 
  
  
  5. static PyObject *tally_(PyObject *self, PyObject *args) { 
    6. 
  
  
  6.     PyObject *buf; 
    7. 
  
  
  7.     if (!PyArg_ParseTuple(args, "O", &buf)) { 
    8. 
  
  
  8.         return NULL; 
    9. 
  
  
  9.     } 
    10. 
  
  
  10.  
    11. 
  
  
  11.     Py_buffer view; 
    12. 
  
  
  12.     int buf_flags = PyBUF_ANY_CONTIGUOUS | PyBUF_FORMAT; 
    13. 
  
  
  13.     if (PyObject_GetBuffer(buf, &view, buf_flags) == -1) { 
    14. 
  
  
  14.         return NULL; 
    15. 
  
  
  15.     } 
    16. 
  
  
  16.      
    17. 
  
  
  17.     if (strcmp(view.format,"d") != 0) { 
    18. 
  
  
  18.         PyErr_SetString(PyExc_TypeError, "we only take floats :("); 
    19. 
  
  
  19.         PyBuffer_Release(&view); 
    20. 
  
  
  20.         return NULL; 
    21. 
  
  
  21.     } 
    22. 
  
  
  22.  
    23. 
  
  
  23.     double result = tally(view.buf, view.shape[0]); 
    24. 
  
  
  24.     PyBuffer_Release(&view); 
    25. 
  
  
  25.     return Py_BuildValue("d", result); 
    26. 
  
  
  26. } 
    27. 
  
  
  27.  
    28. 
  
  
  28. static PyMethodDef MethodTable[] = { 
    29. 
  
  
  29.     {"tally", &tally_, METH_VARARGS, "Compute the sum of an array"},  
    30. 
  
  
  30.     { NULL, NULL, 0, NULL} 
    31. 
  
  
  31. }; 
    32. 
  
  
  32.  
    33. 
  
  
  33. static struct PyModuleDef tally_module = { 
    34. 
  
  
  34.     .m_base = PyModuleDef_HEAD_INIT, 
    35. 
  
  
  35.     .m_name = "tally_", 
    36. 
  
  
  36.     .m_size = -1, 
    37. 
  
  
  37.     .m_methods = MethodTable 
    38. 
  
  
  38. }; 
    39. 
  
  
  39.  
    40. 
  
  
  40.  
    41. 
  
  
  41. PyMODINIT_FUNC PyInit_tally_(void) { 
    42. 
  
  
  42.     return PyModule_Create(&tally_module); 
    43. 
  
  
  43. }  
    44.

这里有很多实现的方法,但大多数只是Python模块的一部分样板代码。

在最上面，我们定义了一个函数,它接受一个Python对象,并且检查这是一个适当类型的数组，再调用我们的计数功能,然后返回结果。其余的代码模块定义,告诉Python解释器我们计数功能的名称和它的参数类型。

R

R的过程非常相似，但是更加简洁:

 
 
    
  
  
  1. #include  
    2. 
  
  
  2. #include  
    3. 
  
  
  3. #include  
    4. 
  
  
  4. #include "tally.h" 
    5. 
  
  
  5.  
    6. 
  
  
  6. SEXP tally_(SEXP x_) { 
    7. 
  
  
  7.   double *x = REAL(x_); 
    8. 
  
  
  8.   int n = length(x_); 
    9. 
  
  
  9.    
    10. 
  
  
  10.   SEXP out = PROTECT(allocVector(REALSXP, 1)); 
    11. 
  
  
  11.   REAL(out)[0] = tally(x, n); 
    12. 
  
  
  12.   UNPROTECT(1); 
    13. 
  
  
  13.    
    14. 
  
  
  14.   return out; 
    15. 
  
  
  15. } 
    16. 
  
  
  16.  
    17. 
  
  
  17. static R_CallMethodDef callMethods[] = { 
    18. 
  
  
  18.   {"tally_", (DL_FUNC)&tally_, 1}, 
    19. 
  
  
  19.   {NULL, NULL, 0} 
    20. 
  
  
  20. }; 
    21. 
  
  
  21.  
    22. 
  
  
  22. void R_init_tallyR(DllInfo *info) { 
    23. 
  
  
  23.   R_registerRoutines(info, NULL, callMethods, NULL, NULL); 
    24. 
  
  
  24. } 
    25.

 这里需要的代码量显著减少,因为R和Python类型系统有所不同,没有真正标量类型,所以我们不需要做相同级别的检验/验证用户输入我们在上面的Python示例。剩下的代码大致相同,我们定义一个组函数可在R编译。

总结

一个真实世界的例子一定会更加复杂,但整个过程并不是那么困难。在编写跨语言工具时有几件事要记住:

  • 如果你打算在两者之间共享函数就不要依赖宿主语言的api(R或Python)代码。
  • 使用错误码来传递异常提示，不要直接调用退出或者在宿主语言里面才处理异常。
  • ***用宿主语言负责内存分配和重分配,这意味着你的C/C++代码应该要略过预先分配的内存和输出过程。
  • 相信编译器,你也应该重视编译器的错误和警告。如果代码在编译时有警告那代码就不算写完。

无论是哪个“赢得”这场语言战争，Python和R都将保持在数据科学届的地位。这意味着为工具开发者不能忽视的另外一门语言,构建有用的工具就得保证这两种语言都可以使用。一个简单的方式是用C或c++编写大量代码，然后用 C 的 API的为两种语言提供封装。

本文标题：深入对比数据科学工具箱：Python和R的C/C++实现
网页路径：http://www.shufengxianlan.com/qtweb/news1/170351.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

自适应网站知识

分类信息网站

宏昇商务服务　　 　成都微信二次开发　　 　营销网站建设　　 　宇仓仓储　　 　腾讯云香港免备案空间　　 　航空文化传媒　　 　泸州网站建设　　 　玄科环保　　 　成都网站推广　　 　绵阳电信服务器托管　　 　不锈钢防护栏　　 　腾讯云免备案主机　　 　成都商城网站建设　　 　成都定制高级网站建设　　 　中国电信成都枢纽中心　　 　全网营销　　 　成都名片印刷　　 　成都微商城　　 　眉山网站建设　　 　马边网站建设