主题：在金字塔Python中利用GPU显卡加速并行计算

       虽然机器学习已经有数十年的历史，但是两个较为新近的趋势促进了机器学习的广泛应用: 海量训练数据的出现以及 GPU 计算所提供的强大而高效的并行计算。  人们利用 GPU 来训练这些深度神经网络，所使用的训练集大得多，所耗费的时间大幅缩短，占用的数据中心基础设施也少得多。  GPU 还被用于运行这些机器学习训练模型，从而在耗费功率更低、占用基础设施更少的情况下能够支持远比从前更大的数据量和吞吐量。
       GPU在高性能计算方面具有怎样的优势？
      （1）高效的并行性。
       这一功能主要是通过GPU多条绘制流水线的并行计算来体现的。在目前主流的GPU中，多条流水线可以在单一控制部件的集中控制下运行，也可以独立运行。GPU的顶点处理流水线使用MIMD方式控制，片段处理流水线使用SIMD结构。相对于并行机而言，GPU提供的并行性在十分廉价的基础上，为很多适合于在GPU上进行处理的应用提供了一个很好的并行方案。
      （2）高密集的运算。
         GPU通常具有128位或256位的内存位宽，因此GPU在计算密集型应用方面具有很好的性能。
     （3）超长图形流水线。
         GPU超长图形流水线的设计以吞吐量的最大化为目标，因此GPU作为数据流并行处理机，在对大规模的数据流并行处理方面具有明显的优势。

        Python实现的CUDA – pyCUDA

        用户需要在计算机中部署pyCUDA库，相关下载及参考资料 https://developer.nvidia.com/cuda-downloads

       相关范例:

       import pycuda.autoinit
       import pycuda.driver as drv
       import numpy

       from pycuda.compiler import SourceModule
       mod = SourceModule("""
       __global__ void multiply_them(float *dest, float *a, float *b)
     {
         const int i = threadIdx.x;
         dest[i] = a[i] * b[i];
     }
      """)

      multiply_them = mod.get_function("multiply_them")

      a = numpy.random.randn(400).astype(numpy.float32)
      b = numpy.random.randn(400).astype(numpy.float32)

      dest = numpy.zeros_like(a) 
       multiply_them(
        drv.Out(dest), drv.In(a), drv.In(b),
        block=(400,1,1), grid=(1,1))

       print dest-a*b