数据可视化 第2章



  • 第2章 过滤数据

    1.transform_date函数把utc格式时间转换为QDateTime类型

    def transform_date(utc, timezone=None):
        utc_fmt = "yyyy-MM-ddTHH:mm:ss.zzzZ"
        new_date = QDateTime().fromString(utc, utc_fmt)
    #    print (new_date.toString(utc_fmt))
        if timezone:
            new_date.setTimeZone(timezone)
    
        return new_date
    

    2.drop函数过滤数据,mag<0的行都被删除

    #移除错误的mag
        df = df.drop(df[df.mag < 0].index)
        magnitudes = df["mag"]
    

    3.创建本地时区

    #本地时区
        timezone = QTimeZone(b"Asia/Beijing")
    

    4.apply方法能支持lambda表达式,能把函数应用到每行数据上,我们提取time列数据,转换为QDateTime类型

    #将时间戳转换为本地时区
        times = df["time"].apply(lambda x: transform_date(x, timezone))
    
    

    5.完整代码

    # This Python file uses the following encoding: utf-8
    import sys, argparse
    import pandas as pd
    from PySide2.QtCore import QDateTime, QTimeZone
    
    
    def transform_date(utc, timezone=None):
        utc_fmt = "yyyy-MM-ddTHH:mm:ss.zzzZ"
        new_date = QDateTime().fromString(utc, utc_fmt)
    #    print (new_date.toString(utc_fmt))
        if timezone:
            new_date.setTimeZone(timezone)
    
        return new_date
    
    def read_data(fname):
        df = pd.read_csv(fname)
    
        #移除错误的mag
        df = df.drop(df[df.mag < 0].index)
        magnitudes = df["mag"]
    
        #本地时区
        timezone = QTimeZone(b"Asia/Beijing")
    
        #将时间戳转换为本地时区
        times = df["time"].apply(lambda x: transform_date(x, timezone))
    
        return times, magnitudes
    
    
    if __name__ == "__main__":
        options = argparse.ArgumentParser()
        options.description = "过滤csv信息"
        options.add_argument("-f", "--file", type=str, required=True, help="CSV文件路径")
        args = options.parse_args()
        data = read_data(args.file)
        print (data)
    
    

    6.控制台输出log

    (0     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 18, 4...
    1     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 10, 1...
    2     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 7, 3,...
    3     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 6, 4,...
    4     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 5, 43...
    5     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 4, 57...
    6     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 4, 27...
    7     PySide2.QtCore.QDateTime(2019, 7, 24, 9, 1, 27...
    8     PySide2.QtCore.QDateTime(2019, 7, 24, 8, 54, 5...
    9     PySide2.QtCore.QDateTime(2019, 7, 24, 8, 54, 1...
    10    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 53, 2...
    11    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 52, 2...
    12    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 50, 1...
    13    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 49, 1...
    14    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 48, 4...
    15    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 47, 3...
    16    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 46, 5...
    17    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 44, 5...
    18    PySide2.QtCore.QDateTime(2019, 7, 24, 8, 44, 0...
    Name: time, dtype: object, 0     1.37
    1     0.49
    2     1.43
    3     2.73
    4     2.04
    5     1.44
    6     1.23
    7     0.75
    8     1.22
    9     1.20
    10    0.92
    11    1.67
    12    1.50
    13    1.20
    14    1.02
    15    1.51
    16    1.41
    17    0.87
    18    0.91
    Name: mag, dtype: float64)
    


  • @青山白云 Python在数据分析领域还是大放异彩的。


Log in to reply
 

最近的回复

  • 看了你的脚本,看来PowerShell是一种shell的方言,支持function和自定义的符号。和bash还不一样。
    我以前也写过Apple Script,看来大家都在shell语言上加上自己的特性啊。
    顺便了解到你们主要用Visual Studio开发Qt应用的。😁 😁

    read more
  • @wentaojia2014
    代码中的 {1} 是自动生成的,注意删掉

    read more
  • 脚本玩家路过一下😁
    我写了一段Powershell脚本,可以一键打开/关闭调试信息和代码优化。
    原理就是解析.sln文件(xml格式),找到关联的所有.vcproj文件(也是xml格式),并把其中的字段修改掉。

    看脚本

    # filename: DebugInfoSwitch.ps1 Add-Type -AssemblyName System.Xml.Linq # 获取绝对路径 function GetAbsolutePath { [OutputType([string])] param([string]$filePath) $aPath = Resolve-Path $filePath return Split-Path $aPath } # 解析sln文件,提取出project列表 function ParseSolution { [OutputType([string[]])] param([string]$solutionFile) $parttern = [regex]"^Project*" [string[]] $projs = @() Get-Content $solutionFile | Where-Object {$_ -match $parttern} | ForEach-Object { $items = $_.ToString().Split(',') if ($items[1].EndsWith("vcxproj`"")) { $projs += $items[1] } } return $projs } #Write-Host($debugGroup | Format-Table | Out-String ) function UpdateDebugInfo { param([System.Xml.Linq.XNamespace]$xNamespace,[System.Xml.Linq.XElement] $group, [bool]$isOpen) [System.Xml.Linq.XElement]$xClCompile = $group.Element($xNamespace + "ClCompile") [System.Xml.Linq.XElement]$xLink = $group.Element($xNamespace + "Link") [System.Xml.Linq.XElement]$format = $xClCompile.Element($xNamespace + "DebugInformationFormat") [System.Xml.Linq.XElement]$optimization = $xClCompile.Element($xNamespace + "Optimization") [System.Xml.Linq.XElement]$generate = $xLink.Element($xNamespace + "GenerateDebugInformation") if ($null -eq $format) { $format = [System.Xml.Linq.XElement]::new($xNamespace + "DebugInformationFormat") $xClCompile.Add($format) } if ($null -eq $optimization) { $optimization = [System.Xml.Linq.XElement]::new($xNamespace + "Optimization") $xClCompile.Add($optimization) } if ($null -eq $generate) { $generate = [System.Xml.Linq.XElement]::new($xNamespace + "GenerateDebugInformation") $xLink.Add($generate) } if ($isOpen) { $format.SetValue("ProgramDatabase"); $optimization.SetValue("Disabled"); $generate.SetValue("true"); } else { $format.SetValue("None"); $optimization.SetValue("MaxSpeed"); $generate.SetValue("false"); } } function SwitchDebugInfo { param([string]$projPath, [bool]$open, [bool]$isRelease) if (Test-Path($projPath)) { [System.Xml.Linq.XDocument]$xDoc = [System.Xml.Linq.XDocument]::Load($projPath) [System.Xml.Linq.XNamespace]$xNamespace = $xDoc.Root.GetDefaultNamespace(); [System.Xml.Linq.XElement]$group = $null $groups = $xDoc.Root.Elements($xNamespace + "ItemDefinitionGroup") foreach ($i in $groups) { if ($isRelease) { if ($i.Attribute("Condition").Value -match "^*Release*") { $group = $i; break; } } else { if ($i.Attribute("Condition").Value -match "^*Debug*") { $group = $i; break; } } } UpdateDebugInfo $xNamespace $group $open $xDoc.Save($projPath) } } #脚本入口函数 function Main { param([string]$sln, [bool]$open, [bool]$isRelease) Write-Host("sln file ", $sln) $slnPath= GetAbsolutePath $sln $projList = ParseSolution $sln $t = $projList.Split(' ') | ForEach-Object { $s = $_.ToString() if ($s) { $projPath=-Join($slnPath, '\', ($s.SubString(1, $s.Length - 2) )) SwitchDebugInfo $projPath $open $isRelease } } } function Usage { Write-Host ("Usage: DebugInfoSwitch.ps1 slnFilePath mode[D/d for Debug, R/r for Release] open[Y/y for open, N/n for close]") Write-Host ("Example for open Release mode debugInfo: DebugInfoSwitch.ps1 xxx.sln R y") Write-Host ("Example for close Debug mode debugInfo: DebugInfoSwitch.ps1 xxx.sln d N") } #检查参数 [string]$sln = "" [bool]$open = $true [bool]$isRelease = $false if ( $args.Count -ne 3) { Usage return } $sln = $args[0] if ($args[1] -eq "D" -or $args[1] -eq "d") { $isRelease = $false } elseif ($args[1] -eq "R" -or $args[1] -eq "r") { $isRelease = $true } else { Usage return } if ($args[2] -eq "Y" -or $args[2] -eq "y") { $open = $true } elseif ($args[2] -eq "N" -or $args[2] -eq "n") { $open = $false } else { Usage return } #调用主函数 Main $sln $open $isRelease

    用的时候,再写个bat脚本,调用这个ps1并传参数就行了。
    比如打开Release模式的调试信息、同时关掉优化开关

    @echo off powershell.exe -NoProfile -ExecutionPolicy Bypass -File DebugInfoSwitch.ps1 ./you/path/to.sln R N

    关闭调试信息、打开优化开关,则是传相反的参数

    @echo off powershell.exe -NoProfile -ExecutionPolicy Bypass -File DebugInfoSwitch.ps1 ./you/path/to.sln R Y

    read more
  • 我将USD在Linux中依赖的文件和脚本放在了我创建的QQ群里,我们的QQ群是“上海USD研究小组”。加入本小组,可以快速地在USD中上手解决编译问题,以及快速得到同行的响应。
    上海USD研究小组

    read more

关注我们

微博
QQ群