package cuda

/*
 THIS FILE IS AUTO-GENERATED BY CUDA2GO.
 EDITING IS FUTILE.
*/

import (
	"github.com/mumax/3/cuda/cu"
	"github.com/mumax/3/timer"
	"sync"
	"unsafe"
)

// CUDA handle for zeromaskinv kernel
var zeromaskinv_code cu.Function

// Stores the arguments for zeromaskinv kernel invocation
type zeromaskinv_args_t struct {
	arg_dst     unsafe.Pointer
	arg_maskLUT unsafe.Pointer
	arg_regions unsafe.Pointer
	arg_N       int
	argptr      [4]unsafe.Pointer
	sync.Mutex
}

// Stores the arguments for zeromaskinv kernel invocation
var zeromaskinv_args zeromaskinv_args_t

func init() {
	// CUDA driver kernel call wants pointers to arguments, set them up once.
	zeromaskinv_args.argptr[0] = unsafe.Pointer(&zeromaskinv_args.arg_dst)
	zeromaskinv_args.argptr[1] = unsafe.Pointer(&zeromaskinv_args.arg_maskLUT)
	zeromaskinv_args.argptr[2] = unsafe.Pointer(&zeromaskinv_args.arg_regions)
	zeromaskinv_args.argptr[3] = unsafe.Pointer(&zeromaskinv_args.arg_N)
}

// Wrapper for zeromaskinv CUDA kernel, asynchronous.
func k_zeromaskinv_async(dst unsafe.Pointer, maskLUT unsafe.Pointer, regions unsafe.Pointer, N int, cfg *config) {
	if Synchronous { // debug
		Sync()
		timer.Start("zeromaskinv")
	}

	zeromaskinv_args.Lock()
	defer zeromaskinv_args.Unlock()

	if zeromaskinv_code == 0 {
		zeromaskinv_code = fatbinLoad(zeromaskinv_map, "zeromaskinv")
	}

	zeromaskinv_args.arg_dst = dst
	zeromaskinv_args.arg_maskLUT = maskLUT
	zeromaskinv_args.arg_regions = regions
	zeromaskinv_args.arg_N = N

	args := zeromaskinv_args.argptr[:]
	cu.LaunchKernel(zeromaskinv_code, cfg.Grid.X, cfg.Grid.Y, cfg.Grid.Z, cfg.Block.X, cfg.Block.Y, cfg.Block.Z, 0, stream0, args)

	if Synchronous { // debug
		Sync()
		timer.Stop("zeromaskinv")
	}
}

// maps compute capability on PTX code for zeromaskinv kernel.
var zeromaskinv_map = map[int]string{0: "",
	50: zeromaskinv_ptx_50,
	52: zeromaskinv_ptx_52,
	53: zeromaskinv_ptx_53,
	60: zeromaskinv_ptx_60,
	61: zeromaskinv_ptx_61,
	62: zeromaskinv_ptx_62,
	70: zeromaskinv_ptx_70,
	72: zeromaskinv_ptx_72,
	75: zeromaskinv_ptx_75,
	80: zeromaskinv_ptx_80,
	86: zeromaskinv_ptx_86,
	87: zeromaskinv_ptx_87,
	89: zeromaskinv_ptx_89,
	90: zeromaskinv_ptx_90}

// zeromaskinv PTX code for various compute capabilities.
const (
	zeromaskinv_ptx_50 = `
.version 8.5
.target sm_50
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_52 = `
.version 8.5
.target sm_52
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_53 = `
.version 8.5
.target sm_53
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_60 = `
.version 8.5
.target sm_60
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_61 = `
.version 8.5
.target sm_61
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_62 = `
.version 8.5
.target sm_62
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_70 = `
.version 8.5
.target sm_70
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_72 = `
.version 8.5
.target sm_72
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_75 = `
.version 8.5
.target sm_75
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_80 = `
.version 8.5
.target sm_80
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_86 = `
.version 8.5
.target sm_86
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_87 = `
.version 8.5
.target sm_87
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_89 = `
.version 8.5
.target sm_89
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
	zeromaskinv_ptx_90 = `
.version 8.5
.target sm_90
.address_size 64

	// .globl	zeromaskinv

.visible .entry zeromaskinv(
	.param .u64 zeromaskinv_param_0,
	.param .u64 zeromaskinv_param_1,
	.param .u64 zeromaskinv_param_2,
	.param .u32 zeromaskinv_param_3
)
{
	.reg .pred 	%p<3>;
	.reg .b16 	%rs<2>;
	.reg .f32 	%f<2>;
	.reg .b32 	%r<12>;
	.reg .b64 	%rd<13>;


	ld.param.u64 	%rd2, [zeromaskinv_param_0];
	ld.param.u64 	%rd3, [zeromaskinv_param_1];
	ld.param.u64 	%rd4, [zeromaskinv_param_2];
	ld.param.u32 	%r2, [zeromaskinv_param_3];
	mov.u32 	%r3, %nctaid.x;
	mov.u32 	%r4, %ctaid.y;
	mov.u32 	%r5, %ctaid.x;
	mad.lo.s32 	%r6, %r4, %r3, %r5;
	mov.u32 	%r7, %ntid.x;
	mov.u32 	%r8, %tid.x;
	mad.lo.s32 	%r1, %r6, %r7, %r8;
	setp.ge.s32 	%p1, %r1, %r2;
	@%p1 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd5, %rd4;
	cvt.s64.s32 	%rd1, %r1;
	add.s64 	%rd6, %rd5, %rd1;
	ld.global.nc.u8 	%rs1, [%rd6];
	cvta.to.global.u64 	%rd7, %rd3;
	cvt.u32.u16 	%r9, %rs1;
	and.b32  	%r10, %r9, 255;
	mul.wide.u32 	%rd8, %r10, 4;
	add.s64 	%rd9, %rd7, %rd8;
	ld.global.nc.f32 	%f1, [%rd9];
	setp.neu.f32 	%p2, %f1, 0f00000000;
	@%p2 bra 	$L__BB0_3;

	cvta.to.global.u64 	%rd10, %rd2;
	shl.b64 	%rd11, %rd1, 2;
	add.s64 	%rd12, %rd10, %rd11;
	mov.u32 	%r11, 0;
	st.global.u32 	[%rd12], %r11;

$L__BB0_3:
	ret;

}

`
)
